Minta coding agent mengaudit kode Anda, dan ia akan dengan senang hati menyerahkan daftar panjang kemungkinan kerentanan. Masalahnya, separuh daftar itu biasanya salah, dan Anda tidak punya cara mudah untuk tahu separuh yang mana. Skill security-audit open source dari Cloudflare memperbaiki masalah itu dengan satu aturan sederhana: agent yang memeriksa sebuah temuan tidak boleh menjadi agent yang menemukannya.
Poin Penting
>
Skill ini menjalankan audit 6 fase: reconnaissance, perburuan berbasis coverage, validasi kandidat, output terstruktur, verifikasi rekaman independen, dan pelaporan netral terhadap target.
Setiap temuan diverifikasi oleh agent baru yang mencoba membantahnya, sehingga temuan yang terkonfirmasi membawa bukti nyata.
Output-nya machine-readable: `findings.json` dengan rekaman `confirmed`, `needs_validation`, dan `rejected`, plus laporan yang mudah dibaca manusia.
Skill ini netral terhadap agent, berlisensi MIT, dan bisa dipasang dengan satu perintah: `npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit`.
Repositori ini punya 45.971 star dan 2.854 fork di GitHub per 25 Oktober 2026.
Asal-usul skill ini
Skill ini tidak lahir sebagai produk publik. Dalam sebuah tulisan di Blog Cloudflare pada Juni 2026, Cloudflare menceritakan bagaimana skill `security-audit` sepanjang kira-kira 450 baris, yang pertama kali dijalankan pada satu repositori, tumbuh dalam sekitar 6 minggu menjadi pemindai armada yang mencakup 128 repositori berbeda. Skill itu menjadi benih bagi harness penemuan kerentanan internal Cloudflare, dan Cloudflare merilis skill itu sendiri di akhir tulisan yang sama.
Angka dari harness itu menunjukkan kenapa verifikasi penting bagi Cloudflare. Dari 20.799 kandidat mentah, sekitar 12.057 lolos validasi, dan setelah duplikat serta item salah repo atau berisiko rendah disingkirkan, tersisa 7.245 temuan yang bisa ditindaklanjuti. Persentase penolakan turun dari 40 persen menjadi 11 persen seiring harness itu matang. Skill publik ini membawa filosofi yang sama ke dalam bentuk yang bisa dijalankan siapa pun: temukan banyak, lalu buktikan apa yang Anda temukan.
Tonton sinyal repo 30 detiknya: Cloudflare Open Sourced Their AI Security Audit Tool.
6 fase, dan kenapa urutannya penting
Kebanyakan audit agent langsung melompat ke perburuan bug. Skill ini mulai lebih pelan, dan justru di situlah letak kekuatannya.
1. Reconnaissance
Agent memetakan codebase terlebih dahulu: arsitektur, entry point, trust boundary, dan alur data. Hasilnya adalah file `architecture.md` yang dipakai fase-fase berikutnya sebagai peta.
2. Perburuan berbasis coverage
Perburuan digerakkan oleh coverage ledger, bukan oleh firasat. Agent bekerja secara sistematis lewat kelas serangan, termasuk memory safety, protokol web dan auth, masalah client-side, supply chain dan release, cloud dan deployment, serta kelemahan AI dan LLM. Ledger mencatat apa saja yang sudah tercakup, sehingga celah terlihat jelas, bukan tersembunyi.
3. Validasi kandidat
Kandidat belum menjadi temuan. Masing-masing diperiksa terhadap kode untuk melihat apakah ia nyata, dan apakah dampaknya sungguhan. Severity mengikuti dampak, dihitung sebagai likelihood dikali impact, bukan sekadar penyimpangan dari checklist. Celah defense-in-depth saja dicatat sebagai hardening note, bukan kerentanan.
4. Output terstruktur
Kandidat yang tervalidasi menjadi rekaman terstruktur di `findings.json`, diperiksa terhadap skema oleh dua validator tanpa dependensi, `validate-findings.cjs` dan `validate-coverage-ledger.cjs`. Ini membuat output bisa dipakai di pipeline CI dan dashboard, bukan hanya dibaca di chat.
5. Verifikasi rekaman independen
Inilah fase yang membedakan skill ini. Setiap kandidat unik diserahkan ke agent verifier baru yang mencoba membantahnya. Verifier itu tidak menemukan bug tersebut, sehingga ia tidak punya kepentingan untuk mempertahankannya. Hanya temuan yang lolos pemeriksaan adversarial ini yang mendapat verdict `confirmed`.
6. Pelaporan netral terhadap target
Laporan akhirnya, `REPORT.md`, `FINDINGS-DETAIL.md`, dan `NEEDS-VALIDATION.md`, ditulis tanpa mengasumsikan target atau perbaikan tertentu. Temuan yang tidak bisa dieksekusi dengan aman tetap berstatus `needs_validation`, bukan didandani seolah terkonfirmasi.
Dua mode, dan satu aturan keamanan yang keras
Secara default skill berjalan dalam guidance mode: ia memberi saran dan tidak memulai alur kerja penuh atau membuat file sendiri. Full audit mode baru dimulai ketika Anda secara eksplisit meminta audit, penetration test, review menyeluruh, atau artefak laporan. Perbedaan itu penting, karena audit penuh adalah operasi berat, bukan pertanyaan santai.
Aturan keamanan yang keras adalah sandbox. Build, test, dan fuzzer yang dikendalikan target harus berjalan di dalam sandbox yang ditegakkan OS, dengan networking eksternal dimatikan. Tanpa sandbox itu, skill tidak akan mengeksekusi kode target, dan lead tersebut tetap `needs_validation`. Itu fitur, bukan keterbatasan: menjalankan kode tak tepercaya dari hal yang sedang Anda audit adalah cara tepat mengubah alat audit menjadi vektor serangan.
Aspek | Audit agent biasa | Skill security-audit Cloudflare |
|---|---|---|
Kualitas temuan | Daftar panjang, akurasi campur aduk | Kandidat disaring lewat validasi dan verifikasi independen |
Coverage | Sesuka agent memeriksa apa saja | Coverage ledger melacak kelas serangan secara sistematis |
Output | Teks chat | `findings.json` machine-readable plus tiga file laporan |
Verdict | Terkonfirmasi atau tidak, secara longgar | `confirmed`, `needs_validation`, `rejected` |
Keamanan | Bisa menjalankan kode target secara bebas | Sandbox yang ditegakkan OS wajib, networking dimatikan |
Apa yang Anda butuhkan untuk menjalankannya
Persyaratannya sederhana tapi spesifik. Anda butuh coding agent yang modelnya mendukung tool use dan sub-agent paralel, karena fase verifikasi bergantung pada agent verifier baru. Anda butuh Node.js untuk validator. Dan Anda butuh sandbox yang ditegakkan OS untuk apa pun yang mengeksekusi kode target. Skill ini sendiri netral terhadap agent: README menyatakan persyaratan generik, bukan mengikat ke agent satu vendor, dan listing skills.sh menjelaskan desain yang sama, netral terhadap agent, defensif, dan source-first.
Satu catatan jujur dari README sendiri: satu run menemukan kira-kira separuh kerentanan yang ditemukan oleh run berulang secara total. Audit adalah sampling, bukan bukti ketiadaan. Jika run pertama kembali bersih, itu bukti, bukan jaminan, dan run berulang adalah bagian dari alur kerja, bukan tanda kegagalan.
Kenapa skill ini penting
Asisten coding AI membuat pembuatan kode jadi murah, dan pembuatan temuan keamanan pun jadi murah. Temuan murah adalah masalahnya: temuan itu mengubur bug sungguhan di bawah alarm palsu sampai developer berhenti membaca laporan sama sekali. Skill Cloudflare menyerang masalah kepercayaan ini secara langsung, dengan alur kerja di mana setiap temuan terkonfirmasi harus bertahan dari upaya untuk menggugurkannya.
Untuk developer solo, skill ini mengubah prompt samar "audit kode saya" menjadi proses yang bisa diulang dan diperiksa. Untuk tim, output machine-readable berarti hasil audit bisa masuk ke triase, pelacakan, dan CI gate, bukan mati di log chat. Dan untuk ekosistem open source, alat berlisensi MIT dengan 45.971 star dari perusahaan yang menjalankan salah satu jaringan terbesar di internet adalah sinyal kuat bahwa audit keamanan berbasis agent bergerak dari demo menuju disiplin.
Baca artikel ini dalam bahasa Inggris: Cloudflare's Security Audit Skill: Turn Your Coding Agent Into a Relentless Security Auditor.
FAQ
Apakah skill security-audit ini benar-benar gratis?
Ya. Repositorinya berlisensi MIT dan listing skills.sh menunjukkan harga 0 USD. Anda tetap butuh coding agent dan akses model sendiri, yang biayanya tergantung setup Anda.
Coding agent apa saja yang didukung?
Skill ini netral terhadap agent. Ia membutuhkan coding agent yang modelnya mendukung tool use dan sub-agent paralel, karena verifikasi independen bergantung pada agent verifier baru. Ia tidak terikat ke agent satu vendor di README.
Apa arti "terverifikasi secara independen" sebenarnya?
Setiap kandidat temuan diserahkan ke agent baru yang tidak menemukannya, dan verifier itu mencoba membantahnya. Hanya temuan yang lolos pemeriksaan itu yang ditandai `confirmed`. Temuan yang tidak bisa dieksekusi dengan aman tetap `needs_validation`.
Apakah saya butuh sandbox untuk menggunakannya?
Untuk verifikasi penuh, ya. Build, test, dan fuzzer yang dikendalikan target harus berjalan dalam sandbox yang ditegakkan OS dengan networking eksternal dimatikan. Tanpa itu, lead tetap `needs_validation`, bukan terkonfirmasi.
Bisakah satu run membuktikan kode saya aman?
Tidak. README mencatat bahwa satu run menemukan kira-kira separuh kerentanan yang ditemukan run berulang secara total. Anggap run yang bersih sebagai bukti yang berguna, bukan jaminan, dan jalankan audit berulang.
Bagaimana cara memasangnya?
Jalankan `npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit`, tambahkan `--global` untuk instalasi level user. Run audit penuh default menulis output ke `~/security-audit-skill/<repo-name>/run-<N>`.