Sebuah alat analisis keselamatan baharu yang dipanggil TheAuditor telah mencetuskan perbincangan hangat dalam komuniti pembangun, bukan kerana keupayaannya, tetapi kerana bagaimana ia dicipta dan potensi risiko yang ditimbulkannya. Alat ini, yang direka untuk mengaudit kod yang dijana AI, telah dibina sepenuhnya menggunakan bantuan AI oleh seseorang yang secara terbuka mengakui bahawa mereka tidak boleh mengekod.
Statistik Pembangunan:
- Jumlah masa pembangunan: 252 jam dalam tempoh 1 bulan
- Dibina sepenuhnya menggunakan pembantu AI Claude
- Pencipta mengakui tidak mempunyai kemahiran pengkodan
- Hanya mempunyai pengalaman pembangunan 3+ bulan
- 500+ jam pengalaman pembangunan dengan bantuan AI
Paradoks AI Membina Alat Keselamatan AI
TheAuditor mewakili pendekatan yang luar biasa dalam pembangunan perisian. Penciptanya menghabiskan lebih 250 jam menggunakan Claude, seorang pembantu AI, untuk membina alat yang bertujuan mengaudit kod yang ditulis oleh pembantu AI. Ini mewujudkan apa yang pencipta gambarkan sebagai penyu sepanjang jalan ke bawah - satu gelung tanpa henti kod yang dijana AI memeriksa kod yang dijana AI.
Alat ini berjanji untuk mengesan kelemahan keselamatan, menjejaki aliran data, dan mengenal pasti isu pemfaktoran semula merentas pangkalan kod. Ia secara khusus menyasarkan 10 risiko keselamatan teratas OWASP dan mendakwa menyediakan kebenaran asas yang boleh dipercayai oleh kedua-dua pembangun dan pembantu AI. Walau bagaimanapun, penelitian komuniti telah mendedahkan kelemahan yang ketara dalam corak pengesanan keselamatannya.
Ciri-ciri Utama TheAuditor :
- Pengesanan kelemahan keselamatan ( OWASP Top 10 )
- Penjejakan aliran data dari sumber ke destinasi
- Analisis seni bina dengan graf kebergantungan
- Pengesanan isu pemfaktoran semula
- Integrasi dengan ESLint , Ruff , MyPy
- Penjanaan laporan yang dioptimumkan AI
- Sokongan untuk ekosistem Python dan Node.js
Kebimbangan Komuniti Mengenai Teater Keselamatan
Pakar teknikal yang meneliti kod alat tersebut telah menemui contoh-contoh yang membimbangkan mengenai pemeriksaan keselamatan yang terlalu dipermudahkan. Satu corak yang sangat bermasalah cuba mengesan keadaan perlumbaan masa-pemeriksaan-masa-penggunaan (TOCTOU) menggunakan padanan teks asas. Corak tersebut akan salah menandai corak kod biasa yang selamat sebagai kelemahan keselamatan sambil terlepas isu keselamatan sebenar.
Ini sangat tidak mencukupi untuk benar-benar mengesan TOCTOU, dan lebih teruk lagi, akan menandai banyak perkara sebagai positif palsu... memberikan rasa keselamatan yang benar-benar palsu
Penemuan ini menyerlahkan kebimbangan yang lebih luas mengenai alat yang menjanjikan analisis keselamatan yang komprehensif tetapi memberikan hasil yang tidak boleh dipercayai. Positif palsu boleh membebankan pembangun dengan amaran yang tidak bermakna, manakala kelemahan yang terlepas meninggalkan sistem terdedah kepada ancaman sebenar.
Isu Teknikal yang Dikenal pasti:
- Pengesanan keadaan perlumbaan TOCTOU yang cacat menggunakan corak regex
- Kadar positif palsu yang tinggi dalam pemeriksaan keselamatan
- Padanan corak yang terlalu dipermudahkan untuk kelemahan keselamatan yang kompleks
- Isu prestasi yang berpotensi disebabkan konflik perisian antivirus
- Keperluan pemasangan yang kompleks dengan persekitaran sandbox
Persoalan Yang Lebih Luas Mengenai Pembangunan Dibantu AI
Kontroversi yang menyelubungi TheAuditor mencerminkan ketegangan yang semakin meningkat dalam komuniti pembangunan perisian mengenai kualiti kod yang dijana AI. Walaupun pembantu AI telah menjadi alat yang berkuasa untuk menulis kod dengan cepat, mereka sering menghasilkan penyelesaian yang berfungsi tetapi mungkin tidak mengikuti amalan terbaik keselamatan atau mengekalkan konsistensi merentas pangkalan kod yang besar.
Pencipta mengakui batasan ini dan telah menjemput sumbangan komuniti untuk meningkatkan ketepatan alat tersebut. Walau bagaimanapun, pengkritik berpendapat bahawa alat keselamatan memerlukan kepakaran yang mendalam dan ujian yang ketat sebelum dikeluarkan kepada pembangun yang mungkin bergantung pada outputnya untuk sistem pengeluaran.
Pengajaran Untuk Komuniti Pembangunan
Situasi ini berfungsi sebagai kisah amaran mengenai keadaan semasa pembangunan dibantu AI. Walaupun alat AI boleh mempercepatkan tugas pengkodan, ia tidak boleh menggantikan kepakaran manusia dalam bidang kritikal seperti analisis keselamatan. Insiden ini juga menunjukkan kepentingan semakan rakan sebaya dan pengawasan komuniti dalam projek sumber terbuka, terutamanya yang berkaitan dengan keselamatan.
Perdebatan mengenai TheAuditor akhirnya menimbulkan persoalan penting mengenai tanggungjawab dan kepakaran dalam era di mana AI boleh menghasilkan alat yang kelihatan canggih tetapi mungkin tidak memenuhi janjinya. Apabila AI menjadi lebih berleluasa dalam pembangunan perisian, komuniti mesti membangunkan piawaian yang lebih baik untuk menilai dan mengesahkan penyelesaian yang dijana AI.
Rujukan: TheAuditor