Span telah melancarkan alat pengesanan kod AI yang mendakwa mempunyai ketepatan 95% dalam mengenal pasti kod yang dijana oleh mesin. Alat ini menggunakan model pembelajaran mesin yang dilatih pada jutaan sampel kod untuk membantu pasukan kejuruteraan memahami berapa banyak kod yang dijana AI wujud dalam projek mereka. Walau bagaimanapun, ujian komuniti telah mendedahkan kelemahan yang ketara yang menimbulkan persoalan tentang keberkesanannya dalam dunia sebenar.
Metrik Prestasi:
- Ketepatan Keseluruhan: 95%
- Kadar Penarikan Balik: 91.5%
- Skor F1: 93.3%
- Data Latihan: Berjuta-juta sampel kod yang ditulis oleh AI dan manusia
Helah Gesaan Mudah Memperdaya Sistem
Penemuan yang paling mengejutkan datang daripada ujian komuniti yang menunjukkan betapa mudahnya pengesan boleh dimanipulasi. Seorang pengguna menunjukkan bahawa dengan meminta ChatGPT menulis kod dalam dua gaya berbeza - satu bersih dan profesional, satu lagi berselerak seperti pelajar sarjana muda - hasilnya sangat berbeza. Kod yang bersih telah ditandai sebagai 100% dijana AI, manakala versi berselerak dengan pemformatan yang lemah dan komen kasual dinilai sebagai 0% dijana AI.
Penemuan ini menyerlahkan isu asas dengan pendekatan pengesanan. Model ini nampaknya sangat bergantung pada penunjuk kualiti kod seperti pemformatan yang betul, komen yang komprehensif, dan struktur yang bersih - ciri-ciri yang secara ironinya mewakili amalan pengekodan yang baik.
Paradoks Kod Bersih
Kaedah pengesanan ini mewujudkan situasi luar biasa di mana menulis kod berkualiti tinggi sebenarnya mungkin merugikan pembangun. Ahli komuniti telah membangkitkan kebimbangan sama ada ini mewujudkan insentif negatif untuk amalan pengekodan manual.
Adakah itu memberikan insentif kepada orang yang menulis secara manual untuk menulis kod yang lebih teruk, berstruktur buruk, sebagai bukti bahawa mereka tidak menggunakan AI untuk menjana kod mereka?
Paradoks ini menjadi lebih kompleks apabila mempertimbangkan bahawa model AI dilatih terutamanya pada kod yang ditulis manusia, namun pengesan kini menganggap standard pengekodan manusia tertentu terlalu sempurna untuk dikarang oleh manusia.
Sokongan Bahasa Terhad dan Kekangan Teknikal
Pada masa ini, pengesan hanya menyokong Python , TypeScript , dan JavaScript , walaupun syarikat merancang untuk menambah sokongan Java , C# , dan Ruby . Alat ini beroperasi pada tahap bahagian dan bukannya analisis baris demi baris, dan ia memeriksa kedua-dua kod dan komen bersama-sama, yang boleh menandai pembangun yang menggunakan AI hanya untuk dokumentasi sambil menulis kod secara manual.
Syarikat telah berkongsi beberapa metrik prestasi selain daripada angka ketepatan utama, melaporkan kadar penarikan balik 91.5% dan skor F1 sebanyak 93.3%. Walau bagaimanapun, ahli komuniti telah mempersoalkan sama ada metrik ini mewakili prestasi dunia sebenar dengan secukupnya, terutamanya memandangkan kelemahan yang ditunjukkan terhadap teknik manipulasi mudah.
Sokongan Bahasa Semasa:
- Python ✓
- TypeScript ✓
- JavaScript ✓
- Java (dirancang)
- C (dirancang)
- Ruby (dirancang)
Aplikasi Praktikal Walaupun Ada Batasan
Walaupun terdapat kebimbangan ini, alat ini nampaknya direka terutamanya untuk kegunaan organisasi dan bukannya pengawasan kod individu. Pasukan kejuruteraan boleh menggunakannya untuk menjejaki trend penggunaan AI, memantau corak kualiti kod, dan memahami kesan pembantu pengekodan AI pada proses pembangunan mereka.
Cabaran pengesanan mencerminkan trend yang lebih luas dalam pembangunan AI di mana garis antara kandungan yang dijana manusia dan mesin terus kabur. Apabila model AI bertambah baik dan menghasilkan output yang semakin seperti manusia, pengesanan menjadi lebih sukar secara asasnya - batasan yang mungkin bersifat matematik dan bukannya sekadar teknikal.