Alat semakan kod berkuasa AI sedang bergelut dengan masalah asas yang mengecewakan pembangun di seluruh dunia. Walaupun syarikat seperti Cubic telah mencapai kemajuan dengan mengurangkan positif palsu sebanyak 51%, komuniti yang lebih luas masih ragu-ragu sama ada alat ini memberikan nilai sebenar atau hanya menambah gangguan kepada proses pembangunan.
Penambahbaikan Semakan Kod AI Cubic:
- 51% pengurangan dalam positif palsu
- 50% penurunan dalam median komen setiap permintaan tarik
- Seni bina berkembang melalui 3 semakan utama
- Agen mikro khusus untuk aspek semakan yang berbeza (Keselamatan, Penduplikatan, Editorial)
Masalah Teras: Terlalu Banyak Bunyi Bising, Tidak Cukup Isyarat
Isu utama yang melanda pengulas kod AI bukan hanya teknikal—ia berkaitan dengan kepercayaan. Pembangun melaporkan bahawa 90% komen yang dijana AI adalah salah atau tidak relevan, terlepas konteks penting yang secara semula jadi difahami oleh pengulas manusia. Ini mewujudkan situasi di mana maklum balas yang benar-benar berguna tertimbus di bawah timbunan cadangan yang tidak bermakna.
Masalah ini lebih mendalam daripada sekadar metrik ketepatan mudah. Model AI tidak mempunyai apa yang dipanggil pembangun sebagai pengetahuan suku kaum—peraturan tidak bertulis, sejarah projek, dan konteks perniagaan yang memaklumkan semakan kod yang baik. Apabila AI menandakan kod yang dikomentari sebagai bermasalah, ia mungkin sebenarnya menangkap isu yang sah, tetapi pembangun telah belajar untuk mengabaikan amaran ini kerana banyak yang lain terbukti tidak berguna.
Statistik Semakan Kod AI yang Dilaporkan Komuniti:
- 90% komen AI dilaporkan sebagai salah atau tidak relevan
- 5-10% cadangan AI sebenarnya mengesan isu-isu tulen
- Isu-isu utama: Konteks yang hilang, pengetahuan suku kaum, dan peraturan kualiti kod
Permainan Keyakinan: Apabila AI Berpura-pura Tahu
Satu trend yang amat membimbangkan ialah alat AI memberikan skor keyakinan untuk cadangan mereka. Ahli komuniti menunjukkan bahawa nilai keyakinan berangka ini pada dasarnya tidak bermakna—AI tidak mempunyai asas sebenar untuk menentukan sejauh mana ia harus yakin tentang pengesyorannya. Ketepatan palsu ini boleh mengelirukan pembangun untuk mempercayai cadangan yang mungkin sama sekali meleset.
Pendekatan penaakulan berstruktur, di mana AI menerangkan proses membuat keputusannya, mewakili percubaan untuk menangani masalah ketelusan ini. Walau bagaimanapun, pengkritik berhujah bahawa memaksa AI untuk membenarkan kesimpulannya sebenarnya tidak meningkatkan penaakulan asas—ia hanya mewujudkan ilusi pemikiran logik.
Pendekatan Berbeza: Pengesyoran Berbanding Penghakiman
Sesetengah pembangun mencadangkan bahawa alat semakan kod AI berfungsi lebih baik apabila mereka memberi tumpuan kepada pengesyoran dan bukannya penghakiman muktamad. Daripada menandakan pepijat yang berpotensi, alat ini boleh menyediakan keupayaan carian semantik, memaparkan isu lepas atau permintaan tarik yang berkaitan yang mungkin menawarkan konteks berguna kepada pengulas manusia.
Semakan kod bukanlah kes penggunaan yang baik untuk LLM. LLM cemerlang dalam kes penggunaan apabila output mereka tidak dinilai berdasarkan ketepatan - contohnya, pengesyoran, carian semantik, coretan sampel.
Pendekatan ini mengakui batasan AI sambil memanfaatkan kekuatannya dalam pengecaman corak dan pengambilan maklumat.
Kitaran Pembangunan Percubaan dan Kesilapan
Membina ejen AI yang berkesan memerlukan pendekatan yang berbeza secara asas daripada pembangunan perisian tradisional. Daripada pengaturcaraan deterministik, pembangun mendapati diri mereka dalam kitaran eksperimen, menguji tweak dan mengukur hasil. Proses ini lebih menyerupai metodologi saintifik daripada kejuruteraan konvensional, membawa kepada persoalan tentang kebolehpercayaan dan kebolehramalan alat berkuasa AI.
Pendekatan ejen mikro khusus—memecahkan tugas kepada komponen AI yang tertumpu dan bertujuan tunggal—menunjukkan harapan tetapi datang dengan peningkatan kerumitan dan kos penggunaan token. Walaupun strategi ini boleh meningkatkan ketepatan, ia juga menyerlahkan bagaimana sistem AI semasa bergelut dengan sifat pelbagai segi semakan kod.
Pendekatan Teknikal Utama:
- Log Penaakulan Eksplisit: AI mesti mewajarkan keputusan sebelum memberikan maklum balas
- Set Alat yang Dipermudahkan: Dikurangkan daripada pelbagai alat ( LSP , analisis statik, pelari ujian) kepada komponen penting sahaja
- Seni Bina Mikro-Ejen: Ejen khusus untuk skop sempit berbanding gesaan tunggal yang besar
Memandang ke Hadapan: Menguruskan Jangkaan
Keadaan semasa alat semakan kod AI mencerminkan cabaran yang lebih luas dalam mengaplikasikan model bahasa besar kepada tugas yang memerlukan ketepatan tinggi. Walaupun penambahbaikan seperti penaakulan eksplisit dan ejen khusus boleh mengurangkan positif palsu, batasan asas kekal. Pembangun memerlukan alat yang meningkatkan dan bukannya merumitkan aliran kerja mereka, dan juri masih belum memutuskan sama ada pendekatan AI semasa boleh memberikan nilai tersebut secara konsisten.
Jalan ke hadapan berkemungkinan melibatkan integrasi yang lebih baik dengan alat pembangunan sedia ada, kesedaran konteks yang lebih canggih, dan mungkin yang paling penting, komunikasi yang lebih jelas tentang apa yang boleh dan tidak boleh dicapai oleh alat ini dengan boleh dipercayai.
Rujukan: Learnings from building AI agents