Satu kajian terbaru telah mencabar kepercayaan meluas bahawa alat pengekodan AI meningkatkan produktiviti pembangun. Walaupun gergasi teknologi seperti Microsoft mendakwa pembantu AI mereka sedang mengubah pembangunan perisian, penyelidikan mencadangkan realiti mungkin agak berbeza untuk pengaturcara berpengalaman.
Kumpulan penyelidikan AI bukan untung METR telah menjalankan kajian menyeluruh dengan 16 pembangun sumber terbuka yang berpengalaman, setiap seorang mempunyai purata lebih 10 tahun pengalaman. Mereka ini bukanlah pemula yang sedang belajar mengekod - mereka adalah pakar yang bekerja pada pembaikan pepijat dan ciri sebenar dalam repositori kod yang biasa.
Peserta Kajian: 16 pembangun sumber terbuka berpengalaman dengan purata pengalaman 10+ tahun
 |
|---|
| Seorang pembangun berpengalaman bergelut dengan kerumitan alat pengekodan AI, mencerminkan cabaran yang didedahkan dalam kajian terkini |
Paradoks Produktiviti
Keputusannya mengejutkan. Pembangun yang menggunakan alat AI seperti Cursor Pro dan Claude 3.5/3.7 Sonnet mengambil masa 19% lebih lama untuk menyelesaikan tugas mereka berbanding dengan mereka yang bekerja tanpa bantuan AI. Apa yang menjadikan penemuan ini lebih menarik ialah pembangun sendiri menjangkakan AI akan mempercepatkan mereka sebanyak 24% sebelum memulakan, dan masih percaya ia telah membantu mereka bekerja 20% lebih pantas walaupun selepas menyelesaikan kajian.
Ketidakselarasan antara persepsi dan realiti ini menyerlahkan isu utama dalam cara kita menilai keberkesanan alat AI. Komuniti telah menyatakan bahawa walaupun AI boleh menjana kod dalam jumlah besar dengan pantas, kos tersembunyi sering melebihi keuntungan kelajuan awal.
Jangkaan Pembangun berbanding Realiti: Dijangka 24% lebih pantas, dianggap 20% peningkatan, sebenarnya 19% lebih perlahan
Kos Masa Tersembunyi
Kajian mendedahkan beberapa faktor yang menyumbang kepada kelembapan. Pertama, pembangun menghabiskan masa yang banyak untuk mencipta gesaan berkesan untuk alat AI. Menulis gesaan pengaturcaraan yang baik memerlukan kemahiran dan amalan - ia tidak semudah meminta AI menulis fungsi.
Kedua, dan mungkin lebih ketara, pembangun mendapati diri mereka menghabiskan masa yang lama untuk menyemak kod yang dijana AI dan membetulkan ralat. Seorang peserta, pembangun Google Chrome, amat terkejut dengan betapa teruknya model AI mengendalikan pelaksanaan spesifikasi web.
Pengalaman saya ialah [AI] boleh menghasilkan 80% dalam beberapa minit, tetapi ia mengambil masa yang lama untuk membuang kod pendua, reka bentuk sistem yang buruk atau tidak wujud, dan membetulkan pepijat.
Alat AI yang Diuji: Cursor Pro dan Claude 3.5/3.7 Sonnet
Pertukaran Kualiti vs Kelajuan
Perbincangan komuniti mendedahkan corak yang melangkaui kajian tunggal ini. Penyelidikan dan Penilaian DevOps 2024 Google mendapati isu yang serupa - walaupun alat AI meningkatkan kelajuan semakan kod, kualiti sering terlalu buruk untuk kegunaan pengeluaran. Pasukan melaporkan lebih banyak ralat dan menghabiskan masa tambahan untuk membersihkan kesilapan yang dijana AI.
Ini mewujudkan apa yang sesetengah pembangun panggil gelung zombi - kitaran tanpa henti di mana AI menghasilkan kod yang cacat, pembangun membetulkannya, hanya untuk AI kembali kepada kesilapan yang serupa atau memperkenalkan masalah baru.
Implikasi yang Lebih Luas
Penemuan ini tidak terhad kepada pengaturcaraan. Isu kualiti yang serupa muncul merentasi pelbagai bidang di mana alat AI sedang diterima pakai. Masalah teras nampaknya ialah AI cemerlang dalam menghasilkan kerja yang kelihatan betul pada permukaan tetapi sering mengandungi ralat halus atau kelemahan reka bentuk yang memerlukan pengetahuan pakar untuk mengenal pasti dan membetulkan.
Bagi profesional berpengalaman, ini bermakna alat AI berfungsi terbaik sebagai bantuan dan bukannya pengganti. Ia paling berkesan apabila anda sudah tahu apa yang ingin dicapai dan boleh dengan cepat mengesan apabila AI tersasar. Walau bagaimanapun, bagi pengguna yang kurang berpengalaman yang sangat bergantung pada output AI, alat ini boleh mewujudkan pergantungan berbahaya di mana orang boleh menjana kod tetapi bergelut untuk memahami, menyahpepijat, atau menyelenggarakannya.
Kajian mencadangkan bahawa walaupun alat pengekodan AI mempunyai potensi, batasan semasa mereka bermakna ia sebenarnya mungkin menghalang produktiviti untuk tugas pembangunan dunia sebenar yang kompleks. Apabila teknologi terus berkembang, kuncinya ialah mencari keseimbangan yang tepat antara bantuan AI dan kepakaran manusia.
Rujukan: Wait a minute — developers who use genAI tools are slower?