Pembantu pengekodan AI semakin popular, dengan syarikat seperti Meta dan Salesforce membuat dakwaan berani tentang peningkatan produktiviti dan pengurangan keperluan pengambilan pekerja. Walau bagaimanapun, insiden terkini menyerlahkan kebimbangan kebolehpercayaan yang serius yang mencabar garis masa optimistik industri untuk penggunaan meluas.
Bencana Pemadaman Fail Merentasi Pelbagai Platform AI
Semakin ramai pembangun melaporkan insiden kehilangan data bencana yang melibatkan agen pengekodan AI. Kes terbaru melibatkan CLI Gemini Google, yang berhalusinasi operasi fail yang berjaya sementara sebenarnya memusnahkan data pengguna. AI tersebut dengan yakin melaporkan mencipta direktori dan memindahkan fail, tetapi pada hakikatnya, folder destinasi tidak pernah wujud dan fail telah ditulis ganti atau hilang sepenuhnya.
Ini bukan insiden terpencil. Ramai pengguna melaporkan pengalaman serupa dengan Claude, di mana AI memadamkan keseluruhan fail apabila diminta untuk membuang fungsi tunggal, atau mengubah suai projek yang tidak berkaitan tanpa kebenaran. Seorang pembangun menyatakan bahawa Claude memusnahkan keseluruhan fail selepas diminta untuk membuang satu ujian, manakala yang lain menggambarkan melihat Claude mencari sistem fail mereka dan cuba mengubah suai projek yang tidak berkaitan sebagai kes ujian.
Coraknya konsisten merentasi platform: agen AI salah tafsir output arahan, menganggap operasi berjaya apabila ia gagal, dan kekurangan mekanisme pengesahan yang betul untuk mengesahkan tindakan mereka benar-benar berfungsi.
Isu Biasa Agen Pengekodan AI:
- Pemadaman fail apabila diminta untuk mengubah suai fungsi tunggal
- Operasi berjaya yang dihalusinasi tetapi sebenarnya gagal
- Ketidakupayaan untuk mengesahkan hasil pelaksanaan arahan
- Salah tafsir kod ralat dan output arahan
- Kekurangan sekatan sandbox yang betul
Masalah Halusinasi dalam Pelaksanaan Arahan
Analisis teknikal mendedahkan kelemahan asas dalam cara sistem AI ini mengendalikan operasi baris arahan. Apabila Gemini cuba mencipta direktori menggunakan arahan mkdir Windows, ia berkemungkinan gagal disebabkan sekatan kotak pasir keselamatan. Walau bagaimanapun, AI mentafsir kegagalan ini sebagai kejayaan dan meneruskan operasi fail seterusnya berdasarkan andaian palsu ini.
Keadaan bertambah buruk apabila Gemini menggunakan arahan move Windows dengan destinasi yang tidak wujud. Daripada memindahkan fail ke folder, arahan tersebut menamakan semula setiap fail kepada nama destinasi, dengan setiap pemindahan seterusnya menulis ganti yang sebelumnya. Tingkah laku ini, walaupun didokumentasikan dalam spesifikasi arahan Windows, mencipta lata pemusnahan data yang tidak pernah dikesan oleh AI.
Saya telah mengecewakan anda sepenuhnya dan secara bencana. Semakan saya terhadap arahan mengesahkan ketidakcekapan kasar saya. Arahan mkdir untuk mencipta folder destinasi berkemungkinan gagal secara senyap, dan arahan pemindahan seterusnya saya, yang saya salah tafsir sebagai berjaya, telah menghantar fail anda ke lokasi yang tidak diketahui.
Isu Tingkah Laku Arahan Windows:
mkdirgagal secara senyap apabila direktori sudah wujud- Arahan
movemenamakan semula fail apabila destinasi tidak wujud - Pemindahan wildcard boleh menimpa fail secara berurutan
- Kod keluar mungkin tidak menunjukkan kejayaan operasi dengan betul
- Sekatan sandbox keselamatan boleh menyebabkan kegagalan yang tidak dijangka
Gembar-gembur Industri Berbanding Realiti
Jurang antara janji pemasaran dan prestasi sebenar semakin jelas. Sementara CEO mengumumkan rancangan untuk menggantikan bahagian penting tenaga kerja pembangunan mereka dengan alat AI, teknologi asas bergelut dengan operasi fail asas. Aplikasi CLI Gemini Google sendiri, walaupun dibina oleh salah satu syarikat teknologi yang paling banyak dibiayai di dunia, mengandungi pepijat asas yang boleh memusnahkan data pengguna.
Ironinya tidak hilang pada pembangun: jika agen pengekodan AI ini secekap yang diiklankan, tidakkah syarikat yang membinanya menggunakan alat mereka sendiri untuk mencipta perisian yang lebih boleh dipercayai? Pepijat berterusan dan kes tepi dalam alat pengekodan AI menunjukkan bahawa walaupun penciptanya belum menyelesaikan masalah kebolehpercayaan.
Langkah Keselamatan dan Amalan Terbaik
Pembangun berpengalaman menyesuaikan diri dengan menganggap agen pengekodan AI seperti alat berbahaya yang memerlukan pengendalian berhati-hati. Menjalankan sistem ini dalam bekas Docker, mesin maya, atau persekitaran kotak pasir telah menjadi penting. Kawalan versi Git menyediakan sedikit perlindungan, tetapi hanya jika pembangun komit perubahan dengan kerap sebelum membenarkan agen AI membuat pengubahsuaian.
Konsensus di kalangan pengguna berpengalaman adalah jelas: jangan sekali-kali menjalankan agen pengekodan AI dalam persekitaran produksi atau pada kod yang tidak boleh diganti tanpa sandaran komprehensif. Teknologi menunjukkan potensi untuk tugas tertentu, tetapi risiko kegagalan bencana kekal terlalu tinggi untuk kerja kritikal.
Langkah Keselamatan yang Disyorkan:
- Gunakan bekas Docker atau mesin maya untuk operasi ejen AI
- Komit kod ke Git sebelum membenarkan pengubahsuaian AI
- Jalankan ejen hanya dalam direktori ujian dengan data yang telah disandarkan
- Elakkan persekitaran pengeluaran sepenuhnya
- Laksanakan pengesahan kerap terhadap operasi yang dilakukan oleh AI
Kesimpulan
Walaupun pembantu pengekodan AI menawarkan faedah produktiviti tulen dalam persekitaran terkawal, generasi semasa alat memerlukan langkah keselamatan yang ketara untuk mencegah kehilangan data. Garis masa penggunaan agresif industri mungkin terlalu awal memandangkan isu kebolehpercayaan asas ini. Sehingga agen AI boleh mengesahkan tindakan mereka sendiri dengan boleh dipercayai dan mengendalikan kes tepi dengan anggun, pembangun mesti kekal berjaga-jaga dan mengekalkan protokol sandaran yang ketat apabila menggunakan alat yang berkuasa tetapi tidak dapat diramal ini.
Rujukan: I Watched Gemini CLI Hallucinate and Delete My Files