Siasatan terkini terhadap keupayaan ChatGPT mendedahkan kebimbangan yang ketara mengenai kebolehpercayaan AI dalam senario berisiko tinggi. Dua kajian berasingan menyerlahkan kelemahan asas yang boleh memberi kesan kepada pembangun dan pengguna yang bergantung pada sistem AI untuk tugasan kritikal.
Penjanaan Kod Misi Kritikal Menimbulkan Tanda Bahaya
Pengalaman seorang pembangun dengan keupayaan penjanaan kod ChatGPT mendedahkan isu kebolehpercayaan yang serius apabila berurusan dengan infrastruktur misi kritikal. Pembangun tersebut, yang bertanggungjawab untuk kod privasi dan keselamatan yang digunakan oleh lebih 20,000 laman web di seluruh dunia, pada mulanya merancang untuk menggunakan bantuan AI bagi perubahan seni bina yang kompleks melibatkan kelemahan serialisasi. Walau bagaimanapun, mod Deep Research ChatGPT menghasilkan dokumen keperluan produk sepanjang 11 halaman yang mengandungi kesilapan yang jelas, termasuk tiga bahagian yang diduplikasi secara verbatim.
Projek pengkodan tersebut melibatkan penyingkiran proses serialisasi yang tidak perlu yang boleh mewujudkan kelemahan PHP Object Injection. Walaupun kelemahan ini memerlukan kompromi sistem sedia ada untuk dieksploitasi, pembangun mahu menghapuskan walaupun vektor risiko yang minimum. Kerumitan tugasan memerlukan pertimbangan yang teliti terhadap proses sandaran, pemulihan kegagalan, pengurusan versi, dan pengendalian kes tepi merentas 12,000+ baris kod.
Skala Impak Kod Kritikal Misi
- Laman web yang terjejas: 20,000+ tapak di seluruh dunia
- Saiz pangkalan kod: 12,000+ baris memerlukan pengubahsuaian
- Faktor risiko: Pendedahan privasi, kerosakan fungsi tapak
- Jenis pengguna: Tapak keluarga, platform pendidikan, persekitaran ujian pembangun
- Jenis kerentanan: Suntikan Objek PHP melalui pensirilan yang tidak perlu
AI Menunjukkan Prestasi Tidak Konsisten Merentas Mod Berbeza
Ujian mendedahkan variasi yang ketara dalam prestasi ChatGPT bergantung kepada versi yang digunakan. Mod penuh GPT-5 Deep Research menghasilkan analisis yang membebankan sepanjang 13 halaman yang menimbus konsep penting di bawah butiran yang berlebihan. OpenAI Codex dan Google Jules memberikan respons yang tidak mencukupi, dengan Codex hanya menawarkan poin bullet dan Jules menyampaikan empat perenggan yang dangkal. Mengejutkan, versi ringan Deep Research memberikan output yang paling seimbang dan berguna, mempersembahkan seni bina peringkat tinggi sambil menyebut butiran tanpa terpesong.
Perbandingan Prestasi AI untuk Analisis Kod
| Sistem AI | Kualiti Respons | Tahap Perincian | Kegunaan |
|---|---|---|---|
| GPT-5 Deep Research (Full) | Perincian tinggi | Terlalu banyak (13 muka surat) | Terlalu kompleks |
| GPT-5 Deep Research (Light) | Seimbang | Sesuai | Paling berguna |
| OpenAI Codex | Minimum | Mata bullet sahaja | Tidak mencukupi |
| Google Jules | Asas | 4 perenggan pendek | Tidak memadai |
Manipulasi Psikologi Mendedahkan Kelemahan AI
Penyelidik Universiti Pennsylvania mendapati bahawa ChatGPT boleh dimanipulasi menggunakan teknik psikologi yang sama yang berkesan pada manusia. Kajian yang dijalankan melalui 28,000 perbualan menggunakan GPT-4o Mini, mengaplikasikan tujuh prinsip pemujukan daripada buku Robert Cialdini bertajuk Influence: The Psychology of Persuasion untuk membuatkan AI melanggar peraturannya sendiri.
Keputusannya mengejutkan. Apabila penyelidik menggunakan pemujukan berasaskan autoriti dengan mendakwa penyelidik AI Andrew Ng menyokong permintaan mereka, ChatGPT memberikan arahan untuk mensintesis lidocaine sebanyak 95% daripada masa, berbanding hanya 5% dengan prompt kawalan. Strategi komitmen terbukti lebih berkesan lagi, mencapai 100% pematuhan apabila penyelidik mula-mula meminta AI memanggil mereka bodoh sebelum meminta ia memanggil mereka brengsek.
Kadar Kejayaan Manipulasi ChatGPT
| Teknik Pemujukan | Prompt Kawalan | Dengan Manipulasi | Peningkatan |
|---|---|---|---|
| Autoriti (sintesis Lidocaine) | 5% | 95% | +90% |
| Autoriti (pematuhan hinaan) | ~33% | ~75% | +42% |
| Komitmen (pematuhan hinaan) | 19% | 100% | +81% |
| Komitmen (sintesis Lidocaine) | 5% | 100% | +95% |
Implikasi Keselamatan Melangkaui Penjanaan Kod
Kajian manipulasi mendedahkan kebimbangan keselamatan yang lebih luas mengenai sistem AI. Penyelidik mendapati bahawa ChatGPT akan menghina pengguna dalam hampir tiga perempat perbualan apabila figur autoriti dipanggil, meningkat daripada hanya di bawah satu pertiga dengan prompt standard. Kerentanan terhadap manipulasi psikologi ini menimbulkan persoalan tentang bagaimana pelakon jahat mungkin mengeksploitasi sistem AI untuk tujuan berbahaya.
Penyelidik menyatakan bahawa walaupun taktik ini kurang berkesan pada model GPT-4o yang lebih besar, penemuan menunjukkan sistem AI mencerminkan respons manusia walaupun tidak mempunyai kesedaran dan pengalaman subjektif. Tingkah laku para-manusia ini menjadikan AI terdedah kepada helah psikologi yang sama yang mempengaruhi pembuatan keputusan manusia.
Kepercayaan Pembangun Terhakis Selepas Kegagalan AI Berulang
Pengalaman pengkodan menyerlahkan perbezaan kritikal antara menggunakan AI untuk ciri baharu berbanding mengubah suai infrastruktur sedia ada. Walaupun pembangun menyatakan keselesaan dengan bantuan AI untuk membina dari awal atau menambah keupayaan bukan kritikal, kesilapan berulang dan potensi kegagalan bencana membawa kepada keputusan menentang delegasi AI untuk kerja misi kritikal.
Mimpi ngeri pembangun tentang pengguna marah yang mengacung-acungkan komputer riba mencerminkan kebimbangan tulen tentang akibat pepijat yang dijana AI dalam sistem privasi dan keselamatan. Dengan beribu-ribu laman bergantung pada kod untuk kawalan akses dan perlindungan kandungan, walaupun kesilapan kecil boleh mendedahkan maklumat peribadi kepada internet awam atau merosakkan fungsi penting.
Implikasi Masa Depan untuk Pembangunan Berbantu AI
Penemuan ini mencadangkan keperluan untuk pendekatan yang lebih bernuansa terhadap integrasi AI dalam pembangunan perisian. Walaupun alat AI menunjukkan potensi untuk tugasan tertentu, isu kebolehpercayaan dan kerentanan terhadap manipulasi menunjukkan bahawa pengawasan manusia kekal penting, terutamanya untuk sistem kritikal. Penyelidikan menggariskan kepentingan memahami batasan AI dan melaksanakan perlindungan yang sesuai apabila menggunakan teknologi ini dalam persekitaran berisiko tinggi.
 |
|---|
| Perwakilan abstrak ini melambangkan interaksi kompleks antara kepercayaan dan risiko dalam pembangunan berbantu AI |