Komuniti AI sedang bergempar mengenai perkembangan penting dalam cara model bahasa mengendalikan ketidakpastian. Walaupun halusinasi AI - di mana model memberikan maklumat yang salah dengan penuh keyakinan - telah lama melanda bidang ini, pemerhatian terkini menunjukkan kita mungkin menyaksikan peringkat awal penyelesaian.
Revolusi Kejujuran Tidak Dijangka Claude 4
Pengguna melaporkan perubahan yang luar biasa dalam tingkah laku Claude 4 berbanding dengan pendahulunya. Model baharu ini menunjukkan keupayaan yang tidak pernah ada sebelum ini untuk mengenali batasannya dan secara jelas menolak tugasan yang mustahil. Ini mewakili penyimpangan asas daripada tingkah laku AI biasa yang cuba melakukan setiap permintaan, tanpa mengira kebolehlaksanaannya.
Saya meminta Sonnet 4 untuk melakukan sesuatu yang 3.7 Sonnet telah bergelut dengannya dan ia memberitahu saya bahawa apa yang saya minta adalah tidak mungkin dan menjelaskan mengapa.
Peningkatan ini kelihatan terutamanya ketara dalam senario pengkodan, di mana model kini boleh mengenal pasti apabila tugasan pengaturcaraan adalah mustahil daripada menghasilkan kod yang tidak berfungsi. Kejayaan ini mencabar pemahaman konvensional tentang bagaimana model bahasa sepatutnya berkelakuan dan menunjukkan bahawa pendekatan sentiasa cuba membantu mungkin tidak optimum.
Perbandingan Model Claude
- Claude 3.7 Sonnet : Bergelut dengan tugasan yang mustahil, terus mencuba penyelesaian
- Claude Sonnet 4 : Mengenali tugasan yang mustahil, secara jelas menolak dengan penjelasan
- Bidang penambahbaikan: Terutamanya ketara dalam senario pengekodan Python
 |
|---|
| Keupayaan Claude 4 yang bertambah baik untuk mengenali batasannya, ditunjukkan melalui penyelesaian tugasan matematik dengan betul |
Masalah Teras: Melatih Model untuk Meneka
Punca halusinasi AI terletak pada cara sistem ini dilatih. Model bahasa belajar untuk menghasilkan respons yang kedengaran munasabah dengan meramalkan perkataan seterusnya yang paling berkemungkinan dalam urutan. Apabila berhadapan dengan maklumat yang tidak diketahui, mereka tidak mempunyai mekanisme untuk menyatakan ketidakpastian - sebaliknya, mereka menghasilkan respons yang berkemungkinan secara statistik tetapi berpotensi palsu.
Kaedah latihan semasa secara tidak sengaja menggalakkan tingkah laku ini. Model menerima rangsangan positif untuk memberikan jawapan, walaupun yang salah, manakala respons seperti saya tidak tahu sering dikenakan penalti. Ini mewujudkan sistem yang berkelakuan seperti pelajar yang sentiasa meneka dalam ujian aneka pilihan daripada meninggalkan jawapan kosong.
Punca Akar Masalah Latihan
- Model diberi ganjaran kerana memberikan jawapan (walaupun jawapan yang salah)
- Respons "Saya tidak tahu" sering dikenakan penalti dalam latihan
- Data latihan menangkap fakta yang diketahui, bukan ungkapan ketidaktahuan
- Pembelajaran pengukuhan menggalakkan tingkah laku meneka yang serupa dengan strategi mengambil ujian
Perdebatan Terminologi Berterusan
Komuniti AI kekal berpecah mengenai terminologi yang betul untuk fenomena ini. Walaupun halusinasi telah menjadi istilah standard, ramai yang berpendapat ia mengelirukan kerana tidak sepadan dengan definisi psikologi melihat sesuatu yang tidak wujud. Konfabulasi - penciptaan maklumat palsu - dengan lebih tepat menggambarkan apa yang berlaku, walaupun ia tidak mendapat penerimaan meluas.
Sesetengah pengguna menyatakan kekecewaan dengan keutamaan korporat untuk halusinasi berbanding istilah yang lebih langsung seperti maklumat salah atau hanya mengakui bahawa model kadangkala menghasilkan output yang salah. Pilihan linguistik ini mencerminkan ketegangan yang lebih luas tentang bagaimana industri membincangkan batasan AI.
Perdebatan Terminologi AI
- Halusinasi: Piawaian industri semasa, tetapi tidak tepat dari segi psikologi
- Konfabulasi: Istilah yang lebih tepat bermaksud "penciptaan maklumat palsu"
- Istilah alternatif: Maklumat salah, output tidak betul, tingkah laku "rosak"
Sifat Bermata Dua Kreativiti AI
Mekanisme yang sama yang menghasilkan halusinasi juga membolehkan keupayaan kreatif AI. Apabila diminta untuk menulis puisi tentang gunung fiksyen atau menghasilkan kandungan imaginatif, keupayaan model untuk melampaui fakta yang dihafal menjadi ciri dan bukannya pepijat. Ini mewujudkan ketegangan asas: kreativiti yang menjadikan AI berharga untuk tugasan artistik secara langsung bercanggah dengan keperluan ketepatan untuk pertanyaan fakta.
Melihat ke Hadapan: Model yang Lebih Kecil dan Lebih Bijak
Jika sistem AI boleh mengenali sempadan pengetahuan mereka dengan pasti, ia boleh merevolusikan bidang ini. Daripada menyimpan sejumlah besar maklumat yang berpotensi salah, model masa depan boleh menjadi lebih kecil dan lebih cekap, mengetahui bila hendak mencari maklumat daripada meneka. Pendekatan ini boleh mengurangkan penggunaan tenaga dengan ketara sambil meningkatkan kebolehpercayaan.
Kemajuan terkini dengan Claude 4 dan perkembangan serupa dalam penyelesaian masalah matematik menunjukkan bahawa mengajar AI untuk berkata saya tidak tahu mungkin lebih boleh dicapai daripada yang difikirkan sebelum ini. Walau bagaimanapun, melaksanakan perubahan sedemikian pada skala besar memerlukan peralihan asas dalam metodologi latihan dan metrik penilaian di seluruh industri.
Rujukan: The Nature Of Hallucinations