OpenAI telah menerbitkan penyelidikan baharu yang menjelaskan punca akar halusinasi AI dan mencadangkan penyelesaian yang boleh mengubah cara kita menilai model bahasa. Syarikat itu berhujah bahawa kaedah ujian semasa sebenarnya menggalakkan sistem AI untuk membuat tekaan yakin daripada mengakui ketidakpastian, yang membawa kepada lebih banyak maklumat palsu dijana.
Definisi Halusinasi OpenAI: Kenyataan yang munasabah tetapi palsu yang dihasilkan oleh model bahasa, berbeza daripada penjanaan kandungan kreatif
 |
|---|
| Komposisi abstrak ini mencerminkan kerumitan sistem AI dan perjuangan mereka dengan ketidakpastian dan ketepatan |
Masalah Permainan Meneka
Isu teras terletak pada cara model AI dinilai pada masa ini. Kebanyakan penanda aras menilai model semata-mata berdasarkan ketepatan - peratusan soalan yang dijawab dengan betul. Ini mewujudkan insentif songsang di mana model diberi ganjaran kerana meneka secara liar daripada berkata saya tidak tahu. OpenAI membandingkan ini dengan ujian aneka pilihan di mana meninggalkan jawapan kosong menjamin mata sifar, tetapi tekaan rawak mungkin bertuah dan mendapat markah.
Komuniti telah bertindak balas dengan reaksi bercampur-campur terhadap penjelasan ini. Ada yang berhujah bahawa masalah ini lebih mendalam daripada kaedah penilaian, menunjukkan bahawa model bahasa pada asalnya direka untuk menjana kandungan kreatif, bukan memberikan jawapan fakta. Ketegangan asas antara kreativiti dan ketepatan ini mungkin lebih sukar diselesaikan daripada yang dicadangkan oleh OpenAI.
Masalah Penilaian Semasa: Kebanyakan penanda aras hanya mengukur ketepatan (peratusan betul), mendorong tekaan berbanding pengakuan ketidakpastian
Asal Usul Teknikal Maklumat Palsu
Penyelidikan OpenAI mengesan halusinasi kembali kepada proses latihan asas yang dipanggil ramalan perkataan seterusnya. Semasa fasa ini, model belajar daripada jumlah teks yang besar tetapi tidak menerima label yang menandakan kenyataan sebagai benar atau palsu. Mereka hanya melihat contoh bahasa yang fasih dan mesti memikirkan corak sendiri.
Ini berfungsi dengan baik untuk corak yang konsisten seperti ejaan dan tatabahasa, yang bertambah baik dengan lebih banyak data latihan. Walau bagaimanapun, fakta sewenang-wenangnya seperti hari lahir seseorang tidak boleh dipelajari daripada corak sahaja. Komuniti telah menyatakan bahawa ini mewujudkan had asas - sesetengah maklumat akan sentiasa tidak dapat diramalkan, membawa kepada kesilapan yang tidak dapat dielakkan dalam bidang tertentu.
Punca Akar Teknikal: Latihan ramalan perkataan seterusnya tidak mempunyai label benar/salah, menjadikan fakta sewenang-wenangnya tidak dapat diramal daripada corak sahaja
Cadangan Pembaharuan Penilaian
OpenAI mencadangkan penyelesaian yang mudah: ubah cara kita menilai model AI. Daripada memberi ganjaran hanya kepada jawapan yang betul, penilaian sepatutnya menghukum jawapan salah yang yakin lebih berat daripada ungkapan ketidakpastian. Sesetengah ujian piawai sudah menggunakan pendekatan yang serupa, menolak mata untuk tekaan yang salah bagi menghalang jawapan rawak.
Walau bagaimanapun, melaksanakan penyelesaian ini menghadapi cabaran praktikal. Melatih sistem AI untuk mengenali ketidakpastian mereka sendiri pada skala besar masih sukar secara teknikal. Komuniti menunjukkan bahawa menentukan bila model sepatutnya berkata saya tidak tahu berbanding memberikan respons yang membantu memerlukan kesedaran diri yang canggih yang kebanyakannya kurang dalam sistem semasa.
Penyelesaian yang Dicadangkan: Mengenakan penalti kepada kesilapan yang yakin lebih daripada ungkapan ketidakpastian, sama seperti sistem markah negatif dalam ujian piawai
Realiti Pasaran Berbanding Ideal Teknikal
Perdebatan penting telah muncul mengenai jangkaan pengguna. Ramai ahli komuniti berhujah bahawa kebanyakan pengguna lebih suka jawapan pantas dan yakin daripada ketidakpastian berhati-hati, walaupun jawapan tersebut mungkin salah. Ini mewujudkan insentif perniagaan untuk syarikat AI membina sistem yang meneka daripada menahan diri.
Ramai pengguna LLM tidak berminat dengan ketidakpastian. Mereka tidak mahu mendengar 'Saya tidak tahu' dan jika diberi respons tersebut akan cepat beralih kepada perkhidmatan alternatif yang memberikan mereka jawapan yang pasti.
Ketegangan antara amalan terbaik teknikal dan permintaan pasaran ini mungkin terbukti lebih mencabar untuk diselesaikan daripada isu teknikal yang mendasari.
Memandang ke Hadapan
Penyelidikan OpenAI memberikan kejelasan yang berharga mengenai mekanisme halusinasi, tetapi jalan ke hadapan masih kompleks. Syarikat itu mengakui bahawa walaupun dengan kaedah penilaian yang lebih baik, sesetengah tahap penjanaan maklumat palsu akan berterusan. Matlamatnya bukan kesempurnaan tetapi peningkatan ketara dalam kebolehpercayaan.
Komuniti AI yang lebih luas terus membahaskan sama ada penyelesaian yang dicadangkan menangani had seni bina asas atau sekadar gejala peringkat permukaan. Apabila model bahasa menjadi lebih berkuasa dan digunakan secara meluas, menyelesaikan isu kebolehpercayaan ini menjadi semakin kritikal untuk mengekalkan kepercayaan awam dan memastikan aplikasi yang selamat.
Rujukan: Why language models hallucinate