Komuniti teknologi sedang hangat berdebat berikutan penyiasatan sistematik terbaru OpenAI mengenai mengapa model bahasa besar menghasilkan maklumat palsu, yang biasanya dipanggil halusinasi. Penyelidikan ini datang ketika sistem AI menjadi lebih meluas dalam penggunaan harian, menjadikan kebolehpercayaan mereka sebagai kebimbangan kritikal bagi pengguna dan pembangun.
Masalah Teras: Objektif Latihan dan Penanda Aras
Penyelidikan OpenAI mengenal pasti halusinasi sebagai berpunca secara asasnya daripada objektif latihan dan kaedah penilaian yang cacat, bukannya sebagai keanehan sistem AI yang tidak boleh diperbaiki. Kajian ini mencadangkan bahawa pendekatan latihan semasa tidak mengajar model dengan secukupnya bila perlu berkata saya tidak tahu berbanding bila perlu memberikan jawapan yang yakin.
Walau bagaimanapun, komuniti kekal berpecah mengenai sama ada halusinasi adalah istilah yang betul. Sesetengah pihak berhujah bahawa output ini mewakili fungsi normal model statistik dan bukannya kerosakan sebenar. Model-model berfungsi tepat seperti yang direka - mereka menghasilkan respons yang paling berkemungkinan secara statistik berdasarkan data latihan mereka, tanpa mengira ketepatan fakta.
Penemuan Penyelidikan Utama:
- Halusinasi berpunca daripada objektif latihan dan penanda aras, bukan kelemahan model yang wujud secara semula jadi
- Model yang lebih kecil kadangkala dapat mengendalikan ketidakpastian dengan lebih baik berbanding model yang lebih besar
- "Kalibrasi" (memadankan keyakinan dengan ketepatan) memerlukan pengiraan yang kurang berbanding untuk menjadi tepat
- Penyelesaian semasa memberi tumpuan kepada penambahbaikan kaedah latihan dan bukannya perubahan seni bina
Ingatan Manusia vs Penyimpanan Pengetahuan AI
Perbincangan selari yang menarik telah muncul membandingkan ingatan manusia dengan sistem pengetahuan AI . Tidak seperti model bahasa, manusia sering boleh membezakan antara apa yang mereka tahu dan apa yang mereka teka kerana mereka mengingati proses pembelajaran maklumat. Ingatan episodik ini - mengingat pengalaman pembelajaran tertentu - nampaknya membantu manusia mengelak daripada menyatakan maklumat palsu dengan yakin.
Perbandingan ini mendedahkan perbezaan utama: pengetahuan manusia terasa seperti sedimen, dengan fakta berbeza mempunyai tahap kepastian yang berbeza-beza berdasarkan bagaimana ia dipelajari. Model AI , sebaliknya, menganggap semua data latihan sebagai corak statistik yang sama sah tanpa sebarang rasa kebolehpercayaan sumber atau konteks pembelajaran.
Perbandingan Memori Manusia vs AI:
- Memori Manusia: Episodik (mengingati pengalaman pembelajaran), tahap keyakinan berhierarki, sedar sumber
- Pengetahuan AI: Corak statistik, tiada konteks pembelajaran, menganggap semua data latihan secara sama rata
- Punca Halusinasi: Manusia boleh "merasakan" jurang pengetahuan; AI tidak dapat membezakan antara maklumat yang diketahui dan tidak diketahui
Penyelesaian Teknikal dan Batasan
Penyelidikan menunjukkan bahawa model yang lebih kecil mungkin sebenarnya mengendalikan ketidakpastian dengan lebih baik daripada yang lebih besar dalam sesetengah kes. Model yang tahu sangat sedikit tentang sesuatu topik boleh hanya berkata saya tidak tahu, manakala model dengan pengetahuan separa menghadapi tugas yang lebih sukar untuk menentukan tahap keyakinannya.
Ia boleh menjadi lebih mudah bagi model kecil untuk mengetahui hadnya. Sebagai contoh, apabila diminta menjawab soalan Māori , model kecil yang tidak tahu Māori boleh hanya berkata 'Saya tidak tahu' manakala model yang tahu sedikit Māori perlu menentukan keyakinannya.
Penemuan ini mencabar andaian bahawa model yang lebih besar secara automatik bermakna halusinasi yang lebih sedikit. Hubungan antara saiz model dan kebolehpercayaan nampaknya lebih kompleks daripada yang difikirkan sebelum ini.
Kesan Dunia Sebenar dan Hala Tuju Masa Depan
Implikasi praktikal melangkaui minat akademik. Pengguna kerap menghadapi situasi di mana AI dengan yakin memberikan maklumat teknikal yang salah, butiran undang-undang, atau dakwaan fakta. Penyelidikan mencadangkan bahawa kaedah latihan yang lebih baik yang memfokuskan pada kalibrasi - mengajar model untuk memadankan keyakinan mereka dengan ketepatan sebenar mereka - boleh mengurangkan masalah ini dengan ketara.
Perdebatan juga menyentuh sama ada seni bina AI semasa boleh menyelesaikan sepenuhnya isu halusinasi, atau sama ada pendekatan yang berbeza secara asas yang melibatkan pengalaman dunia sebenar dan pembelajaran berterusan mungkin diperlukan. Sesetengah penyelidik berhujah bahawa sehingga sistem AI boleh membentuk ingatan episodik tulen melalui pengalaman hidup, halusinasi akan kekal sebagai batasan yang wujud dan bukannya pepijat yang boleh diselesaikan.
Ketika sistem AI menjadi lebih bersepadu ke dalam aplikasi kritikal, memahami dan meminimumkan halusinasi menjadi semakin penting untuk keselamatan pengguna dan kebolehpercayaan sistem.
Rujukan: Knowledge and memory