Satu kit alat baharu yang mendakwa dapat meramal dan mengurangkan halusinasi AI telah mencetuskan perdebatan sengit dalam komuniti pembangun, dengan ramai yang mempersoalkan asas saintifik dan keberkesanan praktikalnya.
Kalkulator Risiko Halusinasi & Kit Alat Kejuruteraan Semula Prompt berjanji untuk membantu pembangun mengenal pasti bila model bahasa besar mungkin menghasilkan maklumat palsu. Ia menggunakan rangka kerja matematik seperti Hukum Penguraian Tahap Jangkaan dan berfungsi secara eksklusif dengan API OpenAI untuk menganalisis prompt dan respons.
Keperluan Pemasangan
- Pemasangan pakej Python melalui pip
- Kunci API OpenAI diperlukan
- Menyokong model GPT-3.5-turbo dan GPT-4
- Pelbagai pilihan pelaksanaan: Python , Streamlit , aplikasi Electron , PyInstaller yang boleh dilaksanakan
Asas Akademik Yang Diragui Menimbulkan Tanda Bahaya
Ahli komuniti telah menemui ketidakkonsistenan yang ketara dalam dakwaan sokongan penyelidikan projek tersebut. Kit alat ini merujuk kepada kertas kerja bertajuk Compression Failure in LLMs: Bayesian in Expectation, Not in Realization yang kononnya diterbitkan di NeurIPS 2024, tetapi tiada kertas kerja sedemikian wujud dengan tajuk tepat tersebut. Apabila pembangun menemui kertas kerja berkaitan di arXiv, mereka perasan ia menggunakan model AI lapuk seperti text-davinci-002, yang telah dihentikan pada tahun 2023.
Ia memberitahu bahawa baik repositori mahupun kertas kerja yang dipautkan tidak mempunyai satu pun demonstrasi empirikal tentang keupayaan untuk meramal halusinasi.
Pendekatan matematik itu sendiri telah mendapat kritikan kerana bergantung pada konsep seperti kompleksiti Kolmogorov dan induksi Solomonoff - rangka kerja teori yang sebenarnya tidak dapat dikira dalam praktik, menjadikan penggunaannya dalam sistem yang berfungsi diragui.
Komponen Rangka Kerja Teknikal
- Undang-undang Penguraian Tahap Jangkaan ( EDL ) untuk pengiraan risiko
- Nisbah Kecukupan Maklumat ( ISR ) untuk penggerbangan keputusan
- Dua mod penggunaan: Kukuh-Bukti dan Buku-Tertutup
- Menggunakan API OpenAI Chat Completions secara eksklusif
- Memerlukan 5-10 sampel untuk hasil yang stabil
Masalah Halusinasi Dunia Sebenar Berterusan
Perbincangan telah menyerlahkan cabaran berterusan yang dihadapi pembangun dengan kandungan yang dijana AI. Pengguna berkongsi pengalaman model AI membuat kesilapan halus tetapi kritikal, seperti menukar nombor rawak dalam fail data atau memberikan jawapan yang yakin tetapi salah. Masalah ini berlaku walaupun dengan model canggih dan boleh sukar dikesan tanpa pengesahan teliti.
Sesetengah pembangun telah menemui kejayaan dengan pendekatan yang lebih mudah, seperti meminta AI menulis kod untuk mengubah data daripada melakukan transformasi secara langsung, atau menggunakan teknik semakan kendiri di mana AI memeriksa responsnya sendiri untuk kesilapan yang berpotensi.
Ciri-ciri Prestasi
- Kependaman: 2-5 saat bagi setiap peristiwa
- Kadar API: 2-4 permintaan sesaat
- Kos: ~$0.0115 USD bagi setiap item menggunakan GPT-4-turbo
- Ketepatan: Mendakwa Wilson-Bounded pada keyakinan 95%
Komuniti Mencari Penyelesaian Praktikal
Walaupun pendekatan kit alat tersebut mungkin cacat, ia mencerminkan keperluan tulen dalam komuniti pembangunan AI untuk cara yang lebih baik bagi mengenal pasti output yang tidak boleh dipercayai. Pembangun sedang bereksperimen dengan pelbagai teknik, daripada strategi prompting yang diperbaiki kepada sistem berasaskan reputasi dan pendekatan pelabelan kandungan.
Perdebatan ini menggariskan cabaran yang lebih luas dalam pembangunan AI: membezakan antara kemajuan penyelidikan yang sah dan alat yang mungkin bersembunyi di sebalik notasi dan bahasa yang padat tanpa memberikan nilai sebenar. Apabila sistem AI menjadi lebih meluas digunakan, keperluan untuk kaedah pengesanan halusinasi yang boleh dipercayai menjadi semakin kritikal untuk mengekalkan kepercayaan dan keselamatan dalam aplikasi AI.
Rujukan: Hallucination Risk Calculator & Prompt Re-engineering Toolkit (OpenAI-only)