Komuniti kecerdasan buatan sedang bergelut dengan masalah asas dalam penilaian model: sebaik sahaja penanda aras menjadi awam, ia berkemungkinan akan berakhir dalam set data latihan, menjadikannya ukuran yang tidak boleh dipercayai bagi keupayaan sebenar AI.
Isu pencemaran ini telah mencetuskan perdebatan sengit dalam kalangan pembangun dan penyelidik yang bergantung kepada penanda aras untuk mengukur kemajuan dalam sistem AI. Cabaran ini melangkaui skor ujian mudah kepada persoalan teras tentang bagaimana kita boleh menilai secara bermakna sama ada model AI benar-benar bertambah baik atau hanya menjadi lebih baik dalam memanipulasi ujian tertentu.
Masalah Pencemaran Penanda Aras
Komuniti telah mengenal pasti kelemahan kritikal dalam kaedah penilaian semasa. Penanda aras awam, setelah dikeluarkan, menjadi sebahagian daripada set data besar yang digunakan untuk melatih model AI baharu. Ini mewujudkan masalah kitaran di mana model kelihatan berprestasi lebih baik bukan kerana ia lebih berkebolehan, tetapi kerana ia pada dasarnya telah melihat soalan ujian sebelum ini.
Isu ini menjejaskan segala-galanya daripada ujian pengetahuan asas seperti MMLU hingga penanda aras penaakulan yang kompleks. Malah penilaian yang lebih baharu dan sepatutnya lebih sukar dengan cepat mencapai apa yang penyelidik panggil ketepuan - titik di mana model teratas mencapai skor hampir sempurna, menjadikannya mustahil untuk membezakan antara sistem yang benar-benar unggul.
Kategori Penanda Aras Utama dan Contoh:
- Pengetahuan: MMLU-Pro , QAPGA , varian HumanEval
- Matematik: GSM8K , MATH-500 , AIME , Math-Arena
- Pengkodan: LiveCodeBench , SweBench , AiderBench
- Konteks Panjang: NIAH ( Needle in Haystack ), Ruler , InfinityBench
- Panggilan Alat: ToolBench , MCBench , MCP-Universe
- Tugas Pembantu: QA4IA , BrowseComps , SciCode
- Berasaskan Permainan: ARC-AGI , Town of Salem , TextQuests
Prestasi Dunia Sebenar vs Skor Penanda Aras
Semakin ramai pengamal berpendapat bahawa penanda aras piawai terlepas pandang sepenuhnya. Fokus sepatutnya pada membina sistem yang berfungsi dengan baik untuk pengguna sebenar, bukan pada mencapai skor tinggi dalam ujian abstrak.
Prestasi sebenar bergantung kepada bagaimana sistem dibina, lebih-lebih lagi daripada LLM asas. Menilai sistem yang anda bina pada input yang berkaitan adalah yang paling penting.
Perspektif ini menyerlahkan jurang antara prestasi makmal dan kegunaan praktikal. Sebuah model mungkin cemerlang dalam ujian penaakulan matematik tetapi gagal apabila penaakulan itu perlu digabungkan dengan penggunaan alat dan pemahaman konteks panjang dalam aplikasi sebenar.
Faktor Kos dalam Penilaian
Aspek yang sering diabaikan dalam penilaian AI ialah keberkesanan kos. Prestasi model boleh berbeza secara mendadak apabila kekangan bajet dipertimbangkan. Model yang sedikit kurang berkebolehan tetapi kos operasi yang jauh lebih rendah mungkin pilihan yang lebih baik untuk banyak aplikasi, tetapi penanda aras tradisional tidak menangkap pertukaran ini.
Sesetengah pembangun kini membina alat yang menggabungkan metrik kos dan latensi bersama skor ketepatan, memberikan gambaran yang lebih lengkap tentang kegunaan model dalam persekitaran pengeluaran.
Rangka Kerja Penilaian yang Disyorkan (2025):
- Keupayaan Teras: MMLU , Math-Arena , LiveCodeBench , MCP-Universe
- Prestasi Dunia Sebenar: QA4IA , DABStep , SciCode , penilaian khusus domain
- Ujian Kebolehsuaian: ARC-AGI , TextQuests , Town of Salem
- Pertimbangan Kos: Sertakan kekangan bajet dan metrik latensi dalam semua penilaian
Bergerak Ke Arah Ujian Peribadi dan Dinamik
Penyelesaian yang muncul daripada komuniti melibatkan peralihan ke arah penilaian peribadi dan khusus domain yang tidak boleh dimanipulasi melalui kemasukan data latihan. Sesetengah organisasi sedang membangunkan penanda aras dalaman berdasarkan kes penggunaan khusus mereka, manakala yang lain sedang meneroka persekitaran ujian dinamik yang boleh menyesuaikan diri dan mengejutkan model secara masa nyata.
Penilaian berasaskan permainan dan tugas ramalan mewakili arah yang menjanjikan, kerana ia melibatkan senario yang sememangnya sukar untuk diramal atau dicemari. Pendekatan ini menguji bukan sahaja ingatan pengetahuan tetapi keupayaan penaakulan dan penyesuaian yang tulen.
Krisis penilaian mencerminkan kematangan yang lebih luas dalam bidang AI. Apabila model menjadi lebih berkebolehan, kaedah untuk mengukur keupayaan itu mesti berkembang melampaui skor penanda aras mudah ke arah penilaian yang lebih bernuansa dan praktikal terhadap kegunaan dunia sebenar.
Rujukan: Evals in 2025: going beyond simple benchmarks to build models people can actually use