Dunia penerbitan akademik sedang menghadapi badai yang sempurna. Kadar penerimaan yang rendah di persidangan AI terkemuka mencipta timbunan penyerahan yang besar, manakala alat kecerdasan buatan memudahkan penjanaan kertas kerja penyelidikan yang meragukan. Gabungan ini mendorong sistem semakan rakan sebaya tradisional ke tahap yang kritikal.
Matematik Di Sebalik Kegilaan Ini
Analisis terkini mendedahkan corak yang membimbangkan dalam persidangan sains komputer. Apabila kadar penerimaan menurun daripada 35% kepada 20%, jumlah keseluruhan penyerahan tidak berkurangan - sebaliknya meningkat secara mendadak. Ini berlaku kerana kertas kerja yang ditolak diserahkan berulang kali, mewujudkan inflasi buatan dalam kumpulan penyerahan. Hasilnya ialah persidangan dengan 20,000+ penyerahan tidak melihat 20,000 idea penyelidikan baharu, tetapi sebaliknya kumpulan kertas kerja yang sama berputar dalam sistem berkali-kali.
Beban semakan berkembang secara eksponen. Persidangan yang menerima 20% daripada penyerahan mesti menyemak kira-kira lima kali lebih banyak kertas kerja berbanding yang menerima jumlah mutlak yang sama pada kadar 35%. Realiti matematik ini bermakna menurunkan kadar penerimaan tidak meningkatkan kualiti - ia hanya mencipta lebih banyak kerja untuk semua pihak yang terlibat.
Analisis Kesan Kadar Penerimaan
- Mengurangkan kadar penerimaan daripada 35% kepada 20% meningkatkan saiz kumpulan penyerahan sebanyak ~46%
- Jumlah mutlak kertas kerja yang diterima adalah sama tanpa mengira kadar penerimaan
- Beban semakan meningkat secara anggaran sebagai N/p (kertas kerja baharu dibahagikan dengan kadar penerimaan)
- Pengabaian kertas kerja yang lemah meningkat daripada ~60% kepada ~77%, tetapi purata pengabaian kertas kerja meningkat daripada 4% kepada 24%
Masalah LLM Muncul
Pelajar siswazah semakin beralih kepada model bahasa besar untuk membantu menulis kertas kerja mereka, sering kali dengan hasil yang buruk. Seorang pemerhati menyatakan menyaksikan seorang pelajar menyerahkan kertas kerja persidangan yang dipenuhi dengan bahan yang direka-reka sepenuhnya dan rujukan yang tidak wujud, semuanya dijana oleh AI. Kertas kerja itu kelihatan boleh diterima pada pandangan pertama, tetapi runtuh apabila diteliti dengan teliti.
Pertama, model-model ini tidak bagus langsung dalam penulisan teknikal. Mereka tidak mempunyai rasa tentang berat sesuatu ayat, mereka hanya suka bercakap kosong.
Kemudahan menjana kandungan yang kedengaran munasabah tetapi tidak bernilai secara saintifik membanjiri persidangan dengan penyerahan berkualiti rendah. Ini mewujudkan kitaran ganas di mana penyemak manusia menjadi terharu dan memberikan semakan berkualiti rendah, yang seterusnya menjadikan proses penerimaan lebih rawak dan memaksa pengarang menyerahkan lebih banyak kertas kerja untuk meningkatkan peluang mereka.
 |
|---|
| Cabaran penulisan berbantu AI yang ditonjolkan dalam perbualan jenaka mengenai penyerahan akademik |
Insentif Kerjaya Mendorong Krisis
Punca utama melangkaui teknologi kepada insentif kerjaya asas dalam akademia. Universiti dan agensi pembiayaan terus menilai penyelidik terutamanya berdasarkan tempat mereka menerbitkan dan bukannya apa yang mereka sumbangkan. Ini mewujudkan tekanan untuk menyasarkan hanya tempat yang paling berprestij, tanpa mengira sama ada kerja itu benar-benar layak mendapat tahap pengiktirafan tersebut.
Mantra satu kertas kerja setahun di universiti penyelidikan mendorong pelajar dan fakulti untuk memotong kerja mereka kepada beberapa penerbitan dan bukannya memberi tumpuan kepada sumbangan yang besar. Banyak kertas kerja hari ini mewakili apa yang akan dikongsi sebagai repositori kod sumber terbuka pada masa lalu, tetapi kini memerlukan proses penerbitan akademik penuh untuk mendapat pengiktirafan.
Had Fizikal Bertemu Permintaan Digital
Persidangan menghadapi kekangan sebenar yang tidak diambil kira oleh model matematik. Malah sesi poster mempunyai had ruang, dan mencipta persidangan peringkat teratas baharu dari awal mengambil masa beberapa dekad untuk membina reputasi. Walaupun sesetengah pihak mencadangkan mengenakan yuran penyerahan atau melaksanakan halangan lain, penyelesaian ini berisiko mewujudkan halangan kewangan untuk penyelidik dari institusi yang kurang kaya.
Komuniti sedang meneroka alternatif seperti persidangan bersekutu dan sistem semakan teragih, tetapi perubahan datang perlahan dalam institusi akademik. Sementara itu, kualiti kedua-dua kertas kerja yang diterima dan ditolak terus terjejas kerana sistem bergelut di bawah beban pertumbuhan eksponen dalam penyerahan.
Parameter Model Penyerahan Persidangan
- Diandaikan 5,000 kertas kerja baharu setiap kitaran persidangan
- Taburan kualiti kertas kerja: 15% cemerlang, 70% sederhana, 15% lemah
- Nisbah kebarangkalian penerimaan: 15:5:1 (cemerlang:sederhana:lemah)
- Kertas kerja ditinggalkan selepas T=6 kitaran penolakan
- Sistem mencapai keseimbangan selepas T+1 lelaran
Jalan Ke Hadapan
Beberapa penyelesaian berpotensi muncul daripada perbincangan komuniti. Eksperimen semakan pantas di luar persidangan rasmi boleh membantu mengulangi model baharu dengan lebih cepat. Mengurangkan bilangan penyemak setiap kertas kerja daripada 4-5 semasa boleh membebaskan masa penyemak untuk penilaian yang lebih berfikiran. Yang paling penting, komuniti akademik perlu menilai dengan jujur apa yang dihargai dan dikehendaki daripada sistem penerbitan.
Krisis semasa mewakili lebih daripada sekadar masalah pertumbuhan - ia adalah ketidakpadanan asas antara cara kerjaya akademik dinilai dan cara pengetahuan saintifik harus dikongsi. Sehingga insentif ini sejajar, kedua-dua penyelidik manusia dan kandungan yang dijana AI akan terus membanjiri sistem yang direka untuk komuniti saintifik yang jauh lebih kecil dan lebih kolaboratif.
Rujukan: Queueing to publish in AI (and CS)