Alat semakan manuskrip saintifik berkuasa AI yang baharu dipanggil Rigorous telah dilancarkan dengan janji untuk menjadikan penerbitan akademik lebih pantas dan telus. Perkhidmatan berasaskan awan ini menawarkan analisis manuskrip percuma, menyampaikan laporan PDF yang komprehensif dalam tempoh 1-2 hari bekerja. Walau bagaimanapun, pengguna awal menghadapi masalah teknikal yang ketara dan komuniti akademik kekal berpecah mengenai peranan AI dalam semakan rakan sebaya.
Masalah Teknikal Melanda Pelancaran Awal
Pengguna yang cuba memuat naik manuskrip ke platform Rigorous mengalami pelbagai kesukaran teknikal. Seorang penyelidik melaporkan menghadapi ralat HTTP 413 dan kegagalan penghuraian JSON ketika cuba menghantar kertas penyelidikan sebesar 9.4 MB. Mesej ralat menunjukkan isu masa tamat pelayan dan had saiz fail yang mungkin menjejaskan kebolehpercayaan perkhidmatan semasa fasa ujiannya.
Para pembangun mengakui ini adalah masalah peringkat awal, menjelaskan bahawa alur kerja teras pada masa ini mengambil masa kira-kira 8 minit secara tempatan tetapi boleh dioptimumkan kepada 1-2 minit. Mereka mengaitkan masa pemulihan semasa 1-2 hari kepada langkah semakan manual dan langkah kawalan kos semasa mereka menyelesaikan isu teknikal.
Metrik Prestasi Semasa:
- Masa pemprosesan tempatan: ~8 minit (boleh dioptimumkan kepada 1-2 minit)
- Masa pemulangan perkhidmatan awan: 1-2 hari bekerja
- Had saiz fail: Isu dilaporkan dengan fail 9.4 MB
- Status semasa: Fasa ujian percuma
Komuniti Membangkitkan Kebimbangan Kualiti dan Kepercayaan
Komuniti akademik telah menyatakan reaksi bercampur terhadap semakan rakan sebaya berbantu AI. Sesetengah penyelidik bimbang tentang kualiti maklum balas yang dijana AI, terutamanya memandangkan percambahan ulasan bertulis AI baru-baru ini di platform akademik. Pengkritik berhujah bahawa semakan rakan sebaya yang bermakna memerlukan kepakaran mendalam dan wawasan yang tidak dapat disediakan oleh sistem AI semasa.
Tujuan ulasan adalah untuk mendapat wawasan/komen mendalam daripada pakar industri yang mempunyai pengetahuan DI ATAS LLM. Sarasan sangat rendah, saya tahu, tetapi kita harus berbuat lebih baik sebagai komuniti penyelidikan.
Isu kepercayaan juga timbul mengenai ketelusan platform. Pengguna menyatakan kekurangan dasar privasi yang jelas, maklumat hubungan, dan butiran tentang amalan pengendalian data. Para pembangun bertindak balas dengan mengakui mereka berada dalam mod MVP awal dan berjanji untuk menambah maklumat hubungan dan dasar yang sewajarnya.
Data Latihan Terhad Menghalang Pembangunan AI
Cabaran ketara yang dihadapi sistem semakan rakan sebaya AI ialah kekurangan data latihan berkualiti. Laporan semakan rakan sebaya bersejarah jarang diterbitkan, dan hanya baru-baru ini sesetengah jurnal mula menjadikan laporan semakan awam. Kekurangan data latihan komprehensif ini mungkin mengehadkan keberkesanan sistem AI dalam memberikan maklum balas yang bermakna.
Para pembangun sedang meneroka pendekatan alternatif, termasuk menganalisis perbezaan antara pracetak dan versi akhir yang diterbitkan untuk memahami perubahan yang biasanya didorong oleh semakan rakan sebaya. Walau bagaimanapun, mereka mengakui bahawa pendekatan ini pun mungkin tidak menangkap maklum balas terbaik yang mungkin, kerana komen pengulas manusia kadangkala boleh tidak konsisten atau tidak munasabah.
Kesimpulan
Walaupun Rigorous bertujuan untuk menangani masalah sebenar dalam penerbitan akademik dengan menjadikan semakan rakan sebaya lebih pantas dan mudah diakses, pelancaran awalnya mendedahkan cabaran yang dihadapi alat akademik berkuasa AI. Isu teknikal, keraguan komuniti, dan persoalan asas tentang keupayaan AI untuk memberikan maklum balas ilmiah yang bermakna menunjukkan bahawa penggunaan meluas mungkin memerlukan penambahbaikan ketara dalam teknologi dan langkah membina kepercayaan.
Para pembangun alat ini nampaknya responsif terhadap maklum balas dan sedang berusaha menangani kebimbangan, tetapi sambutan berhati-hati komuniti akademik menyerlahkan standard tinggi yang dijangkakan untuk sistem yang boleh mempengaruhi keputusan penerbitan saintifik.
Rujukan: Rigorous - Al-Powered Scientific Manuscript Analysis