ZeroEntropy, sebuah syarikat permulaan YC W23, baru-baru ini melancarkan model rerank-v3 mereka yang menggunakan prinsip pemarkahan Elo catur untuk meningkatkan ketepatan hasil carian. Pengumuman ini telah menghasilkan perbincangan teknikal yang ketara dalam komuniti pembangun, terutamanya berkaitan cabaran asas dalam pemarkahan kerelevanan dokumen.
Pendekatan syarikat ini menangani masalah teras dalam sistem carian: bagaimana untuk mengukur dengan tepat sejauh mana kerelevanan sesuatu dokumen kepada pertanyaan pengguna. Kaedah tradisional meminta manusia atau sistem AI untuk memberikan skor mutlak (seperti menilai sesuatu 7 daripada 10), tetapi ini mewujudkan data yang tidak konsisten dan bising.
Kelebihan Perbandingan Berpasangan
Ahli komuniti telah menunjukkan minat yang kuat terhadap peralihan ZeroEntropy daripada pemarkahan mutlak kepada perbandingan berpasangan. Daripada bertanya Sejauh mana kerelevanan dokumen ini?, sistem mereka bertanya Manakah antara dua dokumen ini yang lebih relevan? Pendekatan ini nampaknya menghasilkan keputusan yang lebih konsisten.
Beberapa pembangun dalam perbincangan telah berkongsi pengalaman serupa dengan kaedah berpasangan. Seorang menyatakan bahawa apabila menggunakan model bahasa besar sebagai hakim dengan kriteria tersuai, pendekatan pertimbangan binari berfungsi jauh lebih baik daripada cuba mendapatkan skor berangka. Sebabnya mudah: ia jauh lebih mudah bagi manusia dan AI untuk membandingkan dua perkara secara langsung daripada memberikan nilai mutlak secara berasingan.
Komuniti teknikal juga telah menyerlahkan bahawa perbandingan berpasangan membuat andaian yang lebih sedikit tentang struktur data asas, menjadikannya lebih kukuh untuk aplikasi dunia sebenar.
Perbandingan Teknikal: Pemarkahan Berpasangan vs Mutlak
- Pemarkahan mutlak: Memberikan nilai berangka (0-1) kepada dokumen individu
- Pemarkahan berpasangan: Membandingkan dua dokumen secara langsung untuk kerelevanan relatif
- Ketepatan: Konsensus LLM dengan manusia >95% berbanding penyusun semula tradisional 60-70%
- Pengurangan hingar: Perbandingan berpasangan mengurangkan kepelbagaian pertimbangan dengan ketara
Pendekatan Alternatif dan Asas Matematik
Perbincangan telah mendedahkan beberapa kaedah alternatif yang sedang diterokai oleh pembangun. Sesetengah ahli komuniti menunjuk kepada algoritma penyusunan 2AFC (Two-Alternative Forced Choice) sebagai penyelesaian lain kepada masalah yang sama. Kaedah ini, yang pada asalnya dibangunkan untuk penilaian pengimejan perubatan, menggunakan penyusunan berasaskan perbandingan daripada pengiraan Elo.
AFC menyelesaikan semua itu. Baiklah anda menilai snek ini 8/10. Berdasarkan apa? Dan kemudian mereka kembali dan berkata 'sebenarnya saya akan alihkan itu kepada 7'.
Pasukan ZeroEntropy memberikan pandangan terperinci tentang pendekatan matematik mereka, menjelaskan bahawa sistem mereka memodelkan skor kerelevanan asas untuk setiap dokumen, kemudian mengambil kira bunyi semula jadi yang berlaku semasa membuat pertimbangan. Mereka menggunakan Anggaran Kemungkinan Maksimum untuk mencari skor tersembunyi yang paling berkemungkinan yang menjelaskan keutamaan berpasangan yang diperhatikan.
Gambaran Keseluruhan Saluran Latihan
- Persampelan triplet dengan 500 triplet rawak bagi setiap pertanyaan
- Latihan penyusun semula berpasangan menggunakan ensemble daripada 3 LLM
- Pengiraan penarafan Elo (n=100 dokumen bagi setiap pertanyaan)
- Latihan penyusun semula pointwise dengan kehilangan MSE
- Penalaan halus pembelajaran pengukuhan
Prestasi dan Aplikasi Praktikal
Perbincangan komuniti telah menyentuh kebimbangan pelaksanaan praktikal, terutamanya berkaitan kependaman dan sokongan pelbagai bahasa. ZeroEntropy melaporkan reranker mereka memproses kira-kira 12,665 bait dalam lebih kurang 149 milisaat, yang nampaknya kompetitif dengan penyelesaian sedia ada.
Beberapa pembangun telah berkongsi pengalaman mereka sendiri menggunakan pendekatan penyusunan semula yang serupa untuk aplikasi yang berbeza, daripada penapisan pengambilan pekerja hingga pemasaran keluar yang sejuk. Kes penggunaan dunia sebenar ini menunjukkan kebolehgunaan yang lebih luas bagi kaedah perbandingan berpasangan di luar senario carian tradisional.
Perdebatan teknikal mengenai pendekatan ZeroEntropy mencerminkan peralihan yang lebih luas dalam cara pembangun berfikir tentang pemarkahan kerelevanan. Apabila sistem carian menjadi lebih canggih, komuniti nampaknya semakin berminat dengan kaedah yang dapat menangkap keutamaan bernuansa sambil mengekalkan kecekapan pengiraan. Sistem Elo yang berinspirasikan catur mewakili satu arah yang menjanjikan, walaupun perbincangan mencadangkan pelbagai pendekatan yang berdaya maju sedang muncul dalam ruang ini.
Nota: Elo merujuk kepada sistem penilaian yang dicipta oleh Arpad Elo, bukan akronim. 2AFC bermaksud Two-Alternative Forced Choice, satu kaedah di mana subjek mesti memilih antara tepat dua pilihan.
Rujukan: Improving Retrieval with ELO Scores