Komuniti penyelidikan AI sedang bergolak dengan perdebatan selepas Rich Sutton , pemenang Anugerah Turing dan suara berpengaruh dalam kecerdasan buatan, secara terbuka mengisytiharkan bahawa model bahasa besar (LLM) bukanlah laluan yang berdaya maju untuk mencapai kecerdasan umum yang sebenar. Peralihan pendiriannya yang mengejutkan telah menghantar gelombang ke seluruh dunia teknologi, terutamanya memandangkan advokasi terdahulunya untuk pendekatan penskalaan yang dipercayai ramai menyokong pembangunan LLM.
Pengarang The Bitter Lesson Mengubah Haluan
Kritikan Sutton tertumpu pada batasan asas yang dilihatnya dalam teknologi LLM semasa. Beliau berhujah bahawa sistem-sistem ini beroperasi terutamanya dengan meniru tingkah laku manusia dan meramalkan token teks, bukannya membangunkan pemahaman tulen tentang dunia. Menurut Sutton , LLM tidak mempunyai keupayaan untuk membina model dunia yang teguh - representasi dalaman tentang bagaimana dunia fizikal sebenarnya berfungsi, melampaui sekadar meramalkan apa yang mungkin dikatakan manusia mengenainya.
Ini mewakili penyimpangan ketara daripada esei terkenalnya pada 2019, The Bitter Lesson , yang menekankan bahawa kemajuan AI secara konsisten datang daripada penskalaan pengkomputeran berbanding penyelesaian kejuruteraan tangan. Ramai penyokong LLM telah memetik karya ini sebagai pengesahan untuk pendekatan mereka membina model bahasa yang semakin besar.
Hujah Teras Menentang LLM Tulen:
- Kekurangan model dunia yang tulen selain daripada ramalan teks
- Tidak boleh "terkejut" dengan peristiwa dunia sebenar
- Terhad kepada meniru tingkah laku manusia dan bukannya memahami
- Prestasi lemah dalam tugasan penaakulan dan perancangan
- Cabaran dengan situasi baharu di luar data latihan
Reaksi Komuniti Berpecah Mengenai Implikasi
Respons komuniti teknologi mendedahkan perpecahan mendalam tentang apa maksud ini untuk pembangunan AI. Sesetengah pemerhati menekankan bahawa perdebatan ini secara khusus berkenaan laluan kepada kecerdasan buatan umum (AGI), bukan nilai praktikal aplikasi LLM semasa. Sistem-sistem ini terus menunjukkan keupayaan luar biasa dalam pengkodan, penulisan, dan tugas penyelesaian masalah yang mempunyai faedah perniagaan dan masyarakat yang jelas.
Walau bagaimanapun, yang lain menunjukkan bahawa sistem AI moden jarang menggunakan LLM tulen lagi. Pelaksanaan hari ini biasanya menggabungkan model bahasa dengan alat tambahan, panggilan fungsi, dan sistem penaakulan yang melangkaui ramalan teks mudah. Pendekatan hibrid ini mungkin menangani beberapa kebimbangan Sutton sambil masih memanfaatkan kekuatan teras pemodelan bahasa.
Peralihan Lebih Luas Di Kalangan Pemimpin AI
Sutton menyertai penyelidik AI terkemuka lain yang telah menyatakan keraguan tentang LLM sebagai satu-satunya laluan kepada AGI. Yann LeCun telah beralih ke arah meneroka seni bina model dunia, manakala Demis Hassabis dari DeepMind juga telah mengakui batasan dalam pendekatan semasa. Konsensus yang berkembang ini di kalangan penyelidik terkemuka menunjukkan bidang ini mungkin memasuki fasa baharu penerokaan melampaui strategi penskalaan tulen.
Perdebatan ini menyerlahkan perbezaan penting antara mencipta alat AI yang berguna dan mencapai kecerdasan umum yang sebenar. Walaupun LLM cemerlang dalam banyak tugas, pengkritik berhujah mereka pada asasnya tidak mempunyai pembelajaran berasaskan kejutan dan tingkah laku berorientasikan matlamat yang mencirikan pemahaman tulen.
Satu-satunya perkara yang boleh anda percayai ialah data dan ia membuktikan kita belum mencapai puncak lagi dalam hal LLM.
Tokoh Utama yang Mengkritik Pendekatan LLM Tulen:
- Rich Sutton - Pemenang Anugerah Turing, pengarang "The Bitter Lesson" (2019)
- Yann LeCun - Mengalihkan tumpuan kepada seni bina model dunia menjelang akhir 2022
- Demis Hassabis - Pemenang Hadiah Nobel dan Ketua Pegawai Eksekutif Google DeepMind
- Gary Marcus - Pengkritik LLM lama sejak 2019
Melihat ke Hadapan
Ketika komuniti AI bergelut dengan soalan-soalan asas ini, tumpuan sedang beralih ke arah pendekatan hibrid yang menggabungkan LLM dengan teknologi lain. Sama ada melalui pembelajaran peneguhan, kaedah neurosimbolik, atau seni bina baharu sepenuhnya, penyelidik sedang meneroka cara untuk menangani batasan yang dikenal pasti oleh Sutton dan lain-lain sambil membina kejayaan model bahasa semasa yang tidak dapat dinafikan.
Perdebatan ini akhirnya mencerminkan kematangan bidang ini ketika penyelidik bergerak melampaui keseronokan awal keupayaan LLM untuk menangani cabaran yang lebih mendalam dalam mencipta sistem yang benar-benar pintar.
Rujukan: Game over for pure LLMs. Even Turing Award Winner Rich Sutton has gotten off the bus.