Sebuah artikel terkini yang mendakwa bahawa memahami mekanisme perhatian AI adalah Big-O baharu untuk kejuruteraan prompt telah mencetuskan perdebatan hangat dalam kalangan pembangun dan penyelidik AI. Artikel tersebut berhujah bahawa penstrukturan prompt berdasarkan cara Model Bahasa Besar (LLM) memproses perhatian boleh meningkatkan hasil secara dramatik, tetapi komuniti teknologi menolak keras terhadap sains dan metodologi tersebut.
Ketepatan Teknikal Diserang
Kritikan paling lantang tertumpu pada salah faham asas tentang cara LLM sebenarnya berfungsi. Beberapa pembangun menunjukkan bahawa artikel tersebut mengelirukan mekanisme perhatian teknikal yang digunakan dalam model transformer dengan konsep perhatian umum manusia. Seorang pengulas menyatakan bahawa sistem AI moden tidak hanya membaca semua token sekaligus seperti yang didakwa, tetapi menggunakan proses kompleks yang melibatkan prefill selari dan dekod berurutan dengan topeng kausal.
Komuniti juga menekankan bahawa seni bina AI semasa telah bergerak jauh melampaui mekanisme perhatian standard. Banyak yang kini menggunakan alternatif seperti Hyena atau teknik seperti sliding window attention, menjadikan premis teras tersebut lapuk sebelum penerbitan.
Mekanisme perhatian: Proses matematik yang membolehkan model AI memberi tumpuan kepada bahagian yang berkaitan dalam teks input semasa menghasilkan respons
Alternatif Seni Bina AI Moden kepada Attention Standard:
- Hyena: Mekanisme attention alternatif untuk kecekapan yang lebih baik
- Sliding Window Attention: Memproses teks dalam segmen bertindih
- Causal Masks: Menghalang model daripada melihat token masa depan semasa latihan
Bukti yang Hilang dan Kaedah yang Dipersoalkan
Mungkin kritikan paling kuat melibatkan kekurangan bukti empirikal. Beberapa pengulas mengkritik ketiadaan perbandingan sebelah menyebelah, penanda aras, atau hasil yang boleh diukur. Artikel tersebut mempersembahkan dua gaya prompt yang berbeza tetapi tidak pernah menunjukkan output sebenar atau metrik prestasi untuk menyokong dakwaannya.
Anda tidak boleh memanggilnya dioptimumkan perhatian tanpa membuka otak LLM dan menilai apa yang berlaku dalam lapisan perhatian. Adakah kertas yang dipetik melakukan beberapa perkara tersebut? Maksud saya fakta bahawa mengoptimumkan untuk perhatian membuat prompt yang lebih baik adalah hipotesis yang kukuh, tetapi saya tidak membaca bukti di sini.
Sentimen ini mencerminkan kekecewaan yang lebih luas dalam komuniti AI tentang jurang antara dakwaan berani dan ketegasan saintifik dalam perbincangan kejuruteraan prompt.
Kritikan Utama terhadap Prompting "Dioptimumkan-Perhatian":
- Mencampuradukkan mekanisme perhatian teknikal dengan konsep perhatian umum
- Kekurangan bukti empirikal dan perbandingan sebelah-menyebelah
- Tiada penanda aras atau metrik prestasi yang boleh diukur disediakan
- Pemahaman yang ketinggalan zaman mengenai seni bina AI semasa
- Kehilangan ketegasan saintifik dalam metodologi
Perdebatan Kejuruteraan Muncul Semula
Kontroversi ini telah mencetuskan semula ketegangan lama tentang sama ada kejuruteraan prompt layak mendapat label kejuruteraan sama sekali. Pengkritik berhujah bahawa bidang ini kekurangan kebolehramalan dan asas saintifik disiplin kejuruteraan tradisional. Ada yang mencadangkan terminologi yang lebih jujur seperti jampi atau ritual untuk menggambarkan sifat pengoptimuman prompt yang sering cuba jaya.
Ironinya tidak hilang kepada pemerhati bahawa pembangun yang sering menentang memanggil pembangunan perisian sebagai kejuruteraan telah dengan cepat menerima kejuruteraan prompt walaupun asasnya kurang ketat.
Nilai Praktikal di Tengah Kritikan
Walaupun terdapat kritikan teknikal, beberapa ahli komuniti mengakui bahawa prompt berstruktur memang cenderung menghasilkan hasil yang lebih baik, tanpa mengira penjelasan yang mendasarinya. Nasihat teras tentang mengatur prompt dengan jelas, memecahkan tugas kompleks, dan menyediakan konteks khusus sejajar dengan amalan terbaik yang telah ditetapkan dalam komunikasi manusia.
Beberapa pembangun berkongsi pendekatan praktikal yang berfungsi dengan baik, seperti meminta model AI mengoptimumkan prompt sendiri atau menggunakan format berstruktur seperti templat JSON untuk membimbing respons AI dengan lebih berkesan.
Memandang ke Hadapan
Perdebatan ini menyerlahkan cabaran penting yang dihadapi bidang AI: mengimbangi penjelasan yang mudah diakses dengan ketepatan teknikal. Walaupun komuniti menghargai panduan praktikal untuk bekerja dengan sistem AI, terdapat permintaan yang semakin meningkat untuk kaedah penilaian yang lebih ketat dan pengakuan jujur tentang apa yang belum kita fahami tentang sistem kompleks ini.
Seiring dengan keupayaan AI yang terus berkembang pesat, tekanan semakin meningkat untuk kejuruteraan prompt berkembang daripada bentuk seni kepada sesuatu yang lebih menyerupai kejuruteraan sebenar - dengan hasil yang boleh diukur, kaedah yang boleh dihasilkan semula, dan pengesahan saintifik.
Rujukan: Attention Is the New Big-O