Komuniti pembangunan AI sedang terlibat dalam perdebatan hangat mengenai sama ada context engineering mewakili kemajuan bermakna dalam pembangunan ejen AI atau sekadar membungkus semula teknik prompt engineering sedia ada dengan nama baru.
Perbincangan tertumpu pada pengurusan memori kerja terhad model bahasa besar (LLM), yang dibandingkan oleh pembangun dengan RAM komputer. Apabila ejen AI mengendalikan perbualan yang lebih panjang dan tugas yang lebih kompleks, mereka dengan cepat memenuhi tetingkap konteks mereka dengan arahan, pengetahuan, dan maklum balas alat, yang membawa kepada masalah seperti keracunan konteks dan kekeliruan.
Masalah Konteks Biasa dalam Ejen AI
- Keracunan Konteks: Halusinasi yang mencemarkan konteks
- Gangguan Konteks: Konteks yang melampau mengganggu latihan model
- Kekeliruan Konteks: Konteks yang berlebihan mempengaruhi respons
- Pertentangan Konteks: Bahagian konteks yang bercanggah mewujudkan isu
 |
|---|
| Rajah ini menyerlahkan bagaimana pelbagai jenis konteks mengalir ke dalam model bahasa besar, aspek kritikal dalam mengurus memori kerja terhad dalam perbualan AI |
Pertikaian Terminologi Memecahbelahkan Pembangun
Sebahagian besar komuniti melihat context engineering sebagai tidak lebih daripada bahasa pemasaran. Pengkritik berhujah bahawa membezakan antara mengoptimumkan konteks berbanding arahan dalam prompt tidak membenarkan penciptaan bidang yang sama sekali baru. Keraguan ini mendalam, dengan sesetengah pembangun membandingkan trend ini dengan penyelesaian lapisan 2 mata wang kripto - pendekatan yang kedengaran teknikal yang mungkin tidak menangani masalah asas.
Walau bagaimanapun, penyokong mengekalkan bahawa context engineering mewakili pengembangan skop yang tulen melampaui prompt engineering tradisional. Mereka berhujah ia merangkumi strategi pengoptimuman yang lebih luas termasuk teknik pemampatan, pemilihan, dan pengasingan konteks yang melampaui pengrafan prompt mudah.
Strategi Kejuruteraan Konteks
- Tulis Konteks: Menyimpan konteks di luar tetingkap konteks
- Pilih Konteks: Menarik konteks yang berkaitan ke dalam tetingkap konteks
- Mampat Konteks: Mengekalkan hanya token penting (contohnya, menggunakan LLMLingua )
- Asingkan Konteks: Memisahkan konteks untuk meningkatkan prestasi tugasan
 |
|---|
| Ilustrasi ini menggambarkan interaksi antara ejen AI dan persekitaran pelaksanaannya, melambangkan nuansa konteks dan arahan dalam pembangunan AI |
Had Teknikal Mendedahkan Isu Yang Lebih Mendalam
Perdebatan ini mendedahkan kebimbangan asas mengenai keupayaan AI semasa. Pembangun melaporkan kemerosotan prestasi AI yang konsisten semasa perbualan yang panjang, terutamanya menyedari bagaimana model seperti GPT-4 bermula dengan kuat tetapi merosot pada respons kelima. Corak ini menyerlahkan kepentingan kritikal pengurusan konteks yang berkesan.
Kertas penyelidikan terbaru Apple yang menunjukkan AI bergelut dengan tugas penaakulan berbilang langkah seperti masalah Tower of Hanoi telah menambah bahan api kepada perdebatan. Walaupun sesetengah pihak menolak kajian itu sebagai sengaja mengehadkan keupayaan AI, yang lain melihatnya sebagai bukti bahawa pendekatan semasa terhadap pengurusan konteks adalah cacat secara asas.
 |
|---|
| Rajah ini menggambarkan bagaimana konteks baharu mengemas kini ingatan sedia ada, menonjolkan cabaran yang dihadapi AI dalam mengekalkan interaksi yang koheren semasa perbualan yang berpanjangan |
Gembar-gembur Industri Berbanding Penyelesaian Praktikal
Komuniti menyatakan kekecewaan dengan percambahan terminologi x-engineering merentasi industri AI. Ramai pembangun merasakan bahawa mencipta nama yang kedengaran profesional untuk teknik asas mencairkan makna kejuruteraan itu sendiri. Sentimen ini mencerminkan kebimbangan yang lebih luas mengenai pembangunan yang didorong oleh gembar-gembur dalam ruang AI.
Kami pernah memanggil kedua-duanya sebagai pandai dengan Google . Menyamakannya dengan kejuruteraan adalah lucu dan menghina.
Walaupun terdapat pertikaian terminologi, aplikasi praktikal terus muncul. Sesetengah pembangun melaporkan kejayaan menggunakan prompt sistem terperinci yang melebihi 1,500 baris untuk platform pengekodan berbantukan AI, manakala yang lain melaksanakan corak bank memori untuk menguruskan konteks dengan lebih berkesan.
Pencarian Penyelesaian Yang Lebih Baik
Perdebatan ini akhirnya mencerminkan perjuangan komuniti AI dengan had seni bina asas. Ramai pembangun percaya bahawa kemajuan sebenar memerlukan pengubahsuaian seni bina transformer dan bukannya melapisi teknik pengurusan di atas model terhad konteks. Sehingga kejayaan sedemikian berlaku, industri terus membina apa yang digambarkan oleh sesetengah pihak sebagai hack di atas hack.
Perbincangan context engineering, tanpa mengira namanya, menyerlahkan cabaran kritikal yang dihadapi pembangunan AI: bagaimana untuk membuat sistem yang boleh mengekalkan tingkah laku yang koheren dan berguna merentasi interaksi yang panjang tanpa kehilangan jejak maklumat penting atau memperkenalkan ralat.
Rujukan: Context Engineering for Agents