Komuniti kecerdasan buatan sedang bergelut dengan persoalan asas tentang bagaimana sistem AI patut menyimpan dan mengatur pengetahuan apabila tetingkap konteks berkembang secara dramatik. Perkembangan terkini telah mencetuskan perdebatan sama ada seni bina memori tradisional akan menjadi usang atau kekal penting untuk mencipta sistem AI yang koheren.
Perbincangan tertumpu pada cabaran teras: semua pengetahuan wujud dalam rangka rujukan khusus yang menentukan kesahihannya. Fakta mudah seperti Berlin adalah ibu negara Germany menjadi kompleks apabila mempertimbangkan tempoh masa yang berbeza, alam semesta fiksyen, atau sejarah alternatif. Kerumitan ini secara tradisinya telah mendorong keperluan untuk sistem memori yang canggih dalam AI.
Tetingkap Konteks Besar-besaran Mencabar Pendekatan Memori Tradisional
Landskap telah berubah secara dramatik dengan model AI moden yang menyokong tetingkap konteks melebihi 128,000 token, dengan model perintis mencapai jutaan token. Pengembangan ini membolehkan keseluruhan novela atau siri dokumen dimuatkan dalam satu tetingkap konteks, mengubah secara asas bagaimana sistem AI boleh mengakses maklumat.
Malah banyak model terbuka kini menawarkan >128k token, yang memungkinkan keseluruhan novela dimuatkan dalam tetingkap konteks... Saya rasa kebanyakan masalah berkaitan memori akan hilang begitu sahaja disebabkan peningkatan panjang konteks.
Perkembangan ini menunjukkan bahawa sistem pengambilan memori yang kompleks mungkin menjadi kurang kritikal apabila kuasa pengiraan mentah membolehkan model mengekalkan jumlah maklumat yang luas secara langsung boleh diakses.
Tetingkap konteks: Jumlah teks yang boleh diproses dan diingati oleh model AI pada satu masa, diukur dalam token (secara kasarnya bersamaan dengan perkataan atau bahagian perkataan).
Perbandingan Tetingkap Konteks
- Model tradisional: <10k token
- Model terbuka moden: >128k token
- Model perintis: Berjuta-juta token
- Kapasiti praktikal: 128k token ≈ 100k perkataan ≈ 300 muka surat teks bahasa Inggeris
Sistem Identiti Berasaskan Graf Muncul sebagai Alternatif
Walaupun sesetengah pakar percaya pengembangan tetingkap konteks akan menyelesaikan cabaran memori, yang lain berhujah untuk pendekatan yang lebih canggih. Komuniti sedang meneroka sistem berasaskan graf yang mewakili memori sebagai rangkaian yang saling berkaitan dan bukannya repositori penyimpanan mudah.
Sistem ini memberi tumpuan kepada pembentukan identiti dan bukannya sekadar penyimpanan fakta, mengatur simbol, memori, dan hubungan kausal untuk mencipta entiti yang koheren. Pendekatan ini mengiktiraf bahawa memori AI yang berkesan mesti menangkap bukan sahaja maklumat, tetapi hubungan kompleks antara kepingan pengetahuan yang berbeza.
Pendekatan Sistem Memori
- Penskalaan Mentah: Mengembangkan tetingkap konteks untuk menyimpan lebih banyak maklumat secara langsung
- Berasaskan Graf: Mewakili pengetahuan sebagai rangkaian hubungan yang saling berkaitan
- Rangka Rujukan: Mengatur maklumat mengikut kesahihan temporal, spatial, atau kontekstual
- Mekanisme Perhatian: Menggunakan seni bina transformer sedia ada untuk sambungan dokumen
Mekanisme Perhatian Menunjukkan Persamaan yang Tidak Dijangka
Pemerhatian menarik muncul daripada perbincangan komuniti tentang strategi sambungan dokumen. Apabila mengkaji kaedah untuk menghubungkan dokumen berkaitan dan meramalkan sambungan berguna, pembangun mendapati mereka pada asasnya mencipta semula mekanisme perhatian - teknologi teras yang sudah menggerakkan model transformer.
Kesedaran ini menyerlahkan bagaimana cabaran memori asas dalam AI sering kembali kepada penyelesaian seni bina yang terbukti, walaupun didekati dari sudut yang berbeza.
Kesimpulan
Komuniti AI kekal berpecah sama ada penskalaan kasar tetingkap konteks atau seni bina memori yang canggih akan akhirnya menang. Walaupun keupayaan konteks yang berkembang menawarkan faedah praktikal segera, cabaran asas mengatur pengetahuan dalam rangka rujukan yang sesuai berterusan. Penyelesaiannya mungkin terletak bukan dalam memilih satu pendekatan berbanding yang lain, tetapi dalam mencari keseimbangan yang tepat antara kuasa pengiraan mentah dan organisasi maklumat yang pintar.
Rujukan: Reference frames