Satu kajian terkini mengenai model bahasa sumber terbuka untuk bantuan pengekodan telah mendedahkan jurang ketara antara jangkaan dan realiti. Walaupun model-model ini menjanjikan kebebasan daripada masalah penguncian vendor dan kos, prestasi praktikal mereka dalam tugasan pembangunan masih mengecewakan berbanding alternatif komersial.
Prestasi Model Tidak Memenuhi Jangkaan
Ujian mendedahkan bahawa model sumber terbuka yang popular bergelut dengan tugasan pengekodan asas. Model Deepseek R1 8B yang banyak dibincangkan, walaupun dengan penanda aras yang mengagumkan, kerap terperangkap dalam gelung penaakulan dan gagal menyelesaikan permintaan pengaturcaraan mudah. Sementara itu, Mistral 7B cenderung untuk berhalusinasi fungsi dan mengubah suai bahagian kod yang tidak berkaitan secara rawak. Hanya Qwen3 8B menunjukkan prestasi yang agak boleh dipercayai, walaupun masih jauh dari ideal.
Komuniti telah menyedari perbezaan penting di sini - kebanyakan model kecil ini sebenarnya adalah versi sulingan daripada model yang lebih besar, yang mungkin menjelaskan keupayaan terhad mereka. Seperti yang dinyatakan oleh seorang pemerhati, model Deepseek 8B pada dasarnya adalah versi termampat Qwen2 , menunjukkan pengguna mungkin mencapai hasil yang lebih baik dengan model Qwen3 asal dalam saiz yang lebih besar.
Jadual Perbandingan Model
| Model | Saiz | Prestasi | Isu Utama |
|---|---|---|---|
| Deepseek R1 8B | 5.2 GB | Lemah | Tersangkut dalam gelung penaakulan, gagal dalam tugasan mudah |
| Mistral 7B | ~7B params | Di bawah purata | Berhalusinasi fungsi, memadamkan kod secara rawak |
| Qwen3 8B | ~8B params | Boleh diterima | Prestasi terbaik tetapi masih terhad, menyokong kedua-dua mod penaakulan dan bukan penaakulan |
Perdebatan Sumber Terbuka Semakin Memanas
Perbincangan hangat telah muncul mengenai apa yang benar-benar membentuk sumber terbuka dalam dunia AI. Pengkritik berhujah bahawa banyak model yang dipanggil sumber terbuka sebenarnya hanyalah perisian percuma, tidak mempunyai komponen penting yang diperlukan untuk keterbukaan sebenar - termasuk data latihan, kod latihan, dan pelesenan yang betul.
Keputusan Open Source Initiative baru-baru ini untuk melonggarkan piawaian untuk model AI telah mencetuskan kontroversi. Walaupun mereka tidak lagi memerlukan pelepasan data latihan, ramai ahli komuniti percaya ini menjejaskan prinsip teras perisian sumber terbuka. Kebimbangan melangkaui keperluan teknikal kepada implikasi praktikal - tanpa data latihan, pengguna tidak dapat mengaudit model untuk berat sebelah, menghasilkan semula keputusan, atau membuat penambahbaikan yang bermakna.
Data latihan sepatutnya diperlukan untuk dikeluarkan untuk dianggap sebagai model sumber terbuka. Tanpanya semua yang boleh saya lakukan adalah menetapkan pemberat, dan sebagainya. Tanpa data latihan saya tidak dapat benar-benar menghasilkan semula model, memeriksa data untuk berat sebelah/mengaudit model untuk keadilan.
Keperluan Model AI Sumber Terbuka (Skala 10-Mata)
- Kod model ( PyTorch , dll.)
- Kod pra-latihan
- Kod penalaan halus
- Kod inferens
- Data latihan mentah
- Data latihan yang telah diproses
- Pemberat model
- Input/output inferens dengan pelesenan yang sewajarnya
- Kertas penyelidikan dan dokumentasi
- Maklumat paten atau ketiadaannya
Ujian Dunia Sebenar Mendedahkan Hasil Bercampur-campur
Ujian praktikal dengan alat seperti Aider menunjukkan bahawa walaupun model-model ini boleh mengendalikan tugasan pemfaktoran semula mudah apabila diberi arahan eksplisit, mereka sering mengambil masa lebih lama daripada pengekodan manual. Kes penggunaan yang paling menjanjikan muncul dalam penyelesaian masalah - model cemerlang dalam menerangkan mesej ralat apabila diberikan konteks kod yang berkaitan, berpotensi mengurangkan masa penyahpepijatan separuh.
Walau bagaimanapun, percubaan pembangunan greenfield terbukti bencana, dengan model menghasilkan kod tidak berfungsi yang dipenuhi halusinasi. Kekurangan konteks kod sedia ada nampaknya menghalang prestasi model dengan ketara, menunjukkan alat-alat ini berfungsi terbaik sebagai pembantu dan bukannya pembangun autonomi.
Keputusan Prestasi Alat Aider
- Refactoring: Berjaya tetapi lebih perlahan berbanding pengkodan manual (10+ minit berbanding kerja manual)
- Pembangunan Greenfield: Gagal sepenuhnya dengan kod halusinasi yang tidak berfungsi
- Penyelesaian Masalah: Kes penggunaan yang paling berjaya, dapat mengurangkan masa nyahpepijat sebanyak ~50%
- Keperluan Konteks: Berfungsi terbaik dengan konteks kod sedia ada, bergelut tanpanya
Batasan Perkakasan Mewujudkan Halangan Tambahan
Realiti menjalankan model-model ini secara tempatan membentangkan cabaran lain. Kebanyakan model sumber terbuka dioptimumkan untuk penggunaan berasaskan awan yang lebih besar dengan tetingkap konteks yang luas. Persediaan tempatan dengan perkakasan terhad bergelut dengan sekatan saiz konteks, sering membawa kepada kegagalan apabila memproses keseluruhan repositori kod.
Alat seperti Qwen Code , yang direka untuk operasi autonomi, kerap gagal pada perkakasan tempatan kerana kekangan ini. Had konteks 40,000 token model tempatan pucat berbanding kapasiti 1 juta token yang dijangkakan alat-alat ini daripada perkhidmatan komersial.
Keadaan semasa alat pengekodan AI sumber terbuka menunjukkan mereka belum bersedia untuk menggantikan alternatif komersial untuk kerja pembangunan serius. Walaupun mereka menunjukkan potensi dalam bidang khusus seperti bantuan penyahpepijatan, batasan mereka dalam pengekodan autonomi dan isu kebolehpercayaan menjadikan mereka lebih sesuai untuk eksperimen daripada penggunaan pengeluaran. Perdebatan berterusan mengenai keterbukaan sebenar dalam model AI menambah satu lagi lapisan kerumitan untuk pembangun yang mencari alternatif tulen kepada penyelesaian proprietari.
Rujukan: Playing with open source LLMs