Landskap pembangunan AI tempatan telah mencapai pencapaian yang signifikan. Model sumber terbuka baharu, GLM-4.5 Air , kini boleh berjalan pada perkakasan pengguna dan menghasilkan kod yang berfungsi dengan keputusan yang mengagumkan. Perkembangan ini menandakan titik perubahan di mana bantuan pengekodan yang berkuasa tidak lagi memerlukan perkhidmatan awan atau perkakasan pelayan yang mahal.
Keperluan Perkakasan Menurun Secara Dramatik
Model GLM-4.5 Air , walaupun mempunyai 106 bilion parameter yang besar, telah berjaya dimampatkan ke dalam pakej 44GB yang berjalan pada komputer riba dengan 64GB RAM. Pencapaian ini datang melalui teknik kuantisasi 3-bit yang secara dramatik mengurangkan jejak memori model tanpa memberi kesan teruk kepada prestasi. Model ini menggunakan sekitar 48GB RAM pada penggunaan puncak, menghasilkan kod pada kira-kira 25 token sesaat pada perkakasan Apple Silicon .
Kuantisasi adalah teknik pemampatan yang mengurangkan ketepatan nombor dalam model AI untuk menjimatkan memori sambil mengekalkan sebahagian besar prestasi asal.
Spesifikasi Model GLM-4.5 Air :
- Jumlah Parameter: 106 bilion
- Saiz Termampat: 44GB (pengkuantuman 3-bit)
- Saiz Asal: 205.78GB
- Penggunaan RAM: ~48GB pada puncak
- Prestasi: 25.5 token/saat penjanaan
- Lesen: MIT (sumber terbuka)
Fokus Latihan pada Kod Membuahkan Hasil
Perbincangan komuniti mendedahkan trend yang jelas: hampir setiap model AI utama yang dikeluarkan pada 2025 telah secara khusus menyasarkan keupayaan pengekodan. GLM-4.5 menjalani latihan ekstensif pada set data kod dan penaakulan, dengan 7 trilion token didedikasikan khusus kepada kandungan pengaturcaraan. Pendekatan fokus ini telah menghasilkan model yang boleh menghasilkan aplikasi berfungsi, menyahpepijat kod sedia ada, dan juga menerangkan proses penaakulan mereka.
Keputusan berbicara sendiri. Di mana model dari hanya dua tahun lalu bergelut dengan pengikutan arahan asas, model tempatan hari ini boleh menghasilkan aplikasi lengkap yang berfungsi dari gesaan mudah. Contoh Space Invaders menunjukkan keupayaan ini, tetapi ahli komuniti melaporkan kejayaan dengan aplikasi tersuai yang lebih kompleks juga.
Pecahan Data Latihan:
- Pra-latihan: 15 trilion token (korpus am)
- Kod & Penaakulan: 7 trilion token (latihan khusus)
- Peringkat tambahan untuk peningkatan domain hiliran
- Pembelajaran pengukuhan ekstensif untuk penjanaan kod
Pertukaran Tempatan vs Awan Muncul
Apabila model tempatan bertambah baik, pembangun sedang menimbang faedah menjalankan AI secara tempatan berbanding menggunakan perkhidmatan awan. Pelaksanaan tempatan menawarkan privasi, tiada had penggunaan, dan kebebasan dari sambungan internet. Walau bagaimanapun, ia memerlukan pelaburan perkakasan pendahuluan yang besar dan mungkin mengorbankan sedikit kualiti berbanding model awan terdepan.
Ketinggalan 6 bulan adalah GILA! Saya tidak pernah bermimpi kita akan berada di sini. Sebenarnya saya fikir ia akan mengambil masa ~2 tahun untuk mencapai tahap gpt3.5 .
Keperluan perkakasan kekal besar. Walaupun MacBook Pro 64GB boleh menjalankan model ini, konfigurasi sedemikian berharga jauh lebih mahal daripada model asas. Persediaan alternatif menggunakan berbilang GPU NVIDIA atau stesen kerja RAM tinggi boleh mencapai keputusan yang sama tetapi memerlukan kepakaran teknikal untuk dikonfigurasi dengan betul.
Perbandingan Keperluan Perkakasan:
- Apple Silicon (Disyorkan): 64GB+ memori bersepadu MacBook Pro / Mac Studio
- Persediaan GPU NVIDIA: 2x RTX 3090 (24GB VRAM setiap satu) + papan induk yang serasi (~$1,500 USD terpakai)
- Persediaan CPU sahaja: 64GB+ RAM sistem (prestasi jauh lebih perlahan)
- Alternatif: Sewa GPU awan untuk ujian sebelum pembelian perkakasan
Komuniti Membahaskan Keupayaan Model
Komuniti pembangun kekal berpecah tentang bagaimana model ini sebenarnya berfungsi. Sesetengah berhujah bahawa model terutamanya menggabungkan semula corak kod sedia ada dari data latihan mereka, manakala yang lain menunjukkan bukti keupayaan penaakulan tulen dan penyelesaian masalah novel. Realiti mungkin terletak di antara kedua-dua kedudukan ini, dengan model menunjukkan kedua-dua padanan corak dan penyelesaian masalah kreatif bergantung pada kerumitan tugas.
Ujian mendedahkan bahawa model cemerlang dalam tugas pengaturcaraan yang didokumentasikan dengan baik tetapi bergelut dengan keperluan yang sangat novel. Had ini telah menyebabkan sesetengah pembangun mencipta penanda aras peribadi untuk menilai prestasi model pada kes penggunaan khusus mereka, dan bukannya bergantung pada penanda aras awam yang mungkin tercemar oleh data latihan.
Implikasi Masa Depan untuk Pembangunan
Peningkatan pesat dalam model AI tempatan mencadangkan perubahan signifikan di hadapan untuk pembangunan perisian. Apabila model ini menjadi lebih berkebolehan dan mudah diakses, mereka mungkin mengurangkan pergantungan pada perkhidmatan AI berasaskan awan untuk banyak tugas pengekodan. Walau bagaimanapun, keperluan perkakasan yang besar bermakna penggunaan meluas akan bergantung pada pengoptimuman selanjutnya dan berpotensi perkakasan baharu yang direka khusus untuk beban kerja AI.
Trajektori semasa menunjukkan bahawa bantuan pengekodan AI tempatan akan menjadi semakin berdaya maju untuk pembangun individu dan pasukan kecil, manakala organisasi yang lebih besar mungkin terus bergantung pada perkhidmatan awan untuk aplikasi yang paling menuntut.
Rujukan: My 2.5 year old laptop can write Space Invaders in JavaScript now, using GLM-4.5 Air and MLX