Pelancaran Kimi K2 oleh Moonshot AI , sebuah model bahasa besar dengan 1 trilion parameter, telah mencetuskan perbincangan dalam komuniti teknologi mengenai apa yang membentuk model AI yang benar-benar boleh diakses. Walaupun syarikat tersebut membanggakan penanda aras prestasi yang mengkagumkan, pengguna bergelut dengan realiti menjalankan sistem yang begitu besar.
Spesifikasi Teknikal Kimi K2
- Seni Bina: Mixture-of-Experts (MoE)
- Jumlah Parameter: 1 trilion
- Parameter Teraktif: 32 bilion
- Bilangan Pakar: 256
- Pakar Terpilih setiap Token: 8
- Panjang Konteks: 16K token
- Saiz Perbendaharaan Kata: 147,825
 |
|---|
| Tangkapan skrin ini menggambarkan repositori GitHub untuk Kimi K2, mempamerkan ciri-ciri projek dan sumbangan komuniti |
Keperluan Perkakasan Mewujudkan Halangan Kebolehcapaian
Saiz model yang sangat besar telah menjadi titik perbincangan utama. Ahli komuniti menganggarkan bahawa menjalankan Kimi K2 pada kelajuan yang munasabah memerlukan pelaburan perkakasan yang serius - sekitar 16 GPU H200 untuk prestasi optimum, atau kira-kira 20,000 dolar Amerika Syarikat untuk persediaan yang lebih sederhana menggunakan versi terkuantiti pada perkakasan pengguna mewah.
Sesetengah pengguna telah menemui penyelesaian kreatif, mencadangkan bahawa versi terkuantiti 4-bit boleh dijalankan pada dual Mac Studios dengan 512GB RAM setiap satu, disambungkan melalui Thunderbolt . Walau bagaimanapun, pendekatan ini datang dengan kompromi kelajuan yang ketara, berpotensi menghasilkan hanya 1 token per saat - kadar yang ramai dapati tidak praktikal untuk kegunaan dunia sebenar.
Komuniti kelihatan berpecah mengenai apa yang membentuk prestasi yang boleh digunakan. Walaupun sesetengah pengguna berpuas hati dengan 5 token per saat untuk aplikasi sembang santai, yang lain mempersoalkan kepraktisan kelajuan yang begitu perlahan untuk tugas kompleks seperti operasi agen autonomi.
Anggaran Keperluan Perkakasan
- Prestasi Optimum: ~16 GPU H200
- Persediaan Bajet: 2x Mac Studios (512GB RAM setiap satu) - ~$20,000 USD
- Single Socket EPYC : sistem >1TB RAM
- Pertukaran Prestasi: kuantisasi 4-bit mencapai ~1 token/saat pada persediaan bajet berbanding 5+ token/saat pada perkakasan mewah
Kontroversi Pelesenan Sumber Terbuka
Perdebatan hangat lain berpusat pada syarat pelesenan Kimi K2 . Walaupun dipasarkan dengan Lesen MIT yang Diubahsuai, model tersebut termasuk sekatan komersial yang memerlukan syarikat dengan lebih 100 juta pengguna aktif bulanan atau 20 juta dolar Amerika Syarikat dalam pendapatan bulanan untuk memaparkan Kimi K2 secara menonjol dalam antara muka pengguna mereka.
Ini telah membawa kepada hujah mengenai sama ada model tersebut benar-benar layak sebagai sumber terbuka. Pengkritik berhujah bahawa sebarang sekatan penggunaan melanggar prinsip sumber terbuka tradisional, manakala penyokong berpendapat bahawa syarat sedemikian adalah munasabah dan masih lebih permisif daripada banyak lesen sedia ada.
Lesen ini tidak begitu melindungi pengarang. Ia hanya meminta kredit jika anda melepasi ambang MAU/ARR... Sumber yang dimasukkan untuk membina ini adalah ketara dan mereka memberikannya kepada anda secara percuma.
Perdebatan tersebut mencerminkan ketegangan yang lebih luas dalam komuniti AI mengenai model pembiayaan yang mampan untuk pembangunan model berskala besar berbanding mengekalkan prinsip akses terbuka.
Sekatan Utama Lesen MIT Yang Diubahsuai Produk atau perkhidmatan komersial yang mempunyai:
- Lebih daripada 100 juta pengguna aktif bulanan, ATAU
- Lebih daripada $20 juta USD hasil bulanan Mesti memaparkan " Kimi K2 " secara jelas dalam antara muka pengguna
Prestasi dan Aplikasi Praktikal
Walaupun terdapat kebimbangan kebolehcapaian, pengguna awal melaporkan pengalaman positif dengan keupayaan Kimi K2 . Model tersebut kelihatan cemerlang dalam tugas pengekodan dan menunjukkan gaya komunikasi yang lebih semula jadi dan kurang robotik berbanding beberapa pesaing. Pengguna terutamanya menghargai keupayaannya untuk menulis kod yang lebih bersih dan mudah dibaca, walaupun ada yang menyatakan ia kadang-kadang terlepas kes tepi halus yang dikesan oleh model lain.
Masa pelancaran Kimi K2 juga telah mencetuskan spekulasi mengenai kesannya terhadap rancangan syarikat lain, dengan sesetengah pihak mencadangkan ia mungkin telah mempengaruhi keputusan OpenAI untuk menangguhkan pengumuman model sumber terbuka mereka sendiri.
Kesimpulan
Kimi K2 mewakili kedua-dua janji dan cabaran model AI berskala besar. Walaupun ia memberikan prestasi yang mengkagumkan, halangan praktikal untuk pelaksanaan menyerlahkan persoalan berterusan mengenai kebolehcapaian model dan makna sebenar pembangunan AI terbuka. Semasa komuniti terus bereksperimen dengan strategi pelaksanaan dan memperdebatkan pendekatan pelesenan, Kimi K2 berfungsi sebagai pemangkin untuk perbincangan yang lebih luas mengenai arah masa depan pengedaran dan akses model AI.
Rujukan: KIMI