Ketika kos latihan AI mencapai tahap yang amat tinggi—dengan OpenAI dilaporkan membelanjakan lebih daripada 50 juta dolar Amerika Syarikat setiap hari untuk latihan model bahasa yang besar—komuniti teknologi semakin beralih kepada alternatif perkakasan radikal yang boleh mendemokratisasikan pembangunan kecerdasan buatan. Pendekatan berpusatkan GPU semasa telah mewujudkan jurang sumber yang besar, menyebabkan syarikat-syarikat kecil dan penyelidik tidak dapat bersaing dengan gergasi teknologi yang mengawal ratusan ribu pemproses bermutu tinggi.
Kos Latihan AI Semasa:
- OpenAI : $50+ juta USD sehari untuk latihan LLM
- Makmal besar mengawal: 200,000+ GPU setara H100/H200
- Kos latihan DeepSeek : $6 juta USD (angka yang dipertikaikan)
- Ambang perbelanjaan AI perusahaan: $30,000+ USD bulanan untuk perkhidmatan penyulingan
Pengkomputeran Berpusatkan Memori Mendapat Momentum
Perbincangan mengenai seni bina pengkomputeran berpusatkan memori telah semakin intensif ketika penskalaan GPU tradisional mencapai halangan ekonomi. Teknologi seperti memristor dan cip neuromorfik berjanji untuk mengurangkan secara dramatik keperluan tenaga dan pengkomputeran untuk latihan AI. Walaupun syarikat seperti Cerebras telah menunjukkan pemproses berskala wafer dengan 44 GB SRAM dan lebar jalur 21 PB/s, komuniti percaya bahawa penyimpangan yang lebih radikal daripada seni bina semasa diperlukan.
Memristor: Peranti memori yang boleh menyimpan data dan melakukan pengiraan, berpotensi menghapuskan keperluan untuk sentiasa memindahkan data antara memori dan unit pemprosesan.
Teknologi Pengkomputeran Alternatif:
- Memristor: Peranti memori yang menggabungkan penyimpanan dan pengkomputeran
- Rangkaian Neural Berdenyut (SNN): Pemprosesan jarang yang diilhamkan otak
- Pemproses skala wafer: Cip Cerebras dengan 44 GB SRAM, lebar jalur 21 PB/s
- Pengkomputeran berpusatkan memori: Pemprosesan yang lebih dekat dengan penyimpanan data
- Cip neuromorfik: Perkakasan yang meniru seni bina otak
Rangkaian Neural Berdenyut Menunjukkan Potensi untuk Kecekapan
Rangkaian Neural Berdenyut (SNN) mewakili satu lagi sempadan yang boleh merevolusikan kecekapan AI. Seni bina yang diilhamkan otak ini memproses maklumat dalam corak jarang dan dipacu peristiwa berbanding operasi matriks padat yang bergantung kepada model semasa. Otak manusia beroperasi dengan anggaran ketumpatan graf hanya 0.0001 hingga 0.001, menunjukkan potensi yang besar untuk pendekatan pengkomputeran jarang yang lebih cekap.
Keraguan Bertemu Optimisme dalam Respons Komuniti
Walaupun sesetengah ahli komuniti kekal ragu-ragu tentang teknologi terobosan yang telah dicuba selama beberapa dekad, yang lain menunjukkan kepada preseden sejarah di mana penyelidikan berterusan akhirnya membuahkan hasil. Rangkaian neural itu sendiri, kenderaan elektrik, dan vaksin mRNA semuanya memerlukan dekad pembangunan sebelum mencapai kejayaan arus perdana. Ledakan AI semasa telah mewujudkan tekanan pembiayaan yang tidak pernah berlaku sebelum ini untuk mencari alternatif kepada latihan berasaskan GPU yang mahal.
Terdapat tekanan besar untuk membuktikan dan meningkatkan paradigma alternatif radikal seperti pengkomputeran berpusatkan memori seperti memristor, atau SNN , dan sebagainya. Itulah sebabnya saya terkejut kami tidak mendengar banyak tentang pelaburan spekulatif yang sangat besar dalam arah ini untuk meningkatkan kecekapan pengkomputeran AI secara dramatik.
Penyulingan Sebagai Penyelesaian Sementara
Sehingga terobosan perkakasan ini menjadi kenyataan, penyulingan model telah muncul sebagai strategi utama untuk pemain yang lebih kecil. Teknik ini membolehkan syarikat melatih model yang lebih kecil dan khusus menggunakan output daripada model guru yang lebih besar, biasanya mengekalkan 95% prestasi sambil menjadi satu urutan magnitud lebih pantas dan lebih murah untuk dijalankan. Walau bagaimanapun, pendekatan ini masih meninggalkan kelebihan latihan asas dengan makmal yang dibiayai dengan baik.
Perlumbaan untuk alternatif perkakasan AI mencerminkan pengiktirafan yang lebih luas bahawa trajektori semasa tidak dapat dikekalkan. Sama ada melalui memristor, cip neuromorfik, atau paradigma pengkomputeran yang sama sekali baru, terobosan seterusnya berpotensi menyamakan padang permainan dan menjadikan AI termaju boleh diakses oleh penyelidik dan syarikat di seluruh dunia.
Rujukan: GPU-Rich Labs Have Won: What's Left for the Rest of Us is Distillation