Pemproses terbaru IBM iaitu NorthPole telah mencetuskan perbincangan hangat dalam komuniti teknologi selepas mendakwa peningkatan prestasi yang dramatik berbanding GPU tradisional. Cip ini mewakili peralihan asas daripada seni bina von Neumann yang berusia beberapa dekad yang memisahkan unit memori dan pengkomputeran, sebaliknya mengintegrasikannya secara langsung bersama-sama.
Reaksi komuniti menunjukkan kedua-dua keseronokan dan keraguan mengenai dakwaan ini. Walaupun IBM melaporkan keputusan penanda aras yang mengagumkan, pembangun berpengalaman mempersoalkan sama ada ini mewakili inovasi tulen atau hanya satu lagi lelaran pendekatan sedia ada.
 |
|---|
| Perwakilan bergaya kesesakan von Neumann, menggambarkan aliran data dan kekangan pemprosesan |
Dakwaan Penanda Aras Menghadapi Semakan Realiti
Nombor prestasi IBM sudah tentu menarik perhatian. Dalam ujian dengan model bahasa berparameter 3 bilion, NorthPole menunjukkan prestasi 47 kali lebih pantas daripada GPU paling cekap tenaga dan kecekapan tenaga 73 kali lebih baik daripada GPU latensi terendah. Walau bagaimanapun, ahli komuniti sedang menggali lebih dalam tentang apa yang sebenarnya bermaksud nombor-nombor ini dalam amalan.
Perbincangan mendedahkan bahawa IBM telah mengusahakan teknologi ini selama lebih sedekad, menyebabkan sesetengah pihak tertanya-tanya sama ada syarikat itu berharap orang lain akan melaksanakan pendekatan serupa dan kemudian membayar yuran pelesenan untuk paten IBM . Garis masa pembangunan yang panjang ini juga menimbulkan persoalan mengapa peningkatan dramatik sedemikian baru diumumkan sekarang.
Dakwaan Prestasi NorthPole:
- 47x lebih pantas daripada kebanyakan GPU yang paling cekap tenaga
- 73x lebih cekap tenaga daripada GPU latensi terendah
- Diuji pada LLM berparameter 3 bilion (model IBM Granite-8B-Code-Base )
- Garis masa pembangunan: 10+ tahun
Perang Seni Bina: Von Neumann lwn. Pengkomputeran Dalam-Memori
Komuniti teknikal amat terlibat dalam memperdebatkan perubahan seni bina asas. Reka bentuk von Neumann tradisional, di mana pemproses dan memori adalah berasingan, mewujudkan apa yang pakar panggil kesesakan - pemproses sering menganggur menunggu data bergerak berulang-alik dari memori.
Untuk pengkomputeran tujuan umum, tiada yang lebih berkuasa daripada seni bina von Neumann .
Kesesakan ini menjadi sangat bermasalah untuk beban kerja AI , di mana jumlah besar berat model memerlukan pengacauan berterusan antara memori dan pemproses. Pendekatan IBM memindahkan pengkomputeran terus ke dalam memori, menghapuskan sebahagian besar pergerakan data ini.
Kesan Kesesakan Von Neumann terhadap AI:
- Tenaga pemindahan data: ~90% daripada penggunaan tenaga beban kerja AI
- Tenaga pengiraan sebenar: ~10% daripada penggunaan tenaga beban kerja AI
- Punca utama: Pemindahan berterusan pemberat model antara unit memori dan pengiraan yang berasingan
Perbandingan Landskap Kompetitif
Perbincangan komuniti mendedahkan bahawa NorthPole IBM tidak beroperasi secara berasingan. Pendekatan serupa sedang diusahakan oleh syarikat seperti Groq dengan cip LPU mereka, reka bentuk perkakasan Tenstorrent , dan seni bina NPU AMD . Setiap syarikat menangani masalah kesesakan memori dari sudut yang sedikit berbeza.
Cerebras telah mengambil pendekatan ekstrem dengan cip WSE-3 mereka, menggabungkan memori dalam-cip 44GB . Sementara itu, Groq memberi tumpuan untuk menjadikan memori sangat pantas daripada memindahkan pengkomputeran ke dalam memori itu sendiri. Perdebatan komuniti tertumpu pada pendekatan mana yang akan terbukti paling berkesan dalam aplikasi dunia sebenar.
Seni Bina Cip AI yang Bersaing:
- IBM NorthPole: Pengkomputeran dalam memori dengan penyimpanan analog
- Groq LPU: Memori ultra pantas (80 terabait/saat) dengan pembahagian tradisional pengkomputeran/memori
- Cerebras WSE-3: 44GB SRAM dalam cip
- Tenstorrent: Kapasiti SRAM tinggi pada harga yang kompetitif
- AMD NPU: Unit pemprosesan neural tersuai
 |
|---|
| Pakar industri membincangkan pendekatan inovatif untuk mengatasi kesesakan memori dalam pengkomputeran |
Kebangkitan Memori Analog Menjana Keseronokan
Satu aspek yang menjana keseronokan tulen ialah penggunaan memori analog IBM untuk menyimpan berat model. Ini mewakili kembalinya yang menarik kepada konsep pengkomputeran analog yang sebahagian besarnya ditinggalkan beberapa dekad lalu memihak kepada ketepatan digital.
Komuniti menghargai keanggunan pendekatan ini - memandangkan berat model AI tidak memerlukan ketepatan yang sempurna, penyimpanan analog boleh memberikan keuntungan kecekapan yang besar sambil menambah bunyi berfaedah yang sebenarnya mungkin meningkatkan prestasi model. Ketidaktepatan ini, bukannya menjadi kelemahan, boleh berfungsi seperti variasi suhu terbina dalam yang membantu mencegah overfitting .
 |
|---|
| Blog IBM membincangkan batasan seni bina von Neumann terhadap pengkomputeran AI |
Realiti Pasaran lwn. Inovasi Teknikal
Walaupun pencapaian teknikal yang mengagumkan, sentimen komuniti mencadangkan berhati-hati tentang impak praktikal segera. Penambahbaikan, walaupun ketara dalam keadaan makmal, mungkin mewakili lebih banyak kemajuan berperingkat daripada terobosan revolusioner apabila digunakan dalam senario dunia sebenar.
Perbincangan yang lebih luas mencerminkan cabaran industri yang berterusan dengan kos pengkomputeran AI dan penggunaan tenaga. Walaupun seni bina baharu seperti NorthPole menawarkan arah yang menjanjikan, komuniti menyedari bahawa penggunaan praktikal akan bergantung pada faktor-faktor di luar nombor prestasi mentah, termasuk keserasian perisian, kos pembuatan, dan sokongan ekosistem.
Rujukan: Why a decades old architecture decision is impeding the power of AI computing