Ujian penanda aras komprehensif terhadap sistem desktop berasaskan AMD terbaru Framework telah mendedahkan ciri-ciri prestasi yang menarik untuk beban kerja AI, dengan perbincangan komuniti menonjolkan aspek yang menjanjikan dan juga batasan yang ketara. Ujian ini melibatkan konfigurasi nod tunggal dan susunan kluster 4-nod, memberikan pandangan tentang bagaimana sistem ini berprestasi merentasi senario penggunaan yang berbeza.
Prestasi Nod Tunggal Menunjukkan Potensi untuk Persediaan AI Bajet
Desktop Framework , yang dilengkapi dengan pemproses AMD Ryzen 7 5700X dan RAM 128GB, menunjukkan prestasi yang munasabah untuk tugas inferens AI tempatan. Ahli komuniti amat berminat untuk membandingkan persediaan ini dengan penyelesaian berasaskan GPU tradisional. Perbandingan seorang pengguna dengan kad grafik RTX 4000 SFF Ada (20GB), berharga sekitar 1,200 dolar Amerika, menunjukkan desktop ini berprestasi pada kira-kira satu pertiga kelajuan untuk kebanyakan tugas. Walaupun ini mungkin kelihatan mengecewakan pada pandangan pertama, komuniti menyatakan bahawa reka bentuk memori bersepadu menawarkan kelebihan yang ketara untuk model AI yang lebih besar yang melebihi had memori GPU biasa.
Perbincangan mendedahkan pertimbangan penting bagi bakal pembeli yang memilih antara pendekatan perkakasan yang berbeza. Untuk pengguna yang berminat dengan model AI yang lebih kecil sekitar 27 bilion parameter, GPU NVIDIA khusus kekal sebagai pilihan utama. Walau bagaimanapun, bagi mereka yang bekerja dengan model yang lebih besar antara 70 hingga 120 bilion parameter, sistem berasaskan AMD atau tawaran Apple menjadi lebih menarik kerana kapasiti memori yang unggul.
Perbandingan Prestasi:
- Framework AMD desktop: ~2.5-3x lebih perlahan berbanding RTX 4000 SFF Ada (20GB) untuk kebanyakan tugas AI
- Harga RTX 4000 SFF Ada : ~$1,200 USD
- Lebih sesuai untuk model parameter 70-120B berbanding model 27B (kelebihan NVIDIA )
Keputusan Konfigurasi Kluster Menimbulkan Persoalan
Mungkin penemuan yang paling mengejutkan daripada ujian ini ialah prestasi kluster. Apabila dikonfigurasikan sebagai susunan 4-nod dengan jumlah RAM 512GB, sistem menunjukkan keputusan yang mengecewakan berbanding operasi nod tunggal. Komuniti menyatakan kebimbangan khusus tentang prestasi GPU yang jauh lebih teruk dalam konfigurasi kluster berbanding pada nod tunggal, terutamanya memandangkan nod tunggal tidak mempunyai GPU khusus.
Jurang prestasi ini telah mencetuskan perbincangan tentang alat inferens AI teragih. Beberapa ahli komuniti mengesyorkan meneroka projek seperti distributed-llama , walaupun mereka menyatakan penyelesaian ini datang dengan batasan tersendiri, termasuk isu keserasian Vulkan dan sokongan untuk hanya bilangan terhad model AI. Kerumitan menyediakan dan menyelenggara kluster AI teragih telah ditonjolkan sebagai halangan yang ketara untuk pengguna rumah.
Spesifikasi Perkakasan:
- Pemproses AMD Ryzen 7 5700X
- RAM 128GB (nod tunggal) / jumlah RAM 512GB (kluster 4-nod)
- Storan NVMe Micron 9300
- GPU bersepadu dengan sokongan Vulkan dan ROCm
Cabaran Ekosistem Perisian Berterusan
Ujian mendedahkan cabaran berterusan dengan sokongan perisian AI pada perkakasan AMD . Walaupun ROCm (platform pengkomputeran GPU AMD ) akhirnya berfungsi selepas menaik taraf kepada pengedaran Linux yang lebih baharu, proses pemasangan terbukti sukar pada mulanya. Ahli komuniti menyatakan bahawa sokongan Vulkan , yang biasanya berfungsi dengan lebih dipercayai secara lalai, tidak disokong oleh alat AI popular seperti Ollama .
Sebab yang mereka berikan secara subjektif teruk... hanya 'tidak' yang keras, kami fikir ia tidak boleh dipercayai. Saya rasa mereka hanya mahu anda meninggalkan mereka dan menggunakan llama.cpp.
Had perisian ini telah membawa kepada spekulasi tentang kemungkinan pengaruh daripada NVIDIA dalam memastikan penyelesaian GPU alternatif kurang mudah diakses oleh pengguna akhir. Sesetengah ahli komuniti telah berjaya dengan alat alternatif seperti ramalama , yang dilaporkan memberikan pecutan GPU yang lebih baik secara lalai pada sistem AMD .
Isu Keserasian Perisian:
- Pemasangan ROCm sukar pada Fedora 42, lebih mudah pada Rawhide
- Ollama tidak mempunyai sokongan Vulkan walaupun fork komuniti membuktikan kefungsian
- Alat alternatif: distributed-llama, ramalama, llama.cpp RPC
- Vulkan secara amnya berfungsi dengan lebih dipercayai berbanding ROCm untuk pengguna akhir
Kedudukan Pasaran dan Proposisi Nilai
Perbincangan komuniti mendedahkan pendapat bercampur tentang kedudukan pasaran desktop AMD Framework . Walaupun sistem menawarkan kelebihan unik untuk beban kerja AI tertentu, terutamanya yang memerlukan jumlah memori yang besar, nisbah prestasi setiap dolar menghadapi persaingan sengit daripada penyelesaian GPU khusus dan tawaran AMD lain seperti Ryzen 9950X .
Struktur harga telah menarik kritikan, dengan pengguna menyatakan bahawa bergerak melepasi prestasi desktop arus perdana memerlukan lonjakan kos yang ketara kepada perkakasan gred profesional. Ini telah membawa kepada persoalan tentang pasaran sasaran untuk sistem ini, dengan cadangan daripada perdagangan frekuensi tinggi hingga aplikasi sains data, walaupun banyak kes penggunaan ini mungkin lebih baik dilayani oleh perkakasan pelayan khusus.
Desktop AMD Framework nampaknya menduduki kedudukan niche dalam landskap perkakasan AI. Walaupun ia menawarkan kelebihan yang menarik untuk kes penggunaan tertentu yang melibatkan model AI besar, prestasi kluster yang bercampur dan cabaran ekosistem perisian mencadangkan ia mungkin paling sesuai untuk pengguna dengan keperluan khusus berbanding sebagai stesen kerja AI tujuan umum.
Rujukan: Benchmark Framework Desktop Mainboard and 4-node cluster #21