Model bahasa besar tempatan (LLM) semakin mendapat momentum apabila pengguna mencari alternatif yang mengutamakan privasi kepada perkhidmatan AI berasaskan awan. Walaupun pelbagai alat seperti Llama.cpp dan LM Studio memudahkan untuk menjalankan model-model ini pada komputer peribadi, satu trend perkakasan yang menarik telah muncul daripada perbincangan komuniti.
Alat LLM Tempatan Yang Popular:
- LM Studio: GUI sumber tertutup dengan pengurusan model yang mudah dan penciptaan pratetap
- Ollama: Pembungkus baris arahan di sekitar llama.cpp dengan muat turun model yang ringkas
- Llama.cpp: Asas sumber terbuka yang dicipta oleh Georgi Gerganov
- MLX: Rangka kerja Apple yang dioptimumkan untuk Apple Silicon
- Transformers.js: Inferens berasaskan pelayar menggunakan WebGPU / WebGL
Apple Silicon Memberikan Kepimpinan Prestasi Yang Tidak Dijangka
Walaupun Apple terkenal dengan harga premium, cip siri M mereka telah menjadi pilihan utama bagi peminat LLM tempatan yang serius. Seni bina memori bersepadu terbukti sangat berkesan untuk menjalankan model besar yang memerlukan RAM yang banyak. Sebuah Mac Studio dengan memori 512GB boleh menjalankan model terdepan seperti Qwen3-Coder-480B pada 24 token sesaat, memberikan prestasi yang menyaingi persediaan yang jauh lebih mahal.
Kelebihan prestasi berpunca daripada lebar jalur memori tinggi Apple Silicon dan keupayaan untuk memperuntukkan hampir semua RAM sistem kepada GPU untuk inferens LLM. Pengguna melaporkan bahawa arahan mudah membenarkan macOS untuk mendedikasikan sehingga 28GB daripada memori sistem 32GB terus kepada tugas GPU.
Penanda Aras Prestasi Apple Silicon:
- Mac Studio 512GB: Qwen3-Coder-480B pada 24 token/saat (pengkuantuman 4-bit)
- Mac Studio 512GB: DeepSeek V3 pada 20 token/saat (pengkuantuman 4-bit)
- M3 Pro 36GB: Qwen3-30B berjalan dengan selesa dan prestasi yang baik
- M1 Max: Llama-3.1-8B pada ~33 token/saat menggunakan pengoptimuman Core ML
Neural Engine Duduk di Tepi
Secara mengejutkan, Unit Pemprosesan Neural khusus Apple (NPU) sebahagian besarnya tidak digunakan untuk tugas LLM. Neural Engine direka untuk operasi yang lebih kecil dan dijadualkan secara statik menggunakan nilai INT8 atau FP16, menjadikannya kurang sesuai untuk model berasaskan transformer moden yang mendapat manfaat daripada pendekatan pengkuantuman yang berbeza.
Had ini memaksa inferens LLM berjalan pada GPU melalui Metal dan bukannya perkakasan AI khusus. Komuniti mencatatkan bahawa kebanyakan NPU daripada AMD, Intel, dan Apple menghadapi cabaran yang sama - mereka terlalu lemah untuk beban kerja LLM yang serius berbanding pengkomputeran GPU tujuan umum.
Semakan Realiti Kos-Prestasi
Walaupun Mac Studio yang dimaksimumkan berharga sekitar 12,000 dolar Amerika Syarikat, ia boleh menjalankan model parameter 600 bilion sepenuhnya dalam memori. Untuk pengguna ChatGPT berat yang membayar 200 dolar Amerika Syarikat bulanan untuk akses premium, pelaburan perkakasan boleh membayar balik dalam beberapa tahun sambil menyediakan privasi data yang lengkap.
Sekurang-kurangnya ia bukan avgas! - mencerminkan perspektif komuniti bahawa hobi mahal wujud merentasi banyak domain.
Perbincangan mendedahkan bahawa pengendali pusat data mencapai skala ekonomi yang lebih baik, tetapi pengguna individu menerima premium untuk kawalan tempatan dan privasi. Sesetengah pengguna berjaya merangkaikan beberapa Mac Studio bersama-sama untuk mengendalikan model yang lebih besar lagi, menolak sempadan kemungkinan dengan perkakasan pengguna.
Model LLM Tempatan yang Disyorkan Mengikut Kes Penggunaan:
- Soal Jawab Umum: Qwen3-30B-A3B-Instruct-2507 , GLM-4.5-Air
- Pengaturcaraan: Qwen3-Coder-30B-A3B-Instruct , Codestral
- Kecil/Cekap: Gemma3-270M , Mistral Small 3.2
- Tugas Penglihatan: Gemma 2 7B QAT , DeepSeek Janus Pro
Ekosistem Perisian Terus Berkembang
Alat seperti LM Studio menyediakan antara muka mesra pengguna untuk pengurusan model, manakala pilihan baris arahan seperti Ollama menawarkan kawalan yang lebih langsung. Penyelesaian berasaskan pelayar menggunakan WebGPU sedang muncul, walaupun sokongan Linux kekal terhad. Komuniti secara aktif membangunkan penyelesaian dan pengoptimuman, dengan projek seperti MLX yang secara khusus menyasarkan kecekapan Apple Silicon.
Landskap LLM tempatan tidak menunjukkan tanda-tanda perlahan. Apabila model menjadi lebih cekap dan perkakasan terus bertambah baik, jurang antara keupayaan AI tempatan dan berasaskan awan terus mengecil, menjadikan AI yang mengutamakan privasi lebih mudah diakses kepada pengguna harian.