Pengguna Ollama mengalami isu keserasian yang meluas dengan model GPT-OSS 20B , menonjolkan akibat daripada keputusan platform tersebut untuk meninggalkan llama.cpp demi pelaksanaan mereka sendiri. Masalah ini telah mencetuskan perdebatan sengit dalam komuniti mengenai hala tuju teknikal dan strategi perniagaan Ollama .
Punca Masalah
Ramai pengguna merentasi versi Ollama yang berbeza (0.10.1 hingga 0.11.3) menghadapi ralat yang sama apabila cuba menjalankan model GPT-OSS 20B GGUF . Mesej ralat tensor blk0.ffn.down.exps.weight has invalid ggml type 39 (NONE) muncul secara konsisten merentasi pelbagai sistem pengendalian dan konfigurasi perkakasan, termasuk persediaan CUDA dan ROCm . Menariknya, model yang sama berfungsi dengan sempurna apabila dijalankan terus melalui llama.cpp , menunjukkan isu keserasian khusus Ollama .
Penjelasan teknikal datang daripada ggerganov , pencipta llama.cpp , yang mengenal pasti bahawa pelaksanaan tersuai Ollama tidak menyokong jenis tensor tertentu yang diperlukan oleh model yang lebih baru. Ini mewujudkan situasi yang mengecewakan di mana pengguna boleh berjaya memuat turun model tetapi tidak dapat menjalankannya, walaupun model tersebut berfungsi dengan sempurna dalam alat lain.
Versi Ollama yang Terjejas:
- Versi 0.10.1
- Versi 0.11.2
- Versi 0.11.3-rc0
- Versi 0.11.3
Butiran Ralat:
- Mesej ralat: "tensor blk0.ffn.down.exps.weight has invalid ggml type 39 (NONE)"
- Menjejaskan pelbagai sumber model GGUF: unsloth/gpt-oss-20b-GGUF dan ggml-org/gpt-oss-20b-GGUF
- Model berfungsi dengan betul dalam llama.cpp tetapi gagal dalam Ollama
Reaksi Negatif Komuniti Terhadap Keputusan Teknikal
Insiden ini telah mendedahkan kebimbangan yang lebih mendalam mengenai hala tuju strategik Ollama . Ahli komuniti telah mengkritik keputusan syarikat untuk beralih daripada llama.cpp , dengan hujah bahawa ia mewujudkan masalah keserasian yang tidak perlu sambil memberikan sedikit manfaat kepada pengguna. Seorang pembangun menyatakan bahawa Ollama kini memaut terus kepada perpustakaan ggml peringkat rendah dan bukannya menggunakan llama.cpp sebagai perpustakaan, memerlukan mereka untuk mencipta semula banyak perkara tanpa sebarang faedah langsung.
Walau bagaimanapun, kepimpinan Ollama telah mempertahankan pendekatan mereka, menjelaskan bahawa penggunaan pesat llama.cpp terhadap pengoptimuman peringkat penyelidikan menjadikannya tidak sesuai untuk perkongsian perusahaan. Mereka mengutamakan kestabilan dan prestasi yang boleh diramal berbanding ciri-ciri terdepan, walaupun bermakna kelajuan yang lebih perlahan dan keupayaan yang lebih sedikit.
Konfigurasi Perkakasan yang Terjejas:
- Persediaan CUDA ( Tesla V100 , GPU-6000c )
- Versi ROCm 1.15 ( RX7700xt )
- Sistem macOS
- Sistem Ubuntu Linux
- Pelbagai konfigurasi memori (125.8 GiB jumlah keseluruhan, 114.1 GiB dilaporkan bebas dalam satu kes)
Implikasi Lebih Luas untuk Ekosistem
Kontroversi ini melangkaui isu keserasian tunggal ini. Pengkritik menunjukkan bahawa Ollama mempunyai lebih 1,800 isu terbuka dan tidak secara konsisten menukar model terkini kepada format proprietari mereka. Batasan ini menghalang pengguna daripada menjalankan model sumber terbuka terkini melainkan Ollama secara khusus menyokongnya.
Ollama boleh memudahkan hidupnya dengan menelurkan llama-server sebagai subproses yang mendengar pada soket unix, dan memajukan permintaan kepadanya.
Situasi ini telah menyebabkan beberapa ahli komuniti menyokong alternatif seperti llama-server atau alat penukaran model lain yang mengekalkan keserasian yang lebih rapat dengan ekosistem yang lebih luas. Ketika Ollama terus mengejar perkongsian perusahaan dan pembiayaan modal teroka, ketegangan antara kestabilan komersial dan keperluan komuniti nampaknya semakin meningkat.
Isu keserasian GPT-OSS 20B berfungsi sebagai contoh konkrit bagaimana keputusan teknikal yang dibuat atas sebab perniagaan boleh memberi kesan kepada pengalaman pengguna dan kepercayaan komuniti dalam landskap alat AI yang berkembang pesat.