Seorang pembangun telah membangkitkan kebimbangan serius mengenai kestabilan model bahasa OpenAI milik Azure , dengan mendakwa bahawa gesaan yang sama menghasilkan keputusan yang semakin teruk dari masa ke masa. Pembangun tersebut, yang telah menguji sistem mereka selama enam bulan menggunakan keadaan terkawal, melaporkan bahawa prestasi model telah merosot dengan ketara tanpa sebarang perubahan pada kod atau gesaan mereka.
Ujian Sistematik Mendedahkan Prestasi Yang Merosot
Pembangun tersebut melaksanakan sistem ujian yang ketat menggunakan mesej yang sama dengan tetapan suhu sifar untuk memastikan respons yang konsisten. Pendekatan ini secara teorinya sepatutnya menghasilkan output yang hampir sama setiap kali. Walau bagaimanapun, data mereka menunjukkan bahawa ketepatan GPT-4o-mini telah merosot dengan ketara sejak keluaran GPT-5 , manakala model GPT-5 yang lebih baharu, walaupun pada mulanya berprestasi lebih baik, mengalami masalah kelajuan yang teruk dengan masa respons mencapai sehingga 20 saat.
Perbincangan komuniti mendedahkan bahawa ini bukan kejadian terpencil. Pelbagai pengguna melaporkan pengalaman serupa merentasi penyedia AI yang berbeza, termasuk Gemini milik Google dan Claude milik Anthropic . Sesetengah pembangun terpaksa melangkau kemas kini model sepenuhnya kerana versi yang lebih baharu tidak dapat menyelesaikan tugas yang berjaya dikendalikan oleh versi sebelumnya.
Isu Prestasi Yang Dilaporkan:
- GPT-4o-mini : Ketepatan menurun selepas pelancaran GPT-5
- Model GPT-5 : Ketepatan yang lebih baik tetapi masa respons sehingga 20 saat
- Kaedah ujian: Gesaan yang sama dengan suhu 0 selama 6 bulan
- Corak kemerosotan yang konsisten diperhatikan merentasi pelbagai pembekal AI
Perubahan Tersembunyi Di Sebalik Tabir
Beberapa penjelasan teknikal telah muncul daripada perbincangan komuniti. Teori yang paling menonjol melibatkan kuantisasi - satu proses di mana model dimampatkan untuk mengurangkan kos pengkomputeran, berpotensi mengorbankan ketepatan. Walaupun OpenAI sebelum ini menyatakan mereka tidak mengubah pemberat model selepas keluaran, ahli komuniti mencadangkan bahawa perubahan infrastruktur, penapis keselamatan tambahan, atau gesaan sistem yang diubah suai boleh mengubah tingkah laku model secara berkesan tanpa mengubah model teras secara teknikal.
Adalah tidak jujur bagi syarikat-syarikat untuk mengatakan mereka tidak mengubah model sambil menjalankan pengoptimuman kos sedemikian yang menjejaskan kecerdasan berkesan model.
Lapisan keselamatan tambahan Microsoft untuk model yang dihoskan Azure juga mungkin menyumbang kepada perbezaan prestasi berbanding dengan API langsung OpenAI . Lapisan pemprosesan Responsible AI ini, walaupun berharga untuk keperluan keselamatan perusahaan, boleh memperkenalkan overhed atau penapisan tambahan yang menjejaskan kualiti output.
Punca-Punca Berpotensi yang Dikenal Pasti oleh Komuniti:
- Kuantisasi: Pemampatan model untuk mengurangkan kos pengkomputeran
- Perubahan infrastruktur: Ketidakstabilan berangka dan pepijat pengkomputeran
- Penapis keselamatan tambahan: Lapisan pemprosesan Responsible AI daripada Microsoft
- Arahan sistem yang diubah suai: Penambahan keperluan undang-undang dan perniagaan
- Peruntukan sumber: Kuasa pengkomputeran yang kurang diperuntukkan kepada model-model lama
Dorongan Yang Semakin Meningkat Ke Arah Model Tempatan
Kemerosotan kualiti yang dilaporkan mendorong sesetengah pembangun untuk mempertimbangkan semula penggunaan model tempatan. Walaupun menjalankan model secara tempatan sebelum ini dilihat sebagai mahal dan perlahan, persepsi tentang model berasaskan awan yang dikurangkan keupayaannya menjadikan penyelesaian yang dihoskan sendiri lebih menarik. Model tempatan menawarkan kawalan penuh ke atas versi model dan menghapuskan kebimbangan tentang perubahan yang tidak didedahkan pada tingkah laku model.
Situasi ini menyerlahkan cabaran asas dalam industri AI : mengimbangi pengoptimuman kos, keperluan keselamatan, dan konsistensi prestasi. Apabila syarikat berusaha mengurangkan kos operasi sambil mengekalkan harga yang kompetitif, pengguna bimbang bahawa kualiti model menjadi pemboleh ubah tersembunyi dalam persamaan ini.
Tanpa penversi yang telus dan komunikasi yang jelas mengenai perubahan infrastruktur, pembangun menghadapi ketidakpastian tentang kestabilan aplikasi berkuasa AI mereka. Kekurangan ketelusan ini akhirnya boleh mendorong lebih banyak perniagaan ke arah alternatif sumber terbuka di mana tingkah laku model kekal boleh diramal dan boleh diaudit.
Rujukan: The LLM Lobotomy.