Industri teknologi mendapati dirinya berpecah mengenai Model Bahasa Besar ( Large Language Models / LLMs ), dengan sesetengah pembangun mendakwa peningkatan produktiviti yang besar manakala yang lain melaporkan faedah yang minimum. Perpecahan ini telah mencetuskan perdebatan sengit tentang sama ada teknologi ini mewakili satu kejayaan tulen atau satu lagi gelombang janji yang terlalu dipromosikan.
Masalah Konteks yang Hilang
Isu teras yang menyemarakkan perpecahan ini adalah kekurangan butiran khusus dalam dakwaan produktiviti. Apabila pembangun berkongsi pengalaman LLM mereka, maklumat penting sering hilang. Kita tidak tahu jenis projek apa yang mereka kerjakan, sama ada ia aplikasi greenfield baharu atau sistem warisan yang kompleks, atau bahasa pengaturcaraan dan rangka kerja apa yang terlibat.
Tahap kepakaran pembangun juga masih tidak jelas. Seorang jurutera kanan yang bekerja pada projek React akan mempunyai hasil yang sangat berbeza berbanding pereka yang cuba mengubah suai kod OCaml . Namun pengalaman ini digabungkan dalam perbincangan, menjadikan perbandingan yang bermakna hampir mustahil.
Faktor Kejayaan Utama untuk Penggunaan LLM:
- Kepakaran domain dalam bidang sasaran
- Kemahiran dalam kejuruteraan gesaan dan pemecahan tugas
- Jangkaan yang sesuai untuk output tidak deterministik
- Memadankan keupayaan alat dengan kes penggunaan khusus
Jangkaan Pengurusan Berbanding Realiti
Jurang produktiviti menjadi lebih bermasalah apabila dakwaan yang dibesarkan sampai kepada pengurusan. Sesetengah syarikat melaporkan mendengar tentang peningkatan produktiviti 10 kali ganda, menetapkan jangkaan yang tidak realistik merentas organisasi. Walau bagaimanapun, walaupun pembangun yang mendapati LLM membantu biasanya melihat keuntungan yang lebih sederhana.
Satu faktor utama yang mengehadkan peningkatan produktiviti keseluruhan adalah Hukum Amdahl - walaupun pengkodan menjadi lebih pantas dengan ketara, pembangun menghabiskan masa yang banyak untuk aktiviti lain seperti perancangan, komunikasi, dan penyahpepijatan. Ini bermakna peningkatan 10 kali ganda dalam penjanaan kod mungkin hanya diterjemahkan kepada keuntungan produktiviti keseluruhan 10-15%.
Faktor kos juga penting. Walaupun langganan LLM seperti Claude Max berharga sekitar 200 dolar Amerika Syarikat sebulan (kira-kira 2% daripada gaji purata jurutera perisian), jumlah persamaan nilai bergantung pada peningkatan produktiviti sebenar dan bukannya yang teoritikal.
Semakan Realiti Produktiviti:
- Peningkatan yang didakwa: Sehingga 10 kali ganda peningkatan produktiviti
- Peningkatan keseluruhan sebenar: Biasanya 10-15% disebabkan oleh Hukum Amdahl
- Pengkodan hanya mewakili sebahagian daripada jumlah masa pembangunan
Sifat Bukan Deterministik Mewujudkan Ketidakkonsistenan
LLM menimbulkan cabaran lain melalui tingkah laku bukan deterministik mereka. Gesaan yang sama boleh menghasilkan hasil yang berbeza pada masa yang berbeza, menjadikannya sukar untuk mewujudkan aliran kerja yang boleh dipercayai. Ketidakramalan ini bermakna apa yang berfungsi dengan sempurna hari ini mungkin gagal esok, walaupun untuk tugas yang sama.
Sesetengah pembangun telah belajar bekerja dengan ketidakpastian ini dengan menganggap LLM lebih seperti enjin carian - memerlukan kemahiran untuk mencipta gesaan yang berkesan dan menguruskan jangkaan. Kejayaan sering datang daripada memecahkan tugas kompleks kepada bahagian yang lebih kecil dan lebih mudah diurus daripada mengharapkan penyelesaian lengkap.
Aplikasi Industri Selain Pengkodan
Walaupun aplikasi pengkodan menarik tajuk berita, LLM menunjukkan potensi dalam bidang lain. Banyak perusahaan menggaji beribu-ribu pekerja yang terutamanya memindahkan data antara sistem - dari hamparan kepada CRM kepada e-mel. Tugas berulang ini mungkin lebih sesuai untuk keupayaan LLM semasa daripada pembangunan perisian yang kompleks.
Profesional undang-undang melaporkan peningkatan produktiviti yang ketara, dengan sesetengah mendakwa output 2 kali ganda dengan kesilapan yang lebih sedikit. Ini masuk akal memandangkan kerja undang-undang sering melibatkan penyusunan semula dan pemformatan semula teks sedia ada daripada mencipta struktur logik yang baru sepenuhnya.
Perbandingan dengan Gembar-gembur Crypto
Pengkritik menarik persamaan antara keghairahan LLM semasa dan kitaran gembar-gembur mata wang kripto sebelumnya. Kedua-dua teknologi menarik penyokong yang bersemangat yang menolak skeptik sebagai tidak memahami potensi sebenar. Dinamik ini boleh menutup perbincangan teknikal yang produktif tentang keupayaan dan batasan sebenar.
Walau bagaimanapun, tidak seperti crypto, LLM menunjukkan utiliti yang jelas dalam kes penggunaan khusus hari ini. Cabaran terletak pada memisahkan aplikasi tulen daripada dakwaan pemasaran yang dibesarkan dan jangkaan yang tidak realistik.
Kos Alat LLM:
- Claude Max : $200 USD/bulan (~2% daripada purata gaji jurutera perisian)
- Mewakili kos yang agak kecil berbanding jumlah perbelanjaan pekerjaan keseluruhan
Kesimpulan
Perdebatan produktiviti LLM mencerminkan cabaran yang lebih luas dalam menilai teknologi yang sedang berkembang. Tanpa metrik piawai dan konteks terperinci, pengalaman individu menjadi sukar untuk dibandingkan atau digeneralisasikan. Walaupun alat ini jelas memberikan nilai dalam situasi tertentu, industri memerlukan kaedah penilaian yang lebih ketat untuk memisahkan kejayaan tulen daripada kitaran gembar-gembur sementara.
Kejayaan dengan LLM nampaknya sangat bergantung pada memadankan alat yang betul dengan tugas yang betul, menguruskan jangkaan dengan sewajarnya, dan membangunkan kemahiran untuk bekerja dengan berkesan dengan sistem bukan deterministik. Apabila teknologi semakin matang, corak penggunaan yang berkesan yang lebih jelas mungkin akan muncul.
Rujukan: Everything around LLMs is still magical and wishful thinking