Pembantu pengkodan berkuasa AI sedang mengalami masalah pertumbuhan yang mengingatkan ramai pembangun perisian tentang era awal internet dial-up. Apa yang dahulunya terasa seperti sihir beberapa bulan lalu kini semakin mengecewakan pengguna dengan gangguan yang kerap, masa respons yang perlahan, dan prestasi yang tidak boleh dipercayai.
Perbandingan dengan internet tahun 1990-an bukan sekadar nostalgia - ia sangat tepat. Sama seperti modem dial-up yang akan terputus sambungan semasa cuaca buruk atau apabila seseorang perlu membuat panggilan telefon, ejen pengkodan hari ini sering tersekat, memerlukan beberapa percubaan, dan meninggalkan pembangun perisian menunggu respons yang merangkak pada kadar 30-60 token sesaat.
Perbandingan Prestasi Model AI:
- Model terdepan semasa: 30-60 token/saat
- Model pantas eksperimen ( Cerebras ): 2,000 token/saat (20-50x lebih pantas)
- Peningkatan kelajuan setanding dengan peralihan dari dial-up ke ADSL/cable
Tekanan Infrastruktur daripada Pertumbuhan Penggunaan yang Besar
Di sebalik isu kebolehpercayaan terletak letupan dalam penggunaan token AI. Data OpenRouter menunjukkan peningkatan yang mengejutkan sebanyak 50 kali ganda dalam penggunaan, walaupun ini hanya mewakili sebahagian kecil daripada trafik AI global. Angka sebenar daripada penyedia utama seperti Google , Anthropic , dan OpenAI kekal sebagai rahsia yang dijaga rapi.
Lonjakan ini berpunca daripada cara ejen pengkodan berfungsi secara berbeza daripada chatbot mudah. Walaupun perbualan AI biasa mungkin menggunakan beratus-ratus token, aliran kerja pengkodan agentik boleh menggunakan beribu-ribu kali lebih banyak token ketika mereka menganalisis kod, menjana penyelesaian, dan berulang melalui tugasan yang kompleks. Permintaan sumber yang besar ini memberikan tekanan yang sangat besar pada infrastruktur yang menggerakkan perkhidmatan ini.
Penyedia AI utama bergelut dengan beban masa puncak, terutamanya apabila waktu kerja AS dan Eropah bertindih. Hasilnya adalah corak yang biasa iaitu prestasi yang merosot semasa tempoh sibuk, sama seperti penyedia broadband awal tidak dapat mengendalikan trafik internet pada waktu petang.
Pertumbuhan Penggunaan Token:
- OpenRouter melaporkan peningkatan 50 kali ganda dalam penggunaan token AI
- Aliran kerja pengkodan agentic menggunakan ~1000 kali ganda lebih banyak token berbanding interaksi sembang ringkas
- Permintaan puncak berlaku semasa waktu kerja bertindih antara AS-Eropah
Masalah Kesesakan Kelajuan
Model AI semasa beroperasi pada kelajuan yang mewujudkan aliran kerja yang janggal untuk pembangun perisian. Pada kadar 30-60 token sesaat, kadar ini cukup perlahan untuk mengecewakan tetapi cukup pantas sehingga pertukaran konteks antara beberapa contoh ejen menjadi terlalu membebankan.
Sesetengah pembangun perisian telah bereksperimen dengan model yang jauh lebih pantas yang berjalan pada 2,000 token sesaat - peningkatan kelajuan 20-50 kali ganda yang serupa dengan lompatan dari dial-up ke broadband awal. Walau bagaimanapun, ini mewujudkan masalahnya sendiri. Kelajuan yang sangat pantas membuatkan ia menggoda untuk menerima segala-galanya tanpa semakan yang betul, yang membawa kepada kualiti kod yang buruk.
Pada 2000tok/s tiba-tiba kesesakan dengan cepat menjadi anda. Ia menjadi sangat menggoda untuk mula menerima segala-galanya, kerana ia masuk dengan begitu pantas, yang membawa kepada keputusan yang teruk.
Komuniti berpecah mengenai kelajuan optimum. Sesetengah pembangun perisian lebih suka kelajuan semasa kerana mereka boleh memantau kerja AI secara masa nyata dan campur tangan apabila ia tersasar. Yang lain berhujah bahawa kelajuan yang jauh lebih pantas akan membolehkan aliran kerja baharu, seperti menjalankan beberapa percubaan selari untuk menyelesaikan masalah yang sama.
Keuntungan Produktiviti Masih Dipertikaikan
Walaupun penggunaan meluas, faedah produktiviti sebenar pembantu pengkodan AI masih diperdebatkan dengan hangat dalam komuniti pembangun perisian. Pengkritik berhujah bahawa walaupun AI mungkin meningkatkan produktiviti yang dirasakan, ia sebenarnya mengurangkan penglibatan kognitif dengan kod, yang membawa kepada masalah jangka panjang ketika kod yang dijana AI terkumpul dalam pangkalan kod tanpa pemahaman yang betul daripada penyelenggara manusia.
Penyokong membalas bahawa AI secara asasnya mengubah cara mereka bekerja, membolehkan mereka menangani projek yang biasanya mereka tidak mempunyai masa untuk lakukan. Teknologi ini kelihatan paling berjaya untuk mencipta alat dalaman, prototaip pantas, dan mengendalikan tugasan rutin berbanding pembangunan aplikasi teras.
Perdebatan sering bergantung pada cara pembangun perisian menggunakan alat ini. Mereka yang menganggap AI sebagai enjin carian atau pembantu semakan kod melaporkan pengalaman yang lebih baik daripada mereka yang bergantung padanya untuk penjanaan kod utama.
Evolusi Aliran Kerja Pembangun:
- Era GPT-3.5: Soal jawab asas dengan halusinasi yang kerap berlaku
- Era GPT-4/Sonnet 3.5: Pembantu penting untuk potongan kod dan soalan
- Era semasa: Agen CLI yang diselia membantu kebanyakan kerja pembangunan
- Era masa depan: Percubaan selari tanpa pengawasan dengan penilaian automatik
Model Harga dan Akses Masa Depan
Cabaran infrastruktur berkemungkinan akan membentuk semula cara perkhidmatan pengkodan AI dihargakan dan disampaikan. Model semasa bergelut dengan permintaan puncak sambil mempunyai kapasiti lebih yang besar semasa waktu tidak sibuk. Ini mencerminkan cabaran penyedia perkhidmatan internet awal dan mencadangkan penyelesaian serupa mungkin muncul.
Jangkakan untuk melihat pelan harga luar puncak yang menawarkan had penggunaan yang lebih murah hati di luar waktu kerja yang sibuk. Walaupun sesetengah penyedia sudah menawarkan diskaun pemprosesan kelompok, ini tidak sesuai untuk aliran kerja pengkodan interaktif yang memerlukan respons masa nyata.
Industri juga mungkin bergerak ke arah model harga yang lebih canggih yang direka untuk meratakan permintaan merentas zon masa yang berbeza, membantu penyedia menguruskan infrastruktur mereka dengan lebih cekap sambil menawarkan pembangun perisian akses yang lebih boleh diramal kepada bantuan AI.
Ketika teknologi terus berkembang dengan pesat, pembangun perisian menghadapi tekanan untuk kekal terkini dengan alat dan pendekatan baharu. Landskap kekal sangat tidak stabil, dengan penambahbaikan ketara dalam kedua-dua alat dan keupayaan model tiba secara berkala. Buat masa ini, era dial-up pengkodan AI berterusan, tetapi setara broadband mungkin tidak jauh di belakang.
Rujukan: What happens when coding agents stop feeling like dialup?