Projek bercita-cita tinggi seorang pembangun untuk mengautomasikan dokumentasi perisian menggunakan AI telah mencetuskan perdebatan tentang kesiapan sistem sedemikian untuk persekitaran produksi. Sistem ini menggunakan carian vektor dan gesaan AI untuk menjana dokumen keperluan, spesifikasi teknikal, dan pelan ujian secara automatik daripada cerita pengguna, tetapi maklum balas komuniti menyerlahkan jurang kritikal dalam penilaian kualiti.
Komponen Seni Bina Sistem:
- Orkestrasi aliran awan Power Automate
- Azure DevOps integrasi untuk pencetus cerita pengguna
- Google Gemini AI untuk penjanaan kandungan
- Azure AI Search untuk pengambilan kod berasaskan vektor
- Panggilan REST API langsung untuk integrasi platform
Pengesahan Kualiti yang Hilang Muncul sebagai Kebimbangan Utama
Isu paling mendesak yang dibangkitkan oleh komuniti teknologi berpusat pada kekurangan penilaian kualiti yang ketat. Pengkritik menunjukkan bahawa walaupun sistem kelihatan berfungsi, terdapat data yang tidak mencukupi tentang kekerapan ia menghasilkan spesifikasi yang salah atau tidak lengkap. Pembangun mengakui batasan ini, menyatakan sistem mencapai kira-kira 80% konsistensi berdasarkan ujian awal, dengan rancangan untuk semakan arkitek sebelum tugasan pembangun.
Ini menimbulkan persoalan yang lebih luas tentang pengesahan AI dalam pembangunan perisian. Banyak organisasi melaksanakan alat AI berdasarkan metrik kejayaan peringkat permukaan tanpa menguji secara menyeluruh untuk ketepatan atau kelengkapan. Risiko menjadi sangat akut apabila spesifikasi janaan AI kelihatan meyakinkan tetapi mengandungi ralat halus yang boleh mengarahkan salah keseluruhan usaha pembangunan.
Metrik Kualiti yang Dilaporkan:
- 80% konsistensi output merentas pelbagai larian
- 20% variasi termasuk cadangan perubahan tambahan
- Memerlukan semakan arkitek sebelum penugasan pembangun
- Belum diuji untuk volum pengeluaran berskala besar
Batasan Embedding dan Pendekatan Alternatif
Perbincangan teknikal mendedahkan kebimbangan tentang bergantung banyak pada embedding vektor untuk konteks kod. Ahli komuniti merujuk alternatif yang muncul kepada pendekatan Retrieval Augmented Generation ( RAG ) tradisional, mencadangkan bahawa penyelesaian berasaskan embedding mungkin mempunyai batasan yang wujud untuk pangkalan kod yang kompleks. Pembangun menyatakan keterbukaan untuk meneroka alternatif ini, menunjukkan bidang ini masih berkembang dengan pantas.
Ujian Konsistensi Mendedahkan Isu Kebolehubahan
Apabila disoal tentang konsistensi output, pembangun mendedahkan bahawa menjalankan cerita pengguna yang sama beberapa kali menghasilkan hasil yang berbeza-beza, dengan hanya 80% konsistensi merentas larian. Baki 20% variasi termasuk cadangan untuk perubahan tambahan, yang boleh sama ada wawasan berharga atau ketidakkonsistenan bermasalah bergantung pada konteks.
Sungguh menakjubkan kita telah sampai sejauh ini dengan LLM dan semua orang mempercayai orang lain benar-benar telah mengesahkan dakwaan mereka bahawa LLM mereka menghasilkan output yang sah.
Output yang Dijana:
- Dokumen keperluan dengan spesifikasi teknikal
- Pelan ujian dan strategi pengujian
- Tugas pembangunan berstruktur untuk Azure DevOps
- Rajah seni bina Mermaid
- Integrasi dokumentasi Wiki
Kesiapan Produksi Masih Dipersoalkan
Walaupun pencapaian teknikal, sistem kekal dalam peringkat eksperimen. Pembangun mengakui ia belum bersedia untuk produksi lagi dan memerlukan pengawasan manusia pada pelbagai peringkat. Ini menyerlahkan corak biasa dalam perkakas AI di mana demonstrasi yang mengagumkan tidak segera diterjemahkan kepada sistem produksi yang boleh dipercayai.
Projek ini menunjukkan kedua-dua potensi dan batasan semasa AI dalam aliran kerja pembangunan perisian. Walaupun automasi tugas dokumentasi yang membosankan menarik, teknologi masih memerlukan pengawasan dan pengesahan manusia yang ketara untuk memastikan kualiti dan ketepatan dalam persekitaran profesional.
Rujukan: Grounding AI in Reality: How Vector Search on Our Codebase Transformed Our SDLC Automation