Komuniti teknologi sedang hangat membincangkan pendekatan optimum untuk membina agen AI yang boleh mengawal komputer secara langsung. Perbincangan ini semakin intensif berikutan pengenalan Archon, sebuah sistem yang menggunakan GPT-5 untuk membolehkan kawalan komputer bahasa semula jadi melalui seni bina hierarki yang menggabungkan model penaakulan besar dengan komponen pelaksanaan khusus.
Seni Bina Sistem Archon
- Komponen Penaakulan: GPT-5 untuk perancangan strategik dan pembuatan keputusan
- Komponen Pelaksanaan: Model berasaskan 7B Qwen-2.5-VL untuk interaksi GUI yang tepat
- Kaedah Latihan: GRPO (Group Relative Policy Optimization) untuk pendasaran GUI
- Antara Muka: Bar input bahasa semula jadi untuk sistem Mac/Windows
- Pendekatan: Pemisahan hierarki antara "apa yang perlu dilakukan" berbanding "di mana untuk klik"
Pendekatan Seni Bina Teknikal Menarik Minat Pembangun
Komuniti ini amat terlibat dalam membincangkan butiran pelaksanaan teknikal sistem kawalan komputer. Pembangun sedang mencari panduan untuk mereplikasi fungsi yang serupa, dengan minat khusus terhadap komponen pelaksana berasaskan 7B Qwen-2.5-VL yang mengendalikan pendasaran GUI melalui penalaan halus GRPO. Rasa ingin tahu teknikal ini mencerminkan peningkatan kebolehcapaian alatan yang diperlukan untuk membina sistem sedemikian di rumah.
Pendekatan hierarki—di mana satu model mengendalikan penaakulan strategik manakala yang lain melaksanakan tindakan tepat—telah menjana perbincangan yang ketara mengenai pertukaran kecekapan. Sesetengah ahli komuniti mempersoalkan sama ada pendekatan pelaksanaan berasaskan transformer ini adalah optimum, mencadangkan bahawa model pembelajaran mesin yang lebih langsung untuk perancangan gerakan mungkin menawarkan prestasi yang lebih baik daripada kawalan input berasaskan penaakulan.
Butiran Pelaksanaan Teknikal
- Pemprosesan Penglihatan: Dynamic-resolution Vision Transformer ( ViT )
- Sistem Ganjaran: Ganjaran binari (1 untuk klik elemen berjaya, 0 untuk terlepas)
- Pengoptimuman: Pendekatan berasaskan tampung untuk penggunaan token penglihatan yang cekap
- Prestasi: Pengiraan masa nyata dengan pemprosesan adaptif
- Data Latihan: Penjanaan data sintetik dengan penambahbaikan trajektori
Pengoptimuman Prestasi dan Aplikasi Dunia Sebenar
Maklum balas komuniti menyerlahkan pertimbangan penting mengenai pilihan demonstrasi dan pengoptimuman prestasi. Pengkritik menyatakan bahawa demo semasa mungkin tidak mempamerkan potensi penuh sistem ini, terutamanya dalam senario di mana agen boleh merancang beberapa langkah ke hadapan daripada memerlukan gelung maklum balas yang berterusan. Pemerhatian ini menunjukkan perbezaan antara tugas pelayaran yang memerlukan pengesahan kerap dan interaksi perisian yang lebih boleh diramal yang boleh mendapat manfaat daripada perancangan kelompok.
Perbincangan juga mendedahkan minat terhadap pengoptimuman khusus untuk antara muka yang berbeza. Walaupun pendekatan berasaskan koordinat generik menawarkan keserasian yang luas, pembangun menyedari bahawa pelaksanaan khusus pelayar menggunakan elemen DOM boleh mengurangkan overhed dan meningkatkan prestasi untuk tugas berasaskan web.
Visi Masa Depan: Persekitaran Pengkomputeran Utama Agen
Mungkin perbincangan komuniti yang paling menarik tertumpu pada implikasi jangka panjang AI kawalan komputer. Pembangun sedang membayangkan paradigma pengkomputeran yang baharu sepenuhnya yang direka terutamanya untuk agen AI dan bukannya pengguna manusia. Konsep ini mencabar andaian asas mengenai reka bentuk antara muka dan seni bina sistem.
Anda kehilangan banyak dengan mengakomodasi ergonomik manusia.
Komuniti melihat potensi hubungan antara AI kawalan komputer dan penambahbaikan kebolehcapaian. Memandangkan sistem ini boleh mendapat manfaat daripada pokok kebolehcapaian yang sama yang digunakan oleh pembaca skrin, terdapat pengiktirafan yang semakin meningkat bahawa meningkatkan kebolehcapaian perisian boleh mewujudkan kitaran baik yang memberi manfaat kepada kedua-dua pengguna manusia yang kurang upaya dan agen AI.
Potensi Integrasi Aliran Kerja yang Lebih Luas
Ahli komuniti amat teruja dengan kemungkinan aliran kerja hujung ke hujung yang dimungkinkan oleh sistem ini. Daripada menunggu vendor perisian individu mencipta integrasi AI, agen kawalan komputer berpotensi boleh bekerja dengan mana-mana perisian sedia ada dengan mengikuti manual arahan dan antara muka yang sama yang digunakan oleh manusia. Pendekatan ini menawarkan kebolehperhatian yang tidak pernah ada sebelum ini, kerana keseluruhan aliran interaksi boleh dirakam dan disemak.
Perbincangan mendedahkan optimisme mengenai pengurangan kerumitan integrasi AI tersuai merentas ekosistem perisian yang berbeza. Apabila keupayaan kawalan komputer generik ini matang, ia mungkin mengurangkan keperluan untuk integrasi khusus sambil menyediakan ketelusan yang lebih baik dan keupayaan nyahpepijat berbanding pendekatan berasaskan API tradisional.
Rujukan: Teaching GPT-5 to Use a Computer