Google telah menarik balik model AI Gemma daripada akses awam berikutan satu insiden di mana sistem tersebut menghasilkan tuduhan jenayah palsu terhadap Senator A.S. Marsha Blackburn. Peristiwa ini menonjolkan cabaran berterusan halusinasi AI dan menimbulkan persoalan mengenai penyebaran alat AI berfokuskan pembangun dalam persekitaran di mana ia mungkin disalahgunakan untuk pertanyaan fakta.
Insiden Yang Mendorong Penarikan Balik
Kontroversi timbul apabila seseorang menggunakan model Gemma milik Google, yang tersedia melalui platform AI Studio, untuk menanyakan soalan Adakah Marsha Blackburn pernah dituduh melakukan rogol? Menurut aduan Senator Blackburn kepada CEO Google Sundar Pichai, AI itu membalas dengan naratif terperinci tetapi sepenuhnya dipalsukan. Model tersebut mendakwa bahawa semasa kempen senat negerinya pada 1987—secara tidak betul menyatakan tahun, memandangkan kempen sebenarnya adalah pada 1998—Blackburn telah dituduh mempunyai hubungan seks dengan seorang anggota polis negeri yang mendakwa dia memaksanya untuk mendapatkan ubat preskripsi dan hubungan itu melibatkan perbuatan tanpa persetujuan. Untuk menyokong dakwaan palsu ini, Gemma memberikan pautan kepada artikel berita yang sama ada membawa kepada halaman ralat atau langsung tidak berkaitan dengan peristiwa yang didakwa.
Garis Masa Peristiwa
- Insiden: Gemma menjana dakwaan palsu mengenai Senator Marsha Blackburn
- Respons: Senator Blackburn menghantar surat kepada Ketua Pegawai Eksekutif Google Sundar Pichai pada 3 November 2025
- Tindakan: Google mengalih keluar Gemma daripada platform AI Studio
- Konteks: Berlaku semasa peningkatan penelitian Senat terhadap kes fitnah AI
Tindak Balas Google dan Perubahan Platform
Google bertindak pantas untuk menangani situasi tersebut, menarik balik Gemma daripada platform AI Studio sambil mengekalkan akses untuk pembangun melalui API. Syarikat itu menjelaskan bahawa AI Studio direka khusus sebagai alat pembangun, yang memerlukan pengguna mengakui mereka adalah pembangun sebelum mendapat akses. Dalam satu kenyataan, Google menerangkan mereka telah melihat laporan tentang bukan pembangun yang cuba menggunakan Gemma dalam AI Studio dan menanyakan soalan fakta, yang bukan merupakan kes penggunaan yang dimaksudkan untuk model tersebut. Gemma diiklankan sebagai satu keluarga model AI khusus untuk pembangun membina aplikasi, dengan varian direka untuk kegunaan perubatan, pengaturcaraan, dan menilai kandungan teks dan imej—bukan sebagai sistem chatbot untuk pengguna atau sistem jawab soalan fakta.
Butiran Model AI Gemma
- Jenis Model: Keluarga model AI untuk pembangun
- Kegunaan yang Dimaksudkan: Aplikasi perubatan, pengekodan, penilaian teks dan imej
- Kaedah Akses: API (masih tersedia), AI Studio (dialih keluar)
- Tidak dimaksudkan untuk soal jawab pengguna atau pertanyaan berkaitan fakta
Implikasi Lebih Luas Halusinasi AI
Insiden ini mewakili lebih daripada sekadar satu lagi kes halusinasi AI—ia menunjukkan bagaimana maklumat palsu yang dijana oleh sistem AI boleh mempunyai akibat dunia sebenar di luar kesilapan fakta yang mudah. Senator Blackburn menggambarkan output tersebut sebagai bukan 'halusinasi' yang tidak berbahaya tetapi sebaliknya satu perbuatan fitnah yang dihasilkan dan diedarkan oleh model AI milik Google. Peristiwa ini berlaku di tengah-tengah peningkatan pemerhatian terhadap syarikat AI, terutamanya berikutan pendengaran perdagangan Senat baru-baru ini mengenai fitnah AI, termasuk saman aktivis Robby Starbuck terhadap Google. Walaupun selepas bertahun-tahun pembangunan dalam AI generatif, masalah asas ketepatan masih belum diselesaikan, dengan tiada penyelesaian jelas untuk menghalang model daripada dengan yakin menyampaikan maklumat palsu sebagai fakta.
Petikan Utama
- Senator Blackburn: "Ini bukan sekadar 'halusinasi' yang tidak berbahaya. Ini adalah tindakan fitnah."
- Kenyataan Google: "Kami telah melihat laporan pengguna bukan pembangun cuba menggunakan Gemma dalam AI Studio dan bertanya soalan fakta kepadanya."
- Tuntutan Senator Blackburn: "Tutup ia sehingga anda boleh mengawalnya."
Cabaran Mengawal Alat Pembangun
Keadaan ini menekankan kesukaran yang dihadapi syarikat teknologi dalam menghalang alat berfokuskan pembangun daripada disalahgunakan oleh orang awam. Walaupun dengan penafian dan sekatan akses, bukan pembangun yang berazam boleh mengakses sistem ini dan menggunakannya dengan cara yang tidak diingini. Tindak balas Google—menarik balik model daripada AI Studio sambil mengekalkannya tersedia melalui API—mewakili satu tindakan mengimbangi antara mengekalkan akses pembangun sambil mengurangkan pendedahan awam. Walau bagaimanapun, pendekatan ini menimbulkan persoalan sama ada hanya melabelkan model sebagai bukan untuk Q&A fakta memberikan perlindungan yang mencukupi terhadap penyalahgunaan, terutamanya apabila sistem tersebut mampu menjana maklumat palsu yang berpotensi merosakkan tentang tokoh awam.
Melihat Ke Hadapan: Akauntabiliti dan Pembangunan AI
Google telah mengulangi komitmennya untuk meminimumkan halusinasi dan terus menambah baik semua model kami, tetapi insiden ini menunjukkan ketegangan berterusan antara penyebaran AI yang pantas dan pembangunan yang bertanggungjawab. Tindak balas Senator Blackburn—Tutupnya sehingga anda boleh mengawalnya—menggema kebimbangan yang semakin meningkat dalam kalangan pembuat dasar tentang potensi bahaya sistem AI yang tidak dinilai secukupnya. Apabila model AI menjadi lebih berkemampuan dan boleh diakses, industri menghadapi tekanan yang semakin meningkat untuk menangani bukan sahaja cabaran teknikal ketepatan, tetapi juga implikasi etika dan undang-undang sistem yang boleh menjana naratif palsu tetapi meyakinkan tentang orang sebenar secara autonomi.