Para penyelidik telah menemui kelemahan keselamatan yang membimbangkan dalam sistem AI yang membolehkan penyerang menyembunyikan arahan berniat jahat dalam imej yang hanya kelihatan selepas sistem secara automatik mengubah saiznya. Teknik ini telah berjaya menjejaskan platform utama termasuk Google Gemini , Vertex AI , dan Google Assistant , menimbulkan persoalan serius tentang keselamatan aplikasi AI moden.
Serangan ini mengeksploitasi kelemahan asas dalam cara sistem AI memproses imej. Apabila pengguna memuat naik imej besar, sistem ini biasanya mengecilkan saiznya untuk mengurangkan kos pemprosesan dan memenuhi keperluan saiz. Walau bagaimanapun, pengoptimuman yang kelihatan tidak berbahaya ini mewujudkan peluang bagi penyerang untuk menanam teks tersembunyi yang hanya muncul selepas proses penskalaan.
Sistem AI yang Terjejas:
- Google Gemini CLI
- Vertex AI Studio
- Antara muka web dan API Gemini
- Google Assistant ( Android )
- Genspark
- Pelbagai sistem AI pengeluaran lain
 |
|---|
| Imej ini menggambarkan hasil perbandingan antara imej asal dan versi yang dikecilkan skalanya, menyerlahkan potensi risiko yang berkaitan dengan penskalaan imej dalam sistem AI |
Asas Teknikal Serangan
Kerentanan ini berpunca daripada prinsip matematik di sebalik algoritma pengecilan imej. Apabila imej dikurangkan saiznya, berbilang piksel resolusi tinggi digabungkan menjadi piksel resolusi rendah tunggal melalui kaedah interpolasi seperti algoritma nearest neighbor, bilinear, atau bicubic. Penyerang boleh memanipulasi piksel tertentu dalam imej asal supaya apabila algoritma ini memprosesnya, teks tersembunyi muncul dalam versi yang telah dikecilkan.
Teknik ini bergantung pada teorem pensampelan Nyquist-Shannon , yang menerangkan bagaimana maklumat boleh hilang atau terdistorsi apabila kadar pensampelan tidak mencukupi. Dengan mereka bentuk nilai piksel dengan teliti di kawasan gelap imej, penyerang boleh menyebabkan teks muncul dengan kontras tinggi terhadap latar belakang selepas penskalaan, sambil kekal hampir tidak kelihatan dalam imej asal.
Interpolasi: Kaedah matematik yang digunakan untuk menganggar nilai antara titik data yang diketahui, dalam kes ini, menentukan warna piksel semasa mengurangkan saiz imej.
Algoritma Penyusutan Imej Yang Dieksploitasi:
- Interpolasi Nearest Neighbor: Kaedah paling mudah, menggunakan nilai piksel yang paling hampir
- Interpolasi Bilinear: Mengambil kira 4 piksel sekeliling untuk hasil yang lebih licin
- Interpolasi Bicubic: Menggunakan 16 piksel (grid 4x4) dengan polinomial kubik untuk kualiti tertinggi
Kebimbangan Komuniti Tentang Seni Bina Keselamatan AI
Komuniti keselamatan telah menyatakan kebimbangan mendalam tentang reka bentuk asas model bahasa besar dan sistem penglihatan. Isu teras terletak pada fakta bahawa sistem AI ini tidak dapat membezakan antara arahan sah dan kandungan berniat jahat yang tertanam dalam input pengguna. Segala yang dilihat oleh AI menjadi sebahagian daripada konteks pemprosesannya, mewujudkan apa yang digambarkan pakar sebagai kekurangan pemisahan sepenuhnya antara kod dan data.
Kami telah mereka bentuk sistem yang hanya menyokong pensinyalan dalam jalur, membatalkan pengajaran yang sukar dipelajari daripada reka bentuk sistem terdahulu.
Batasan seni bina ini bermakna pendekatan keselamatan tradisional tidak mencukupi. Tidak seperti sistem perisian konvensional yang boleh melaksanakan sempadan ketat antara pelbagai jenis input, model AI memproses semua maklumat melalui laluan neural yang sama, menjadikannya amat sukar untuk menghalang arahan berniat jahat daripada dilaksanakan.
Kesan Dunia Sebenar dan Kaedah Eksploitasi
Para penyelidik menunjukkan serangan pengekstrakan data yang berjaya terhadap Gemini CLI Google dengan menggabungkan kerentanan penskalaan imej dengan konfigurasi lalai yang terlalu permisif. Dalam bukti konsep mereka, mereka mengkonfigurasi sistem untuk meluluskan panggilan alat secara automatik tanpa pengesahan pengguna, kemudian menggunakan imej yang direka khas untuk mencetuskan tindakan yang mengekstrak maklumat sensitif daripada e-mel pengguna.
Serangan ini berfungsi merentasi berbilang platform dan antara muka, termasuk aplikasi web, peranti mudah alih, dan titik akhir API. Apa yang menjadikan ini amat berbahaya ialah pengguna melihat imej asal yang tidak berbahaya manakala sistem AI memproses versi berskala yang berniat jahat, mewujudkan pemisahan sepenuhnya antara persepsi pengguna dan realiti sistem.
Teknik ini telah terbukti berkesan terhadap pelbagai algoritma penskalaan dan pelaksanaan merentasi perpustakaan perisian yang berbeza, menunjukkan bahawa ini bukan kerentanan terpencil tetapi isu sistemik yang menjejaskan ekosistem AI yang lebih luas.
Strategi Pertahanan dan Batasan
Pendekatan mitigasi semasa menghadapi cabaran ketara disebabkan sifat asas bagaimana sistem AI memproses maklumat visual. Walaupun sesetengah pihak mencadangkan untuk mengelakkan penskalaan imej sepenuhnya dan mengehadkan dimensi muat naik sebaliknya, pendekatan ini mungkin tidak praktikal untuk semua aplikasi.
Pertahanan yang paling kukuh melibatkan pelaksanaan corak reka bentuk selamat yang memerlukan pengesahan pengguna yang jelas untuk sebarang operasi sensitif, tanpa mengira bagaimana permintaan itu berasal. Walau bagaimanapun, ini bercanggah dengan pengalaman pengguna yang lancar yang disasarkan oleh banyak aplikasi AI.
Percubaan untuk melatih model mengabaikan teks dalam imej atau melaksanakan sistem penapisan menghadapi masalah perlumbaan senjata klasik. Penyerang boleh menyesuaikan diri dengan menggunakan bahasa yang berbeza, mengekod teks dalam kod QR, menyesuaikan tahap kontras, atau menanam arahan dalam elemen visual yang lebih halus.
Ciri-ciri Alat Anamorpher:
- Penjana serangan penskalaan imej sumber terbuka
- Sokongan untuk algoritma penskalaan ke bawah utama
- Suite ujian cap jari tersuai dengan corak papan dam, bulatan sepusat, dan corak Moiré
- Antara muka hadapan dan API Python
- Backend modular untuk algoritma penskalaan ke bawah tersuai
Implikasi untuk Pembangunan AI
Kerentanan ini menyerlahkan kebimbangan yang lebih luas tentang model keselamatan sistem AI semasa. Sifat tidak deterministik rangkaian neural menjadikannya mustahil untuk menjamin bahawa langkah keselamatan akan berfungsi secara konsisten. Tidak seperti perisian tradisional di mana sempadan keselamatan boleh dikuatkuasakan melalui struktur kod, sistem AI bergantung pada kaedah latihan kebarangkalian yang boleh dielakkan melalui kejuruteraan gesaan yang kreatif.
Penemuan ini menggariskan keperluan untuk perubahan asas dalam cara sistem AI direka bentuk dan digunakan, terutamanya dalam persekitaran perusahaan di mana keselamatan data adalah yang terpenting. Apabila keupayaan AI terus berkembang dan berintegrasi ke dalam sistem kritikal, menangani batasan keselamatan seni bina ini menjadi semakin mendesak.
Rujukan: Weaponizing image scaling against production Al systems