Kelemahan Keselamatan AI Mengulangi Kecacatan Web 1990an Ketika Syarikat Tergesa-gesa Melaksanakan Penggunaan

Ledakan kecerdasan buatan telah membawa kesan sampingan yang tidak dijangka: kembalinya kelemahan keselamatan yang melanda internet awal. Penyelidik keselamatan di Black Hat USA 2023 mendedahkan bahawa banyak sistem AI sedang dilaksanakan dengan kecacatan keselamatan asas yang mengingatkan kepada tahun 1990an, ketika amalan keselamatan web asas masih dalam proses pembentukan.

Tergesa-gesa untuk mengintegrasikan AI ke dalam proses perniagaan telah menyebabkan syarikat mengulangi kesilapan yang berusia beberapa dekad. Model bahasa besar dan ejen AI diberikan keistimewaan berlebihan dan akses kepada sistem sensitif tanpa halangan keselamatan yang sewajarnya. Ini telah mewujudkan taman permainan baru untuk penyerang yang boleh mengeksploitasi sistem ini menggunakan teknik yang mengejutkan mudah.

Menyerlahkan keperluan untuk penelitian dalam sistem AI bagi menangani kelemahan keselamatan yang mengingatkan kepada era awal internet

Suntikan Gesaan: Suntikan SQL Yang Baru

Kelemahan yang paling membimbangkan yang mempengaruhi sistem AI ialah suntikan gesaan, yang dibandingkan oleh pakar keselamatan dengan serangan suntikan SQL dari era web awal. Namun, tidak seperti suntikan SQL tradisional, masalah ini mungkin tidak dapat diperbaiki secara asasnya. Sistem AI bergelut untuk membezakan antara arahan dan data, menjadikannya terdedah kepada manipulasi melalui input yang dibuat dengan teliti.

Penyelidik menunjukkan bagaimana penyerang boleh mencuri data pelanggan sensitif dari sistem berkuasa AI hanya dengan bertanya dengan baik. Dalam satu kes, AI perkhidmatan pelanggan yang dibina dengan Microsoft's Copilot Studio telah diperdaya untuk menghantar keseluruhan pangkalan data pelanggan melalui e-mel kepada penyerang tanpa sebarang kebenaran atau pemecahan kod diperlukan.

Komuniti telah mencatat kecacatan kritikal dalam cara syarikat mendekati keselamatan AI. Banyak organisasi menganggap sistem AI sebagai pembuat keputusan yang canggih dan bukannya alat mudah yang memerlukan pengawasan ketat dan akses terhad.

Sistem AI Terdedah yang Didemonstrasikan di Black Hat 2023

Sistem AI Berkeistimewaan Berlebihan Mewujudkan Permukaan Serangan Baru

Isu utama yang dikenal pasti oleh penyelidik keselamatan ialah sistem AI sering diberikan akses yang jauh lebih banyak daripada yang mereka perlukan. Syarikat menggunakan model AI tujuan umum untuk mengendalikan segala-galanya dari perkhidmatan pelanggan hingga pembangunan kod, mewujudkan permukaan serangan yang tidak perlu besar.

AI generatif mempunyai skop yang berlebihan. AI yang sama yang menjawab soalan tentang Shakespeare membantu anda membangunkan kod. Generalisasi berlebihan ini membawa anda kepada permukaan serangan yang meningkat.

Pakar keselamatan mengesyorkan menganggap sistem AI seperti mana-mana antara muka pengguna lain yang bersambung kepada sistem backend. Prinsip keselamatan yang sama yang digunakan untuk aplikasi web harus mengawal penggunaan AI. Ini bermakna melaksanakan kawalan akses yang sewajarnya, pengesahan input, dan menganggap bahawa mana-mana sistem yang boleh diakses oleh AI berpotensi terjejas.

Prinsip Keselamatan AI Utama yang Disyorkan oleh Penyelidik

• Andaikan Suntikan Prompt: Reka bentuk sistem dengan mengandaikan AI akan terjejas
• Hadkan Keistimewaan AI: Jangan sekali-kali berikan AI akses melebihi apa yang sepatutnya dimiliki oleh pengguna akhir
• Anggap AI sebagai Alat: Jangan mengharapkan AI membuat keputusan keselamatan atau bertindak sebagai ejen yang dipercayai
• Laksanakan Halangan yang Sesuai: Letakkan kawalan keselamatan di antara AI dan sistem backend, bukan dalam AI itu sendiri
• Gunakan AI Khusus: Gunakan AI khusus tugas dan bukannya sistem tujuan umum dengan akses yang luas

Faktor Manusia dalam Kegagalan Keselamatan AI

Komuniti keselamatan telah memerhati bahawa banyak kelemahan AI semasa berpunca daripada salah faham asas tentang apa yang boleh dan tidak boleh dilakukan oleh sistem ini. Syarikat menggunakan AI dengan jangkaan bahawa ia akan berkelakuan seperti pekerja manusia yang dipercayai, sedangkan pada hakikatnya ia memerlukan pengawasan berterusan dan had yang ketat.

Masalah ini diburukkan lagi oleh generasi baru pembangun yang kekurangan pengalaman dengan amalan keselamatan asas. Kemudahan pembantu pengekodan AI telah membawa kepada apa yang penyelidik panggil pengekodan suasana - pendekatan santai kepada pembangunan yang mengabaikan prinsip keselamatan yang telah ditetapkan.

Keadaan ini telah mewujudkan apa yang digambarkan oleh sesetengah pihak sebagai demokratisasi penggodaman, di mana kelemahan yang sama yang memerlukan pengetahuan khusus untuk dieksploitasi pada tahun 1990an kini boleh ditemui dan diserang oleh julat orang yang lebih luas.

Memandang ke Hadapan: Pengajaran dari Masa Lalu

Industri keselamatan siber menghadapi pilihan: belajar dari kesilapan masa lalu atau mengulanginya pada skala besar. Pakar keselamatan menekankan bahawa sistem AI tidak boleh dipercayai dengan keistimewaan melebihi apa yang akan diberikan kepada pengguna akhir. Mereka mengesyorkan melaksanakan alat AI khusus untuk tugas tertentu dan bukannya menggunakan sistem tujuan umum dengan akses luas.

Keadaan semasa berfungsi sebagai peringatan bahawa kemajuan teknologi tidak secara automatik termasuk penambahbaikan keselamatan. Ketika syarikat terus mengintegrasikan AI ke dalam operasi mereka, pengajaran yang dipelajari dari pembangunan keselamatan web selama beberapa dekad menjadi lebih relevan berbanding sebelum ini.

Rujukan: Sloppy AI defenses take cybersecurity back to the 1990s, researchers say