Percubaan bercita-cita tinggi Amsterdam untuk membina sistem kecerdasan buatan yang adil bagi mengesan penipuan kebajikan telah berakhir dengan kegagalan, menonjolkan cabaran kompleks untuk menghapuskan bias dalam sistem AI. Ibu kota Belanda ini menghabiskan bertahun-tahun membangunkan apa yang diharapkan akan menjadi model pembelajaran mesin yang tidak berat sebelah, hanya untuk mendapati bahawa membetulkan diskriminasi terhadap satu kumpulan sering mewujudkan masalah baru untuk kumpulan lain.
Agensi keselamatan sosial bandar, Dienst , mereka bentuk sistem untuk meramalkan permohonan kebajikan mana yang layak untuk siasatan lanjut. Tidak seperti kebanyakan sistem AI kerajaan yang beroperasi secara rahsia, Amsterdam membuat usaha tulen untuk menangani kebimbangan keadilan dan bahkan berkongsi kod serta metodologi mereka dengan penyiasat.
Masalah Kebenaran Asas Menjadikan AI Adil Hampir Mustahil
Perbincangan komuniti mendedahkan cabaran asas yang menjadikan sistem AI yang benar-benar adil amat sukar dicapai. Isu teras ialah apa yang pakar panggil masalah kebenaran asas - kita tidak tahu kadar sebenar penipuan merentasi kumpulan demografi berbeza kerana siasatan terdahulu yang diketuai manusia sendiri berpotensi berat sebelah.
Sebahagian besar kesukaran percubaan sedemikian ialah kita tidak tahu kebenaran asas. Sesuatu model adalah adil atau tidak berat sebelah jika prestasinya sama baiknya untuk semua kumpulan.
Ini mewujudkan masalah bulatan. Untuk membina sistem tidak berat sebelah, anda memerlukan data latihan tidak berat sebelah. Tetapi jika data sejarah anda datang daripada keputusan manusia yang berat sebelah, AI anda akan belajar dan menguatkan bias yang sama. Amsterdam cuba menyelesaikan ini dengan melaraskan pemberat model mereka, tetapi pendekatan ini membawa kepada akibat tidak dijangka.
Ciri-ciri Model yang Digunakan oleh Sistem Amsterdam:
- Peratusan penyertaan dalam aktiviti kebajikan pada tahun sebelumnya
- Status kerosakan mental terkini
- Temu janji terjadual oleh pegawai percubaan
- Jumlah tunggakan dan status bantuan hutang
- Tempoh masa menerima kebajikan
- Sejarah faedah terdahulu dan status kekurangan bayaran
- Purata hukuman kerana melanggar peraturan kebajikan
Pemberat Semula Mewujudkan Masalah Baru Sambil Menyelesaikan Yang Lama
Penyelesaian Amsterdam melibatkan teknik yang dipanggil pemberat semula untuk mengurangkan bias terhadap pemohon bukan- Dutch . Pada mulanya, model menandai orang dengan latar belakang pendatang pada kadar yang jauh lebih tinggi - 55.36% berbanding 34.53% untuk pemohon Dutch . Proses pemberat semula berjaya mengurangkan jurang ini.
Walau bagaimanapun, apabila digunakan dalam dunia sebenar semasa projek rintis tiga bulan, bias tidak hilang - ia berbalik arah. Model yang diselaraskan mula menandai warganegara Dutch dan wanita secara salah pada kadar yang lebih tinggi daripada kumpulan yang pada asalnya direka untuk dilindungi. Wanita menjadi 12% lebih berkemungkinan ditandai secara salah berbanding lelaki.
Hasil ini menggambarkan realiti matematik yang sering diabaikan oleh penyokong keadilan: meningkatkan keadilan untuk satu kumpulan sering memerlukan pertukaran yang mempengaruhi kumpulan lain. Anda tidak boleh mengoptimumkan semua definisi keadilan secara serentak.
Metrik Bias Sebelum vs Selepas Pemberat Semula:
- Model asal: Pemohon bukan- Dutch ditandai pada 55.36% berbanding Dutch pada 34.53%
- Selepas pemberat semula: Bias berkurang untuk bukan- Dutch tetapi beralih kepada kumpulan lain
- Keputusan perintis: Wanita 12% lebih berkemungkinan ditandai secara salah berbanding lelaki
- Prestasi: Keupayaan pengesanan keseluruhan menurun manakala volum penyiasatan meningkat
Kemerosotan Prestasi Membunuh Projek
Selain isu bias, prestasi keseluruhan model merosot dengan ketara semasa ujian dunia sebenar. Daripada mengurangkan siasatan seperti yang dimaksudkan, sistem sebenarnya meningkatkan beban kerja sambil hampir tidak meningkatkan pengesanan kes penipuan sebenar.
Projek rintis menandai 3,510 orang untuk siasatan selama tiga bulan, tetapi menemui bukti kurang bayar dalam hanya 526 kes. Lebih membimbangkan, 626 siasatan terpaksa ditutup tanpa menemui bukti mencukupi, dan 17 pemohon kebajikan berjaya merayu siasatan mereka sebagai dikenakan secara salah.
Pemerhati komuniti menyatakan bahawa artikel tersebut memberi tumpuan berat pada metrik keadilan tetapi memberikan sedikit bukti tentang keberkesanan sistem dalam benar-benar menangkap penipuan atau menjimatkan wang pembayar cukai. Ini menonjolkan masalah biasa dengan inisiatif keadilan AI - mereka sering mengutamakan kelihatan adil berbanding berguna.
Keputusan Perintis (tempoh 3 bulan):
- Jumlah yang dibenderakan: 3,510 orang
- Kes sah yang ditemui: 526 kes kekurangan bayaran
- Ditutup tanpa bukti: 626 siasatan
- Siasatan yang dihentikan: 11 kes
- Rayuan berjaya: 17 kes (siasatan yang salah)
Pengajaran untuk Pembangunan AI Masa Depan
Pengalaman Amsterdam menawarkan pengajaran berharga untuk kerajaan dan organisasi lain yang cuba membina sistem AI yang adil. Projek ini menunjukkan bahawa niat baik dan ketelusan tidak mencukupi untuk mengatasi cabaran asas matematik dan falsafah keadilan algoritma.
Bandar ini akhirnya membuat keputusan yang betul untuk meninggalkan projek daripada menggunakan sistem yang berprestasi lebih teruk daripada penyiasat manusia sambil masih menunjukkan bias. Pengakuan jujur kegagalan ini, walaupun mengecewakan, menunjukkan lebih integriti daripada banyak organisasi yang menggunakan sistem berat sebelah tanpa penilaian yang betul.
Kes ini juga mendedahkan mengapa mentakrifkan keadilan begitu kontroversi. Definisi matematik keadilan yang berbeza boleh bercanggah antara satu sama lain, memaksa pembangun membuat pertimbangan nilai tentang kumpulan mana yang layak mendapat perlindungan dan pertukaran apa yang boleh diterima. Keputusan ini sememangnya bersifat politik dan tidak boleh diselesaikan melalui cara teknikal sahaja.
Eksperimen gagal Amsterdam berfungsi sebagai kisah amaran tentang had teknologi AI semasa dalam aplikasi sensitif. Sehingga kita membangunkan kaedah yang lebih baik untuk mengendalikan bias dan meningkatkan data kebenaran asas, sistem AI yang benar-benar adil mungkin kekal sebagai matlamat yang sukar dicapai berbanding realiti yang boleh dicapai.
Rujukan: Here we investigated Amsterdam's attempt to build a 'fair' fraud detection model