Cloudflare telah melancarkan perkhidmatan baharu yang dipanggil bayar per crawl yang membolehkan pemilik laman web mengenakan bayaran kepada syarikat AI untuk mengakses kandungan mereka. Sistem ini menangani kebimbangan yang semakin meningkat tentang bot AI yang menggunakan kandungan web tanpa pampasan sambil mewujudkan kos pelayan yang ketara untuk penerbit.
Perkhidmatan ini menggunakan kod status HTTP 402 (Payment Required) untuk mewujudkan rangka kerja di mana crawler AI mesti sama ada membayar untuk akses atau menerima permintaan pembayaran. Pemilik laman web boleh menetapkan tiga pilihan untuk setiap crawler: membenarkan akses percuma, memerlukan pembayaran pada harga yang dikonfigurasikan, atau menyekat akses sepenuhnya.
Kawalan Penerbit dan Pilihan Harga:
- Benarkan: Memberikan akses percuma kepada perangkak untuk mengakses kandungan
- Caj: Memerlukan pembayaran pada harga yang dikonfigurasikan untuk keseluruhan domain
- Sekat: Menafikan akses sepenuhnya tanpa pilihan pembayaran
 |
|---|
| Pemilik laman web kini boleh melindungi kandungan mereka dan mengenakan bayaran kepada syarikat AI untuk akses melalui perkhidmatan baharu Cloudflare |
Pelaksanaan Teknikal Mewujudkan Piawaian Web Baharu
Sistem ini memerlukan syarikat AI untuk mendaftar dengan Cloudflare dan menggunakan tandatangan kriptografi untuk mengesahkan identiti mereka. Ini menghalang pelaku jahat daripada menyamar sebagai crawler yang sah untuk mengelakkan pembayaran. Apabila crawler meminta kandungan berbayar, ia sama ada memasukkan niat pembayaran dalam header permintaan atau menerima respons 402 dengan maklumat harga.
Cloudflare bertindak sebagai pemproses pembayaran, mengendalikan pengebilan dan mengedarkan pendapatan kepada penerbit. Syarikat itu mengagregatkan peristiwa crawling dan mengenakan bayaran kepada syarikat AI berdasarkan permintaan yang berjaya yang menerima kandungan.
Pengesahan Perangkak yang Diperlukan:
- Hasilkan pasangan kunci Ed25519 dengan kunci awam berformat JWK
- Daftar dengan Cloudflare dengan menyediakan URL direktori kunci dan maklumat ejen pengguna
- Konfigurasikan Tandatangan Mesej HTTP untuk setiap permintaan
- Sertakan pengepala signature-agent, signature-input, dan signature
Komuniti Membahaskan Keberkesanan dan Keadilan
Perbincangan komuniti teknologi mendedahkan reaksi bercampur-campur terhadap pengumuman tersebut. Sesetengah pihak memuji inisiatif ini sebagai pampasan yang sudah terlambat untuk pencipta kandungan, manakala yang lain bimbang tentang mewujudkan halangan baharu kepada akses maklumat. Kebimbangan utama tertumpu pada kelebihan Google, kerana banyak laman web masih mahu crawler carian Google mengindeks kandungan mereka untuk keterlihatan.
Kebanyakan orang mahu google-bot merangkak laman web mereka supaya mereka mendapat trafik. Terdapat faedah kepada kedua-dua pihak di sana, dan Google akan menggunakan crawl-index untuk latihan AI.
Sistem ini menghadapi cabaran teknikal daripada scraper yang bersungguh-sungguh yang mungkin menggunakan proksi kediaman atau pelayar tanpa kepala untuk memintas pengesanan. Walau bagaimanapun, kedudukan Cloudflare sebagai penyedia infrastruktur internet utama memberikannya leverage yang ketara dalam mengenal pasti dan menyekat percubaan tersebut.
 |
|---|
| Blog Cloudflare mendedahkan reaksi bercampur daripada komuniti teknologi mengenai perkhidmatan "pay per crawl" |
Implikasi untuk Ekonomi Web Masa Depan
Perkhidmatan ini mewakili peralihan ke arah monetisasi data latihan AI pada skala internet. Penerbit seperti Conde Nast, TIME, dan The Associated Press telah mendaftar untuk menyekat crawler AI secara lalai. Ini mewujudkan tekanan kepada syarikat AI untuk sama ada membayar untuk akses atau membangunkan sumber data alternatif.
Sesetengah ahli komuniti bimbang ini boleh membawa kepada pasaran yang berpecah-belah di mana mengakses maklumat memerlukan berbilang langganan, sama seperti perkhidmatan streaming. Yang lain melihatnya sebagai perlindungan yang perlu terhadap syarikat AI yang memberikan sedikit nilai kembali kepada pencipta kandungan.
Kesan jangka panjang mungkin melangkaui keperluan latihan AI semasa. Apabila ejen AI menjadi lebih biasa, sistem ini boleh membolehkan pembelian kandungan programatik di mana pengguna memberikan belanjawan kepada pembantu AI untuk mengakses sumber maklumat premium.
Penerbit Utama Yang Sudah Menyertai:
- Conde Nast
- TIME
- The Associated Press
- The Atlantic
- ADWEEK
- Fortune
Kesimpulan
Sistem bayar-per-crawl Cloudflare cuba mengimbangi semula ekonomi kandungan web dalam era AI. Walaupun ia menawarkan pencipta kandungan aliran pendapatan baharu, kejayaannya bergantung pada penggunaan yang meluas dan kesediaan syarikat AI untuk membayar daripada mencari jalan keluar. Inisiatif ini menyerlahkan ketegangan berterusan antara akses maklumat terbuka dan pampasan yang adil untuk pencipta kandungan dalam landskap internet yang semakin didorong oleh AI.
Rujukan: Introducing pay per crawl: enabling content owners to charge AI crawlers for access