Pentadbir laman web semakin kerap menggunakan kaedah menyekat seluruh negara dan rangkaian penyedia awan kerana pengikis web berkuasa AI terus mengabaikan kawalan akses tradisional. Contoh terbaru melibatkan bot yang dipanggil Thinkbot yang menggunakan 74 alamat IP unik merentasi 41 blok rangkaian, semuanya dimiliki oleh gergasi teknologi China Tencent , sambil mengabaikan sepenuhnya fail robots.txt yang digunakan laman web untuk menyampaikan keutamaan merangkak.
Blok Rangkaian Tencent yang Biasa Disekat oleh Pentadbir Laman Web
| Julat Rangkaian | Jenis | Liputan |
|---|---|---|
| 43.130.0.0/18 | Tencent Cloud | ~16,384 IP |
| 43.135.0.0/18 | Tencent Cloud | ~16,384 IP |
| 101.32.0.0/20 | Tencent Cloud | ~4,096 IP |
| 119.28.64.0/19 | Tencent Cloud | ~8,192 IP |
| 170.106.32.0/19 | Tencent Cloud | ~8,192 IP |
Jumlah Liputan: Lebih 476,590 alamat IP unik merentasi 41 blok rangkaian
Skala Masalah
Insiden Thinkbot menyerlahkan trend yang semakin berkembang di mana pengikis automatik beroperasi merentasi julat IP yang besar untuk mengelakkan pengesanan dan penyekatan. Daripada menyediakan dokumentasi yang betul atau menghormati protokol web standard, bot khusus ini hanya memberitahu pemilik laman web untuk menyekat alamat IP nya jika mereka tidak menyukai trafik tersebut. Pendekatan ini memaksa pentadbir ke dalam permainan whack-a-mole yang mahal, kerana menyekat alamat individu menjadi tidak berkesan apabila bot boleh bertukar antara beribu-ribu IP yang berbeza.
Ramai pengendali laman web melaporkan bahawa penyelesaian tradisional seperti pengehadan kadar dan penyekatan ejen pengguna telah menjadi tidak berguna. Komuniti telah memerhati bahawa pengikis ini sering menunggu dengan sabar melalui penghadan lebar jalur dan menyesuaikan diri dengan cepat kepada langkah pertahanan standard. Sesetengah pentadbir telah menemui kejayaan dengan pendekatan kreatif, seperti memerlukan parameter URL khusus atau menyajikan kandungan berbeza kepada bot yang disyaki, tetapi kaedah ini memerlukan penyelenggaraan berterusan dan kepakaran teknikal.
Penyekatan Peringkat Geografi dan Rangkaian
Perbincangan mendedahkan bahawa ramai pemilik laman web telah beralih kepada menyekat seluruh negara, terutamanya China dan Russia , melaporkan pengurangan dramatik dalam trafik berniat jahat. Sesetengah pentadbir melaporkan melihat penurunan 90-95% dalam percubaan serangan dan aktiviti bot yang tidak diingini selepas melaksanakan sekatan peringkat negara. Walau bagaimanapun, pendekatan ini mewujudkan isu kebolehcapaian untuk pengguna sah yang melancong ke luar negara atau menggunakan perkhidmatan VPN .
Rangkaian penyedia awan memberikan cabaran lain, kerana pengikis semakin menggunakan perkhidmatan daripada Amazon Web Services , Google Cloud , Microsoft Azure , dan penyedia utama lain. Sesetengah pemilik laman web telah mula menyekat seluruh julat IP penyedia awan, walaupun ini boleh memberi kesan kepada pengguna perniagaan sah yang mengakses laman web melalui VPN korporat yang dihoskan pada platform ini.
Kami menyelesaikan banyak masalah kami dengan menyekat semua ASN China . Diakui, bukan penyelesaian yang paling mesra, tetapi terdapat begitu banyak isu yang berasal daripada klien China sehingga lebih mudah untuk menyekat seluruh negara.
Strategi Penyekatan Geografi Biasa
| Pendekatan | Keberkesanan | Kelemahan |
|---|---|---|
| Penyekatan peringkat negara ( China / Russia ) | Pengurangan 90-95% dalam trafik berniat jahat | Menyekat pengguna sah dan pelancong |
| Penyekatan ASN penyedia awan | Keberkesanan tinggi terhadap ladang bot | Memberi kesan kepada pengguna perniagaan pada VPN korporat |
| Pengesanan proksi kediaman | Keberkesanan sederhana | Pelaksanaan kompleks, positif palsu |
| Akses senarai putih sahaja | Keselamatan tertinggi | Mengehadkan kebolehcapaian dengan teruk |
Langkah Balas Teknikal dan Batasannya
Pentadbir laman web sedang meneroka pelbagai penyelesaian teknikal selain daripada penyekatan IP mudah. Ada yang menggunakan perkhidmatan seperti Cloudflare untuk penapisan geografi, manakala yang lain melaksanakan peraturan firewall tersuai yang secara automatik menambah rangkaian bermasalah ke senarai sekat. Pendekatan yang lebih canggih termasuk menganalisis corak trafik untuk mengenal pasti rangkaian pusat data berbanding sambungan kediaman, walaupun ini menjadi kompleks dengan peningkatan perkhidmatan proksi kediaman.
Perbincangan komuniti juga mendedahkan taktik pertahanan yang menarik, seperti menyajikan data palsu atau rosak kepada pengikis yang disyaki, melaksanakan bom zip yang menggunakan sumber pengikis, atau menggunakan teknik honeypot untuk mengenal pasti dan menyekat pelakon berniat jahat. Walau bagaimanapun, kaedah ini memerlukan kepakaran teknikal yang ketara dan penyelenggaraan berterusan.
Kesan Infrastruktur Internet yang Lebih Luas
Konflik yang semakin meningkat antara pemilik laman web dan pengikis automatik ini secara asasnya mengubah cara internet beroperasi. Penggunaan meluas penyekatan peringkat geografi dan rangkaian sedang mewujudkan web yang lebih berpecah-belah, di mana akses sangat bergantung pada lokasi dan penyedia rangkaian anda. Sesetengah pentadbir bimbang bahawa trend ke arah penyekatan pertahanan ini akhirnya akan memerlukan sistem berasaskan senarai putih dan bukannya model internet terbuka-secara-lalai semasa.
Situasi ini juga menimbulkan persoalan tentang kemampanan infrastruktur web semasa apabila berhadapan dengan trafik automatik yang semakin canggih. Memandangkan syarikat AI terus mengikis kandungan web untuk data latihan, dan memandangkan langkah pertahanan menjadi lebih agresif, internet mungkin berkembang ke arah sistem yang lebih terhad dan berkompartmen yang mengutamakan keselamatan berbanding akses universal.
Rujukan: The Boston Diaries