Komuniti teknologi sedang hangat membincangkan sistem perolehan dokumen visual yang memproses dokumen sebagai imej dan bukannya mengekstrak teks melalui kaedah OCR tradisional. Walaupun syarikat seperti Morphik mempromosikan pendekatan ini sebagai revolusioner, pembangun yang telah melaksanakan sistem serupa berkongsi pengalaman bercampur-campur yang mendedahkan potensi dan batasan teknologi ini.
Dokumen Berbilang Halaman Menimbulkan Masalah Ketepatan Yang Besar
Ujian dunia sebenar telah mendedahkan kelemahan kritikal dalam pemprosesan dokumen visual. Pembangun melaporkan bahawa walaupun pengekstrakan satu halaman berfungsi dengan baik, ketepatan menurun secara mendadak apabila berurusan dengan dokumen yang lebih panjang daripada lima halaman. Batasan ini berpunca daripada cabaran asas mengingat kembali konteks panjang melalui imej, yang masih jauh lebih sukar berbanding mengingat kembali berasaskan teks walaupun untuk model bahasa yang canggih.
Isu ini menjadi sangat bermasalah untuk dokumen kompleks seperti kontrak undang-undang atau manual teknikal, di mana maklumat merangkumi berpuluh-puluh halaman dan bahagian berbeza merujuk antara satu sama lain sepanjang dokumen. Dalam kes ini, pendekatan berasaskan teks tradisional sering terbukti lebih dipercayai daripada kaedah berasaskan imej.
Cabaran Teknikal:
- Kekaburan aksara: 0 vs O, l vs I dalam kebanyakan fon
- Ingatan konteks panjang: Imej lebih sukar daripada teks untuk LLM
- Overhed saiz fail: Muat turun yang lebih besar menambah latensi permintaan
- Pemprosesan berbilang halaman: Ketepatan merosot dengan ketara
Pertukaran Kos dan Prestasi Menimbulkan Kebimbangan
Keperluan pengiraan pemprosesan dokumen visual mewujudkan overhed yang besar berbanding sistem berasaskan teks. Imej memerlukan 3 hingga 5 kali lebih banyak token daripada teks mentah apabila diproses pada resolusi yang boleh dibaca, membawa kepada kos inferens yang lebih tinggi dan masa respons yang lebih perlahan. Tambahan pula, saiz fail yang lebih besar menambah latensi kepada setiap permintaan hanya daripada memuat turun imej yang diperlukan.
Cabaran prestasi ini menjadi lebih ketara pada skala besar, di mana perbezaan antara memproses teks dan imej boleh memberi kesan yang ketara kepada responsif sistem dan kos operasi.
Perbandingan Prestasi:
- Pemprosesan visual: 3-5x lebih banyak token berbanding teks mentah
- Peningkatan latensi pertanyaan: 3-4 saat → 50ms (dengan pengoptimuman)
- Penurunan ketepatan: Kemerosotan mendadak selepas dokumen 5+ halaman
- Kesan kos: Kos inferens yang lebih tinggi disebabkan peningkatan penggunaan token
Pendekatan Hibrid Menunjukkan Potensi untuk Aplikasi Praktikal
Beberapa pembangun telah menemui kejayaan dengan kaedah hibrid yang menggabungkan kekuatan kedua-dua pendekatan. Satu strategi berkesan melibatkan penggunaan model penglihatan untuk menukar imej dokumen kepada teks berstruktur dengan penanda semantik, kemudian menggunakan teks yang dipertingkat itu untuk operasi RAG tradisional sambil mengekalkan imej asal tersedia untuk analisis terperinci apabila diperlukan.
Paten adalah sukar kerana ia boleh merangkumi apa sahaja daripada rajah abstrak, formula kimia, hingga persamaan matematik, jadi ia cenderung sangat rumit untuk menyediakan data dengan cara yang kemudiannya boleh digunakan oleh LLM.
Pendekatan ini menangani cabaran teras memelihara maklumat visual sambil mengekalkan kecekapan dan kebolehskalaan sistem berasaskan teks.
Kes Penggunaan Optimum:
- Dokumen kewangan dengan carta dan jadual
- Manual teknikal dengan diagram beranotasi
- Paten dengan elemen visual yang kompleks
- Dokumen satu halaman dengan susun atur yang kaya
- Dokumen di mana konteks visual adalah kritikal
Pengecaman Aksara Kekal Sebagai Isu Asas
Masalah berterusan dengan pemprosesan dokumen berasaskan imej melibatkan membezakan antara aksara yang serupa secara visual. Dalam banyak fon, aksara seperti 0 dan O atau l dan I kelihatan sama, menjadikannya mustahil walaupun untuk manusia membezakannya dengan dipercayai. Ini mewujudkan cabaran khusus untuk dokumen yang mengandungi nombor siri, kod, atau data alfanumerik kritikal lain di mana ketepatan adalah penting.
Walaupun sistem OCR tradisional menghadapi cabaran serupa, ia sering merangkumi konteks tambahan dan mekanisme pengesahan yang boleh membantu menyelesaikan aksara yang samar-samar.
Kesimpulan
Visual document RAG mewakili kemajuan menarik dalam teknologi pemprosesan dokumen, terutamanya untuk dokumen yang sarat dengan carta, rajah, dan susun atur yang kompleks. Walau bagaimanapun, perbincangan komuniti mendedahkan bahawa ia bukan penyelesaian universal. Teknologi ini berfungsi terbaik untuk kes penggunaan khusus yang melibatkan dokumen satu halaman atau pendek dengan kandungan visual yang kaya, manakala pendekatan berasaskan teks tradisional kekal unggul untuk dokumen yang lebih panjang dan sarat teks. Apabila teknologi ini matang, pendekatan hibrid yang memanfaatkan kekuatan kedua-dua kaedah mungkin menawarkan laluan paling praktikal ke hadapan untuk sistem pengeluaran.