Transkripsi audio tempatan menggunakan model Whisper daripada OpenAI telah mendapat sambutan yang ketara dalam kalangan pembangun yang mencari alternatif berfokuskan privasi kepada perkhidmatan awan. Walaupun pelaksanaan asas adalah mudah, komuniti pembangun telah menemui beberapa teknik lanjutan yang meningkatkan ketepatan dan prestasi secara mendadak.
Prapemprosesan Membuat Perbezaan Besar
Peningkatan yang paling berkesan datang daripada prapemprosesan audio yang betul sebelum memasukkan fail ke Whisper . Menukar fail audio kepada format WAV 16kHz menyediakan keadaan pemprosesan yang optimum. Menambah penapis laluan rendah dan laluan tinggi menghilangkan bunyi bukan pertuturan yang boleh mengelirukan model. Langkah prapemprosesan ini sahaja boleh mengurangkan ralat transkripsi dengan ketara dan meningkatkan kualiti keseluruhan.
Voice Activity Detection (VAD) telah muncul sebagai alat prapemprosesan yang penting. Dengan menggunakan Silero VAD untuk mengenal pasti cap masa di mana penutur benar-benar bercakap, pembangun boleh mengelakkan salah satu kelemahan terbesar Whisper - menghasilkan teks khayalan semasa tempoh senyap. Walau bagaimanapun, VAD memerlukan penalaan yang teliti untuk mencegah segmen audio daripada dipotong secara tidak sesuai.
Pengoptimuman Khusus Perkakasan Memberikan Peningkatan Kelajuan yang Besar
Pengoptimuman khusus platform boleh memberikan peningkatan prestasi yang mendadak. Pengguna Mac yang menjalankan pemproses Apple Silicon boleh mencapai peningkatan kelajuan yang luar biasa dengan menggunakan model whisper-mlx daripada Hugging Face , yang direka khusus untuk Neural Engine Apple . Seorang pembangun melaporkan peningkatan prestasi 22 kali ganda apabila beralih kepada model yang dioptimumkan ini.
Untuk sistem dengan GPU NVIDIA , pecutan GPU biasanya memberikan peningkatan kelajuan 2-3 kali ganda berbanding pemprosesan CPU sahaja. Walau bagaimanapun, pengurusan memori menjadi kritikal apabila bekerja dengan model yang lebih besar atau fail audio yang lebih panjang.
Pengoptimuman Khusus Perkakasan
- Mac ( Apple Silicon ): Gunakan model whisper-mlx untuk peningkatan kelajuan sehingga 22x ganda
- NVIDIA GPU: 2-3x lebih pantas berbanding pemprosesan CPU sahaja
- Sistem CPU sahaja: Kekalkan dengan model "base" untuk kecekapan sumber
- Tesla A100: Boleh mengendalikan model besar tanpa masalah memori
Pascapemprosesan dan Diarisasi Menambah Kemasan Profesional
Komuniti telah mendapati bahawa pascapemprosesan transkripsi melalui Large Language Models tempatan boleh membersihkan output teks dengan ketara. Malah model parameter 12-14 bilion yang sederhana boleh mengenal pasti dan membetulkan ralat transkripsi biasa, meningkatkan kualiti hasil akhir dengan ketara.
Diarisasi penutur - keupayaan untuk mengenal pasti penutur yang berbeza dalam perbualan - telah menjadi semakin mudah diakses. Dua perpustakaan menonjol dalam perbincangan komuniti: pyannote/speaker-diarization-3.1 daripada Hugging Face dan perpustakaan ringan senko . Walaupun pyannote menawarkan ketepatan yang lebih tinggi, senko memproses audio dalam beberapa saat berbanding berjam-jam, menjadikannya lebih praktikal untuk kebanyakan kes penggunaan.
Saya mendapati bahawa ketepatan/kejayaan meningkat dengan ketara apabila saya menambah pascapemproses LLM walaupun dengan model bersaiz sederhana 12-14b.
Perpustakaan Speaker Diarization yang Disyorkan
- pyannote/speaker-diarization-3.1: Ketepatan yang lebih tinggi tetapi pemprosesan yang lebih perlahan (berjam-jam untuk audio yang panjang)
- senko: Pemprosesan ultra pantas (beberapa saat) tetapi ~10% kadar ralat perkataan
- whisper-standalone-win: Integrasi Whisper dengan diarization terbina dalam untuk pengguna Windows
Pemprosesan Kelompok dan Pengurusan Memori
Untuk pengguna yang memproses jumlah audio yang besar, strategi pemprosesan kelompok membantu menguruskan sumber sistem dengan berkesan. Memproses fail dalam bahagian yang lebih kecil yang sepadan dengan cap masa VAD mencegah limpahan memori sambil mengekalkan kualiti transkripsi. Menetapkan pembolehubah persekitaran seperti OMP_NUM_THREADS kepada 1 boleh mengoptimumkan penggunaan CPU untuk operasi benang tunggal.
Pemilihan saiz model Whisper menjadi penting untuk persekitaran yang terhad sumber. Walaupun model asas menawarkan keseimbangan yang baik antara kelajuan dan ketepatan untuk kebanyakan pengguna, mereka yang mempunyai perkakasan yang mencukupi boleh mendapat manfaat daripada ketepatan superior model large-v2 pada audio yang mencabar.
Perbandingan Prestasi Model Whisper
| Model | Saiz | Masa Pemprosesan (audio 1 jam) | Ketepatan | Kes Penggunaan Terbaik |
|---|---|---|---|---|
| Tiny | 39 MB | 15 minit | 60% | Ujian pantas |
| Base | 74 MB | 35 minit | 70% | Kegunaan am |
| Small | 244 MB | 1.5 jam | 80% | Kualiti tinggi |
| Medium | 769 MB | 3 jam | 83% | Ketepatan profesional |
| Large-v2 | 1550 MB | Berubah-ubah | 90%+ | Ketepatan terbaik |
Integrasi dengan Aliran Kerja Sedia Ada
Fleksibiliti penyelesaian transkripsi tempatan membolehkan integrasi yang lancar ke dalam aliran kerja pembangunan sedia ada. Sesetengah pembangun telah mencipta saluran paip lengkap yang mengendalikan segala-galanya daripada penukaran audio kepada pembersihan teks akhir secara automatik. Yang lain telah membina alat khusus untuk kes penggunaan tertentu, seperti menghilangkan iklan daripada transkripsi podcast.
Konsensus komuniti mencadangkan untuk bermula dengan pelaksanaan asas dan secara beransur-ansur menambah pengoptimuman berdasarkan keperluan khusus. Pendekatan ini membolehkan pembangun memahami kesan setiap komponen sambil membina sistem transkripsi yang semakin canggih yang disesuaikan dengan keperluan mereka.
Rujukan: Python Audio Transcription: Convert Speech to Text Locally