Normalizing Flows, yang dahulunya dianggap sebagai pendekatan yang menjanjikan tetapi diabaikan dalam penjanaan imej AI, kini membuat kemunculan semula yang dramatik. Model TarFlow baharu Apple telah mencapai sesuatu yang dianggap mustahil oleh ramai: menyamai kualiti model diffusion yang popular sambil menetapkan rekod baharu untuk anggaran kemungkinan pada imej.
Kejayaan ini mewakili perubahan ketara dalam cara kita berfikir tentang penjanaan imej AI. Walaupun kebanyakan kemajuan terkini memfokuskan kepada model diffusion, TarFlow menunjukkan bahawa normalizing flows boleh bersaing pada tahap tertinggi apabila diberi skala yang sesuai dan teknik moden.
Perbandingan Prestasi:
- TarFlow : Aliran penormalan pertama yang mencapai sub-3.2 bit per dimensi pada ImageNet 64×64
- Terbaik sebelumnya: 2.99 bit per dimensi (model difusi hibrid)
- Kualiti sampel setanding dengan model difusi buat kali pertama dengan aliran penormalan kendiri
 |
|---|
| Tangkapan skrin kertas penyelidikan bertajuk " Normalizing Flows are Capable Generative Models ," yang menyerlahkan fokus kepada metodologi penjanaan imej AI |
Skala Membuat Perbezaan
Wawasan utama yang mendorong kejayaan TarFlow adalah skala. Model normalizing flow sebelum ini secara mengejutkan adalah kecil berbanding dengan rakan diffusion mereka. Model terdahulu seperti DenseFlow dan MaCow menggunakan kurang daripada 200 juta parameter, manakala model diffusion moden secara rutin menggunakan beberapa bilion parameter. TarFlow merapatkan jurang ini dengan model yang berkisar dari 472 juta hingga 820 juta parameter, dengan kerja susulan yang menolak kepada 3.8 bilion parameter.
Pendedahan skala ini menunjukkan bahawa normalizing flows bukanlah terhad secara semula jadi - mereka hanya kurang dilatih dan kurang sumber berbanding dengan pendekatan lain.
Saiz Model TarFlow:
- Model AFHQ-256: ~472M parameter
- Model ImageNet: ~820M parameter
- Susulan StarFlow: 3.8B parameter
- Normalizing flows terdahulu (DenseFlow, MaCow): <200M parameter
Kelebihan Teknikal dan Pertukaran
TarFlow menggabungkan seni bina transformer dengan penjanaan autoregressive, memproses tampalan imej secara berurutan sambil bersilih ganti arah antara lapisan. Pendekatan ini menawarkan beberapa faedah unik berbanding model diffusion, terutamanya dalam penjanaan deterministik dan pengiraan kemungkinan tepat.
Walau bagaimanapun, sifat berurutan mewujudkan cabaran prestasi. Model ini memerlukan saiz kumpulan yang besar untuk menggunakan paralelisme GPU dengan berkesan, menjadikannya kurang cekap untuk penjanaan imej tunggal berbanding model diffusion yang boleh memproses keseluruhan imej secara serentak.
Potensi Pelaksanaan AI Tempatan
Perbincangan mengenai TarFlow telah mencetuskan perbualan yang lebih luas tentang menjalankan model AI secara tempatan pada peranti. Walaupun perkakasan mudah alih semasa bergelut dengan model yang memerlukan setara dengan kad grafik 400 dolar Amerika untuk prestasi yang selesa, sifat deterministik normalizing flows boleh menawarkan kelebihan untuk penggunaan peranti.
Tempatan tidak membebankan kos kepada syarikat, dan meningkatkan keperluan perkakasan minimum yang perlu dibeli oleh pelanggan.
Faedah privasi pemprosesan tempatan kekal menarik, walaupun keperluan perkakasan menimbulkan cabaran untuk penggunaan meluas dalam tempoh terdekat.
Keperluan Perkakasan untuk AI Tempatan:
- Inferens tempatan yang selesa: ~kad grafik setara $400 USD
- Keupayaan mudah alih semasa: model parameter 3B-5B
- Contoh prestasi: pemprosesan gesaan 35 token/saat, decode 7-8 token/saat pada Android flagship
 |
|---|
| Perbincangan kolaboratif mengenai pelaksanaan AI, menonjolkan potensi untuk penyelesaian pemprosesan AI tempatan |
Respons Komuniti Penyelidikan
Komuniti pembelajaran mesin telah memberi respons positif terhadap demonstrasi TarFlow bahawa seni bina alternatif layak mendapat perhatian yang diperbaharui. Penyelidik sudah melaksanakan pendekatan ini dalam pelbagai rangka kerja dan meneroka sambungan kepada algoritma lain seperti GLOW.
Kerja ini berfungsi sebagai peringatan bahawa tumpuan bidang kepada model diffusion mungkin telah menyebabkan pendekatan lain yang menjanjikan ditinggalkan secara pramatang. Kejayaan TarFlow menunjukkan bahawa dengan sumber yang sesuai dan teknik moden, banyak kaedah lapuk mungkin terbukti mengejutkan kompetitif.
Nota: Normalizing flows adalah model pembelajaran mesin yang mengubah taburan kebarangkalian mudah kepada yang kompleks melalui transformasi boleh balik. Penjanaan autoregressive bermaksud model mencipta output langkah demi langkah, dengan setiap langkah bergantung kepada langkah sebelumnya.