Komuniti Apache Iceberg telah secara rasmi mengesahkan spesifikasi V3, menandakan pencapaian penting bagi teknologi rumah data danau. Walau bagaimanapun, perbincangan dalam komuniti pembangun mendedahkan bahawa walaupun spesifikasi ini menjanjikan penambahbaikan besar, laluan ke arah penggunaan meluas menghadapi beberapa halangan pelaksanaan.
Ciri-ciri Utama Apache Iceberg V3:
- Deletion Vectors: Peta bit binari menggunakan pemampatan bitmap Roaring untuk pemadaman peringkat baris yang cekap
- Default Column Values: Evolusi skema serta-merta tanpa penulisan semula fail data
- Row-Level Lineage: Sokongan audit yang dipertingkat dan saluran paip CDC
- Rich Data Types: Jenis VARIANT untuk JSON , jenis GEOMETRY/GEOGRAPHY , cap masa ketepatan nanosaat
Jadual Waktu Keluaran Menimbulkan Kekeliruan Di Kalangan Pengguna
Ahli komuniti secara aktif mencari kejelasan tentang bila ciri-ciri V3 akan benar-benar tersedia. Spesifikasi telah disahkan, tetapi jadual masa pelaksanaan masih tidak jelas kepada ramai pengguna. Versi Apache Iceberg 1.10 dijangka menjadi keluaran pertama yang menyokong ciri-ciri V3, walaupun tidak semua keupayaan akan tersedia serta-merta merentasi enjin pertanyaan berbeza seperti Spark atau Flink. Beberapa ciri V3, termasuk jenis varian dan garis keturunan lajur, telah muncul dalam versi 1.9.0, tetapi tanpa sokongan enjin yang meluas untuk kegunaan praktikal.
Jadual Waktu Pelaksanaan:
- Spesifikasi V3: Disahkan (semasa)
- Apache Iceberg 1.9.0 : Beberapa ciri V3 tersedia (jenis varian, keturunan lajur)
- Apache Iceberg 1.10 : Dijangka sebagai keluaran sokongan penuh V3 yang pertama
- Sokongan Enjin Pertanyaan: Pelancaran beransur-ansur merentasi Spark , Flink , dan enjin-enjin lain
Kebimbangan Kematangan Ekosistem Di Luar Java
Ekosistem Iceberg yang lebih luas menghadapi cabaran kematangan yang ketara di luar persekitaran Java. Pelaksanaan iceberg-rust tidak mempunyai sokongan untuk HDFS, menonjolkan jurang dalam perpustakaan bukan- Java. Corak ini mencerminkan pembangunan sejarah perpustakaan Apache Arrow dan Parquet, di mana ia mengambil masa yang agak lama untuk pelaksanaan merentasi bahasa pengaturcaraan berbeza mencapai pariti ciri.
API penyimpanan peringkat perpustakaan adalah kompleks dan sering agak bocor. Nampaknya agak mungkin bahawa akan ada mungkin tiga perpustakaan yang boleh menulis ke Iceberg ( Java , Python , Rust , mungkin Golang ), manakala yang lain paling baik akan menawarkan akses baca sahaja.
Kerumitan API penyimpanan menunjukkan bahawa hanya bilangan terhad bahasa pengaturcaraan mungkin mencapai keupayaan tulis penuh, berpotensi mengehadkan penggunaan teknologi dalam persekitaran pembangunan yang pelbagai.
Status Sokongan Bahasa:
- Sokongan Penuh Penulisan Dijangka: Java , Python , Rust , berkemungkinan Go
- Sokongan Terhad: Kebanyakan bahasa lain kemungkinan hanya akses baca sahaja
- Had Diketahui: iceberg-rust tidak mempunyai sokongan HDFS
- Dokumentasi: Terutamanya dokumentasi API Java tersedia
Isu Kejelasan Dokumentasi dan Spesifikasi
Maklum balas komuniti menunjukkan bahawa dokumentasi spesifikasi V3 memerlukan penambahbaikan untuk kebolehcapaian yang lebih luas. Walaupun sesetengah pembangun mendapati spesifikasi Iceberg lebih jelas daripada alternatif seperti dokumentasi protokol Delta Lake, yang lain menunjukkan keperluan untuk spesifikasi yang lebih mudah dibaca di luar dokumentasi API Java semasa. Jurang dokumentasi ini mungkin memperlahankan usaha pelaksanaan merentasi platform dan bahasa pengaturcaraan yang berbeza.
Persoalan Kesediaan Pengeluaran Masih Tidak Terjawab
Walaupun janji teknikal ciri-ciri V3 seperti vektor pemadaman dan nilai lajur lalai, komuniti tidak mempunyai laporan pengalaman pengeluaran konkrit. Pengguna tidak sabar untuk memahami implikasi prestasi dunia sebenar, tetapi data ujian pengeluaran yang komprehensif masih terhad kerana pelaksanaan masih dalam proses pelancaran.
Pengesahan Apache Iceberg V3 mewakili kemajuan penting bagi teknologi rumah data danau, tetapi perbincangan komuniti menonjolkan bahawa kelulusan spesifikasi hanyalah permulaan perjalanan pelaksanaan dan penggunaan yang lebih panjang.
Rujukan: A Deeper Dive into Apache Iceberg V3: How New Designs Are Solving Core Data Lake Challenges
 |
|---|
| Imej ini menyerlahkan catatan blog yang membincangkan reka bentuk baharu dalam Apache Iceberg V3, mempamerkan penyelesaian kepada cabaran teras data lake |