Syarikat Permulaan AI Membina Kluster Storan 30 Petabyte dengan Kos Bulanan 35 Ribu Dolar Amerika Berbanding Kos AWS 1.2 Juta Dolar Amerika

Sebuah makmal penyelidikan AI yang berpangkalan di San Francisco telah menunjukkan penjimatan kos yang dramatik yang mungkin dicapai dengan infrastruktur storan di premis sendiri, membina kluster storan 30 petabyte dengan kos hanya 35,000 dolar Amerika sebulan berbanding anggaran kos Amazon Web Services sebanyak 1.2 juta dolar Amerika sebulan. Projek ini, yang direka untuk menyimpan set data video yang besar untuk latihan model penglihatan komputer, telah mencetuskan perbincangan yang ketara dalam komuniti teknologi mengenai kos tersembunyi dan pertukaran dalam operasi pusat data DIY.

Perbandingan Kos (Bulanan)

Rak pelayan berteknologi tinggi yang mempamerkan cakera keras perusahaan terpakai untuk kluster penyimpanan yang besar-besaran

Faktor Kos Buruh yang Hilang

Kebimbangan paling menonjol yang dibangkitkan oleh komuniti berpusat pada perbelanjaan operasi yang tidak dimasukkan dalam perbandingan kos. Walaupun syarikat permulaan tersebut mengira jumlah kos tahunan mereka pada 354,000 dolar Amerika termasuk susut nilai, pengkritik menunjukkan bahawa gaji kakitangan yang berpangkalan di San Francisco untuk menyelenggara infrastruktur tersebut dengan mudah boleh menggandakan atau meningkatkan tiga kali ganda kos operasi sebenar. Kesilapan ini menyerlahkan perangkap biasa dalam perbandingan awan berbanding di premis di mana kos buruh dikurangkan anggaran atau diabaikan sepenuhnya.

Strategi Sifar Redundansi Menimbulkan Keraguan

Persediaan storan dengan sengaja menghapuskan redundansi data untuk meminimumkan kos, keputusan yang telah memecahbelahkan pendapat komuniti. Pendekatan ini berkesan untuk kes penggunaan khusus mereka untuk menyimpan data latihan yang boleh digantikan dengan mudah, tetapi ramai yang mempersoalkan kebolehgunaannya untuk perniagaan yang memerlukan jaminan integriti data. Komuniti menyatakan bahawa walaupun strategi ini masuk akal untuk mengumpul video dari YouTube , ia tidak akan berkesan untuk kebanyakan organisasi yang memerlukan jaminan bahawa data mereka selamat daripada kegagalan perkakasan atau bencana.

Perjudian Perkakasan Terpakai Membuahkan Hasil

Keputusan pasukan untuk menggunakan 2,400 cakera keras perusahaan terpakai bernilai 500,000 dolar Amerika telah menimbulkan perdebatan yang besar mengenai kebolehpercayaan berbanding penjimatan kos. Ahli komuniti berkongsi pengalaman bercampur dengan cakera terpakai, menyatakan kebolehubahan prestasi yang tinggi dan mempersoalkan kos penyelenggaraan jangka panjang. Walau bagaimanapun, yang lain berhujah bahawa cakera terpakai boleh menjimatkan kos kerana ia telah pun terselamat daripada tempoh kegagalan awal yang biasanya mempengaruhi perkakasan baharu.

Cakera terpakai masuk akal jika menyelenggara pelayan rumah anda adalah hobi. Ia menyeronokkan untuk mendiagnosis dan menyelesaikan masalah dalam pelayan rumah, dan cakera yang gagal memberi saya alasan untuk bekerja pada pelayan.

Syarikat permulaan tersebut melaporkan kadar kegagalan cakera tahunan yang konservatif sebanyak 5%, yang diterjemahkan kepada menggantikan kira-kira 120 cakera setiap tahun - jumlah yang boleh diurus untuk seni bina storan mudah mereka yang dibina dengan hanya 200 baris kod Rust dan pelayan web nginx .

Spesifikasi Perkakasan

Infrastruktur Penyimpanan:

• 2,400 cakera keras (kebanyakannya 12TB terpakai perusahaan SATA/SAS)
• 120 casis dwi SATA/SAS (24 pemacu setiap satu)
• 10 nod kepala CPU ( Intel R2200 series )
• Sambungan internet khusus 100 Gbps

Kos Sekali Sahaja:

• Cakera keras: $500K
• Infrastruktur: $35K
• Rangkaian & pemasangan: $91.5K
• Jumlah pelaburan awal: $626.5K

Semakan Realiti Penyelenggaraan

Perbincangan komuniti mendedahkan bahawa ujian sebenar pendekatan ini terletak pada overhed operasi yang berterusan. Walaupun syarikat permulaan tersebut mendapat manfaat daripada mempunyai pusat data mereka hanya beberapa blok dari pejabat mereka, membolehkan lawatan nyahpepijat dan penyelenggaraan yang cepat, kebanyakan organisasi memerlukan kakitangan operasi khusus. Anggaran mencadangkan sekurang-kurangnya 5 jam mingguan untuk tugas penyelenggaraan, yang boleh memberi kesan ketara kepada pengiraan jumlah kos pemilikan.

Projek ini telah mencapai kapasiti dan pasukan sedang mempertimbangkan untuk mereplikasi persediaan tersebut, menunjukkan bahawa analisis kos-faedah mereka telah terbukti berjaya untuk keperluan khusus mereka. Walau bagaimanapun, konsensus komuniti menunjukkan bahawa walaupun penjimatan kos yang mengagumkan adalah mungkin dengan storan di premis, kerumitan operasi tersembunyi dan kos buruh menjadikan penyelesaian awan lebih praktikal untuk kebanyakan organisasi.

Rujukan: Building the heap: racking 30 petabytes of hard drives for pretraining