NVIDIA Mengungkap Arsitektur Referensi untuk Penyedia Cloud AI
- blogs.nvidia.com
Sebagai contoh, pelatihan LLM melibatkan banyak server GPU yang bekerja bersama, berkomunikasi secara terus-menerus antara mereka dan dengan sistem penyimpanan. Ini menghasilkan lalu lintas timur-barat dan utara-selatan di pusat data, yang memerlukan jaringan berkinerja tinggi untuk komunikasi yang cepat dan efisien.
Demikian pula, inferensi AI generatif dengan model yang lebih besar membutuhkan beberapa GPU yang bekerja bersama untuk memproses satu permintaan. Penyedia cloud juga harus memastikan bahwa infrastruktur mereka aman, andal, dan skalabel, karena mereka melayani banyak pelanggan dengan kebutuhan dan harapan yang berbeda. Penyedia cloud juga harus mematuhi standar industri dan praktik terbaik, serta menyediakan dukungan dan pemeliharaan untuk layanan mereka.
Arsitektur referensi Mitra Cloud NVIDIA mengatasi tantangan ini dengan menyediakan solusi perangkat keras dan perangkat lunak lengkap untuk penyedia cloud guna menawarkan layanan dan alur kerja AI untuk berbagai kasus penggunaan. Berdasarkan pengalaman bertahun-tahun NVIDIA dalam merancang dan membangun penerapan skala besar baik secara internal maupun untuk pelanggan, arsitektur referensi ini mencakup:
- Server GPU dari NVIDIA dan mitra manufakturnya, yang menampilkan arsitektur GPU terbaru NVIDIA, seperti Hopper dan Blackwell, yang memberikan daya komputasi dan kinerja yang tak tertandingi untuk beban kerja AI.
- Penawaran penyimpanan dari mitra tersertifikasi, yang menyediakan penyimpanan berkinerja tinggi yang dioptimalkan untuk beban kerja AI dan LLM. Penawaran ini juga mencakup yang diuji dan divalidasi untuk NVIDIA DGX SuperPOD dan NVIDIA DGX Cloud, yang terbukti andal, efisien, dan skalabel.
- Jaringan NVIDIA Quantum-2 InfiniBand dan Spectrum-X Ethernet, yang menyediakan jaringan timur-barat berkinerja tinggi untuk komunikasi yang cepat dan efisien antara server GPU.
- NVIDIA BlueField-3 DPU, yang memberikan konektivitas jaringan utara-selatan berkinerja tinggi dan memungkinkan percepatan penyimpanan data, komputasi GPU elastis, dan keamanan nol kepercayaan.
- Solusi manajemen dalam/bukan manajemen dari NVIDIA dan mitra manajemen, yang menyediakan alat dan layanan untuk penyediaan, pemantauan, dan pengelolaan infrastruktur pusat data AI.
- Perangkat lunak NVIDIA AI Enterprise, termasuk:
- NVIDIA Base Command Manager Essentials, yang membantu penyedia cloud menyediakan dan mengelola server mereka.
- Kerangka kerja NVIDIA NeMo, yang membantu penyedia cloud melatih dan menyempurnakan model AI generatif.
- NVIDIA NIM, satu set layanan mikro yang mudah digunakan yang dirancang untuk mempercepat penerapan AI generatif di seluruh perusahaan.
- NVIDIA Riva, untuk layanan suara.
- Akselerator NVIDIA RAPIDS untuk Spark, untuk mempercepat beban kerja Spark.
Manfaat Utama Arsitektur Referensi NVIDIA
Arsitektur referensi Mitra Cloud NVIDIA menawarkan manfaat utama berikut untuk penyedia cloud:
- Build, Train and Go: Spesialis infrastruktur NVIDIA menggunakan arsitektur ini untuk secara fisik menginstal dan menyediakan klaster untuk penerapan lebih cepat bagi penyedia cloud.
- Kecepatan: Dengan menggabungkan keahlian dan praktik terbaik dari NVIDIA dan mitra vendor, arsitektur ini dapat membantu penyedia cloud mempercepat penerapan solusi AI dan mendapatkan keunggulan kompetitif di pasar.
- Kinerja Tinggi: Arsitektur ini disetel dan diukur dengan tolok ukur standar industri, memastikan kinerja optimal untuk beban kerja AI.
- Skalabilitas: Arsitektur ini dirancang untuk lingkungan cloud-native, memfasilitasi pengembangan sistem AI yang skalabel yang menawarkan fleksibilitas dan dapat berkembang dengan mulus untuk memenuhi permintaan pengguna akhir yang meningkat.
- Interoperabilitas: Arsitektur ini memastikan kompatibilitas antara berbagai komponen arsitektur, membuat integrasi dan komunikasi antar komponen menjadi lancar.
- Pemeliharaan dan Dukungan: Mitra Cloud NVIDIA memiliki akses ke pakar materi pelajaran NVIDIA, yang dapat membantu mengatasi tantangan tak terduga yang mungkin muncul selama dan setelah penerapan.
