NVIDIA Mengungkap Arsitektur Referensi untuk Penyedia Cloud AI

Jakarta, WISATA - NVIDIA baru saja mengumumkan arsitektur referensi baru untuk penyedia cloud yang ingin menawarkan layanan AI generatif kepada pelanggan mereka. Arsitektur referensi ini merupakan cetak biru untuk membangun pusat data yang berkinerja tinggi, skalabel, dan aman yang dapat menangani AI generatif dan model bahasa besar (LLM).

Arsitektur referensi ini memungkinkan Mitra Cloud NVIDIA dalam Jaringan Mitra NVIDIA untuk mengurangi waktu dan biaya penerapan solusi AI, sekaligus memastikan kompatibilitas dan interoperabilitas antara berbagai komponen perangkat keras dan perangkat lunak.

Keunggulan Arsitektur Referensi NVIDIA

Arsitektur ini juga membantu penyedia cloud memenuhi permintaan yang semakin meningkat untuk layanan AI dari berbagai organisasi, baik besar maupun kecil, yang ingin memanfaatkan kekuatan AI generatif dan LLM tanpa harus berinvestasi dalam infrastruktur mereka sendiri.

AI generatif dan LLM mengubah cara organisasi memecahkan masalah kompleks dan menciptakan nilai baru. Teknologi ini menggunakan jaringan saraf dalam untuk menghasilkan keluaran yang realistis dan baru, seperti teks, gambar, audio, dan video, berdasarkan input atau konteks tertentu. AI generatif dan LLM dapat digunakan untuk berbagai aplikasi, seperti kopilot, chatbot, dan pembuatan konten lainnya.

Namun, AI generatif dan LLM juga menghadirkan tantangan signifikan bagi penyedia cloud, yang harus menyediakan infrastruktur dan perangkat lunak untuk mendukung beban kerja ini. Teknologi ini memerlukan daya komputasi, penyimpanan, dan bandwidth jaringan yang besar, serta perangkat keras dan perangkat lunak khusus untuk mengoptimalkan kinerja dan efisiensi.

Tantangan Infrastruktur dan Solusi

Sebagai contoh, pelatihan LLM melibatkan banyak server GPU yang bekerja bersama, berkomunikasi secara terus-menerus antara mereka dan dengan sistem penyimpanan. Ini menghasilkan lalu lintas timur-barat dan utara-selatan di pusat data, yang memerlukan jaringan berkinerja tinggi untuk komunikasi yang cepat dan efisien.

Demikian pula, inferensi AI generatif dengan model yang lebih besar membutuhkan beberapa GPU yang bekerja bersama untuk memproses satu permintaan. Penyedia cloud juga harus memastikan bahwa infrastruktur mereka aman, andal, dan skalabel, karena mereka melayani banyak pelanggan dengan kebutuhan dan harapan yang berbeda. Penyedia cloud juga harus mematuhi standar industri dan praktik terbaik, serta menyediakan dukungan dan pemeliharaan untuk layanan mereka.

Arsitektur referensi Mitra Cloud NVIDIA mengatasi tantangan ini dengan menyediakan solusi perangkat keras dan perangkat lunak lengkap untuk penyedia cloud guna menawarkan layanan dan alur kerja AI untuk berbagai kasus penggunaan. Berdasarkan pengalaman bertahun-tahun NVIDIA dalam merancang dan membangun penerapan skala besar baik secara internal maupun untuk pelanggan, arsitektur referensi ini mencakup:

• Server GPU dari NVIDIA dan mitra manufakturnya, yang menampilkan arsitektur GPU terbaru NVIDIA, seperti Hopper dan Blackwell, yang memberikan daya komputasi dan kinerja yang tak tertandingi untuk beban kerja AI.
• Penawaran penyimpanan dari mitra tersertifikasi, yang menyediakan penyimpanan berkinerja tinggi yang dioptimalkan untuk beban kerja AI dan LLM. Penawaran ini juga mencakup yang diuji dan divalidasi untuk NVIDIA DGX SuperPOD dan NVIDIA DGX Cloud, yang terbukti andal, efisien, dan skalabel.
• Jaringan NVIDIA Quantum-2 InfiniBand dan Spectrum-X Ethernet, yang menyediakan jaringan timur-barat berkinerja tinggi untuk komunikasi yang cepat dan efisien antara server GPU.
• NVIDIA BlueField-3 DPU, yang memberikan konektivitas jaringan utara-selatan berkinerja tinggi dan memungkinkan percepatan penyimpanan data, komputasi GPU elastis, dan keamanan nol kepercayaan.
• Solusi manajemen dalam/bukan manajemen dari NVIDIA dan mitra manajemen, yang menyediakan alat dan layanan untuk penyediaan, pemantauan, dan pengelolaan infrastruktur pusat data AI.
• Perangkat lunak NVIDIA AI Enterprise, termasuk:
• NVIDIA Base Command Manager Essentials, yang membantu penyedia cloud menyediakan dan mengelola server mereka.
• Kerangka kerja NVIDIA NeMo, yang membantu penyedia cloud melatih dan menyempurnakan model AI generatif.
• NVIDIA NIM, satu set layanan mikro yang mudah digunakan yang dirancang untuk mempercepat penerapan AI generatif di seluruh perusahaan.
• NVIDIA Riva, untuk layanan suara.
• Akselerator NVIDIA RAPIDS untuk Spark, untuk mempercepat beban kerja Spark.

Manfaat Utama Arsitektur Referensi NVIDIA

Arsitektur referensi Mitra Cloud NVIDIA menawarkan manfaat utama berikut untuk penyedia cloud:

• Build, Train and Go: Spesialis infrastruktur NVIDIA menggunakan arsitektur ini untuk secara fisik menginstal dan menyediakan klaster untuk penerapan lebih cepat bagi penyedia cloud.
• Kecepatan: Dengan menggabungkan keahlian dan praktik terbaik dari NVIDIA dan mitra vendor, arsitektur ini dapat membantu penyedia cloud mempercepat penerapan solusi AI dan mendapatkan keunggulan kompetitif di pasar.
• Kinerja Tinggi: Arsitektur ini disetel dan diukur dengan tolok ukur standar industri, memastikan kinerja optimal untuk beban kerja AI.
• Skalabilitas: Arsitektur ini dirancang untuk lingkungan cloud-native, memfasilitasi pengembangan sistem AI yang skalabel yang menawarkan fleksibilitas dan dapat berkembang dengan mulus untuk memenuhi permintaan pengguna akhir yang meningkat.
• Interoperabilitas: Arsitektur ini memastikan kompatibilitas antara berbagai komponen arsitektur, membuat integrasi dan komunikasi antar komponen menjadi lancar.
• Pemeliharaan dan Dukungan: Mitra Cloud NVIDIA memiliki akses ke pakar materi pelajaran NVIDIA, yang dapat membantu mengatasi tantangan tak terduga yang mungkin muncul selama dan setelah penerapan.

Arsitektur referensi Mitra Cloud NVIDIA menyediakan cetak biru yang terbukti untuk penyedia cloud dalam membangun dan mengelola infrastruktur yang skalabel berkinerja tinggi untuk data AI.