Trenteknologi.com – Dalam ajang AWS re:Invent, Amazon Web Services, Inc. (AWS), AWS sebagai bagian dari perusahaan Amazon.com, Inc. dan NVIDIA mengumumkan perluasan kolaborasi strategis mereka untuk menghadirkan teknologi infrastruktur, perangkat lunak, dan layanan paling canggih untuk mendukung inovasi kecerdasan buatan (AI) generatif pelanggan.
Kedua perusahaan ini akan menyatukan teknologi terbaik NVIDIA dan AWS—mulai dari sistem multi-node terbaru NVIDIA yang menampilkan GPU, CPU, dan perangkat lunak AI generasi mendatang, hingga virtualisasi dan keamanan tingkat lanjut AWS Nitro System, interkoneksi Elastic Fabric Adapter (EFA), dan UltraCluster skalabilitas—yang ideal untuk melatih model dasar dan membangun aplikasi AI generatif.
Kolaborasi yang diperluas ini dibangun berdasarkan hubungan jangka panjang yang telah mendorong era AI generatif dengan menawarkan pionir pembelajaran mesin (ML) awal kinerja komputasi yang diperlukan untuk memajukan teknologi tercanggih ini.
Sebagai bagian dari perluasan kolaborasi untuk meningkatkan AI generatif di semua industri:
- AWS akan menjadi penyedia cloud pertama yang menghadirkan NVIDIA® GH200 Grace Hopper Superchip dengan teknologi multi-node NVLink™ baru ke cloud. Platform multi-node NVIDIA GH200 NVL32 menghubungkan 32 Superchip Grace Hopper dengan teknologi NVIDIA NVLink dan NVSwitch™ ke dalam satu instance. Platform ini akan tersedia di instans Amazon Elastic Compute Cloud (Amazon EC2) yang terhubung dengan jaringan kuat Amazon (EFA), didukung oleh virtualisasi tingkat lanjut (AWS Nitro System), dan pengelompokan skala besar (Amazon EC2 UltraClusters), yang memungkinkan pelanggan bersama untuk melakukan penskalaan hingga ribuan Superchip GH200.
- NVIDIA dan AWS akan berkolaborasi untuk menyelenggarakan NVIDIA DGX™ Cloud—pelatihan-sebagai-layanan-AI-NVIDIA—di AWS. Ini akan menjadi DGX Cloud pertama yang menampilkan GH200 NVL32, memberikan pengembang memori bersama terbesar dalam satu instans. DGX Cloud on AWS akan mempercepat pelatihan AI generatif mutakhir dan model bahasa besar yang dapat menjangkau lebih dari 1 triliun parameter.
- NVIDIA dan AWS bermitra dalam Project Ceiba untuk membangun superkomputer AI bertenaga GPU tercepat di dunia – sistem berskala besar dengan interkoneksi GH200 NVL32 dan Amazon EFA yang dihosting oleh AWS untuk tim penelitian dan pengembangan NVIDIA sendiri. Superkomputer pertama ini – yang dilengkapi 16.384 Superchip NVIDIA GH200 dan mampu memproses 65 exaflop AI – akan digunakan oleh NVIDIA untuk mendorong gelombang inovasi AI generatif berikutnya.
- AWS akan memperkenalkan tiga instans Amazon EC2 tambahan baru: instans P5e, yang didukung oleh GPU NVIDIA H200 Tensor Core, untuk beban kerja AI dan HPC generatif berskala besar dan mutakhir, serta instans G6 dan G6e, yang didukung oleh GPU NVIDIA L4 dan NVIDIA L40S GPU, masing-masing, untuk berbagai aplikasi seperti penyempurnaan AI, inferensi, beban kerja grafis dan video. Instans G6e sangat cocok untuk mengembangkan alur kerja 3D, digital twins, dan aplikasi lainnya menggunakan NVIDIA Omniverse™, sebuah platform untuk menghubungkan dan membangun aplikasi 3D generatif yang mendukung AI.
“AWS dan NVIDIA telah berkolaborasi selama lebih dari 13 tahun, dimulai dengan cloud GPU pertama di dunia. Saat ini, kami menawarkan solusi GPU NVIDIA terluas untuk beban kerja termasuk grafis, game, komputasi kinerja tinggi, pembelajaran mesin, dan kini AI generatif,” kata Adam Selipsky, CEO di AWS. “Kami terus berinovasi bersama NVIDIA untuk menjadikan AWS tempat terbaik untuk menjalankan GPU, menggabungkan NVIDIA Grace Hopper Superchip generasi berikutnya dengan jaringan kuat EFA AWS, clustering skala besar EC2 UltraClusters, dan kemampuan virtualisasi canggih Nitro.”
“AI Generatif mengubah beban kerja cloud dan menjadikan komputasi yang dipercepat sebagai fondasi pembuatan konten yang beragam,” kata Jensen Huang, pendiri dan CEO NVIDIA. “Didorong oleh misi bersama untuk menghadirkan AI generatif canggih yang hemat biaya kepada setiap pelanggan, NVIDIA dan AWS berkolaborasi di seluruh tumpukan komputasi, yang mencakup infrastruktur AI, perpustakaan akselerasi, model dasar, hingga layanan AI generatif.”
Instans Amazon EC2 Baru Menggabungkan Teknologi Tercanggih dari NVIDIA dan AWS
AWS akan menjadi penyedia cloud pertama yang menawarkan NVIDIA GH200 Grace Hopper Superchip dengan teknologi multi-node NVLink. Setiap Superchip GH200 menggabungkan CPU Grace berbasis Arm dengan GPU arsitektur NVIDIA Hopper™ pada modul yang sama. Satu instans Amazon EC2 dengan GH200 NVL32 dapat menyediakan memori bersama hingga 20 TB untuk mendukung beban kerja skala terabyte.
Instans ini akan memanfaatkan interkoneksi Elastic Fabric Adapter (EFA) generasi ketiga AWS, yang menyediakan throughput jaringan latensi rendah dan bandwidth tinggi hingga 400 Gbps per Superchip, memungkinkan pelanggan untuk menskalakan ribuan Superchip GH200 di UltraClusters EC2.
Instans AWS dengan GH200 NVL32 akan memberi pelanggan akses sesuai permintaan ke kinerja kelas superkomputer, yang sangat penting untuk beban kerja AI/ML skala besar yang perlu didistribusikan ke beberapa node untuk beban kerja AI generatif yang kompleks—mencakup FM, sistem pemberi rekomendasi, dan database vektor.
Instans EC2 yang didukung NVIDIA GH200 akan menampilkan memori HBM3e sebesar 4,5 TB—peningkatan 7,2x dibandingkan instans EC2 P5d yang didukung H100 generasi saat ini—memungkinkan pelanggan menjalankan model yang lebih besar, sekaligus meningkatkan kinerja pelatihan. Selain itu, interkoneksi memori CPU-ke-GPU menyediakan bandwidth hingga 7x lebih tinggi dibandingkan PCIe, memungkinkan komunikasi chip-ke-chip yang memperluas total memori yang tersedia untuk aplikasi.
Instans AWS dengan GH200 NVL32 akan menjadi infrastruktur AI pertama di AWS yang dilengkapi pendingin cair untuk membantu memastikan rak server yang padat dapat beroperasi secara efisien pada kinerja maksimum.
Instans EC2 dengan GH200 NVL32 juga akan mendapatkan keuntungan dari AWS Nitro System, platform dasar untuk instans EC2 generasi berikutnya. Sistem Nitro memindahkan I/O untuk fungsi-fungsi dari CPU/GPU host ke perangkat keras khusus untuk memberikan kinerja yang lebih konsisten, sementara keamanannya yang ditingkatkan melindungi kode dan data pelanggan selama pemrosesan.
AWS Pertama yang Menghosting NVIDIA DGX Cloud Didukung oleh Grace Hopper
AWS akan bekerja sama dengan NVIDIA untuk menghosting NVIDIA DGX Cloud yang didukung oleh infrastruktur GH200 NVL32 NVLink. NVIDIA DGX Cloud adalah layanan superkomputer AI yang memberi perusahaan akses cepat ke superkomputer multi-node untuk melatih model LLM dan AI generatif paling kompleks, dengan perangkat lunak NVIDIA AI Enterprise terintegrasi, dan akses langsung ke pakar AI NVIDIA.
Proyek Besar-Besaran Superkomputer Ceiba untuk Meningkatkan Pengembangan AI NVIDIA
Superkomputer Project Ceiba yang sedang dibangun oleh AWS dan NVIDIA akan diintegrasikan dengan layanan AWS, seperti jaringan terenkripsi Amazon Virtual Private Cloud (VPC) dan penyimpanan blok berkinerja tinggi Amazon Elastic Block Store, sehingga memberi NVIDIA akses ke serangkaian kemampuan AWS yang komprehensif.
NVIDIA akan menggunakan superkomputer tersebut untuk penelitian dan pengembangan guna memajukan AI untuk LLM, grafis dan simulasi, biologi digital, robotika, mobil self-driving, prediksi iklim Earth-2, dan banyak lagi.
NVIDIA dan AWS Tenagai AI Generatif, HPC, Desain dan Simulasi
Untuk mendukung pengembangan, pelatihan, dan inferensi LLM terbesar, instans AWS P5e akan menggunakan GPU H200 terbaru NVIDIA yang menawarkan memori GPU HBM3e sebesar 141 GB, yang 1,8x lebih besar dan 1,4x lebih cepat dibandingkan GPU H100. Peningkatan memori GPU ini, bersama dengan jaringan EFA hingga 3.200 Gbps yang diaktifkan oleh AWS Nitro System, akan memungkinkan pelanggan untuk terus membangun, melatih, dan menerapkan model mutakhir mereka di AWS.
Untuk memberikan solusi hemat biaya dan hemat energi untuk beban kerja video, AI, dan grafis, AWS mengumumkan instans G6e Amazon EC2 baru yang dilengkapi GPU NVIDIA L40S dan instans G6 yang didukung oleh GPU L4. Penawaran baru ini dapat membantu perusahaan rintisan, perusahaan, dan peneliti memenuhi kebutuhan AI dan grafis dengan ketelitian tinggi.
Instans G6e dibuat untuk menangani beban kerja kompleks seperti AI generatif dan aplikasi digital twin. Dengan menggunakan NVIDIA Omniverse, simulasi 3D fotorealistik dapat dikembangkan, dikontekstualisasikan, dan ditingkatkan menggunakan data real-time dari layanan seperti AWS IoT TwinMaker, chatbot cerdas, asisten, pencarian, dan ringkasan. Amazon Robotics dan Amazon Fulfillment Centers akan dapat mengintegrasikan digital twin yang dibangun dengan NVIDIA Omniverse dan AWS IoT TwinMaker untuk mengoptimalkan desain dan aliran gudang, melatih asisten robot yang lebih cerdas, dan meningkatkan pengiriman ke pelanggan.
GPU L40S menghadirkan performa FP8 hingga 1,45 petaflops dan dilengkapi inti Ray Tracing yang menawarkan performa ray-tracing hingga 209 teraflops. GPU L4 yang ditampilkan dalam instans G6 akan memberikan solusi berbiaya rendah dan hemat energi untuk menerapkan model AI untuk pemrosesan bahasa alami, terjemahan bahasa, analisis video dan gambar AI, pengenalan ucapan, dan personalisasi. GPU L40S juga mempercepat beban kerja grafis, seperti membuat dan merender grafis berkualitas sinematik dan streaming game secara real-time. Ketiga instans tersebut akan tersedia di tahun mendatang.
Perangkat Lunak NVIDIA di AWS Meningkatkan Pengembangan AI Generatif
Selain itu, NVIDIA mengumumkan perangkat lunak di AWS untuk meningkatkan pengembangan AI generatif. Layanan mikro NVIDIA NeMo™ Retriever menawarkan alat baru untuk membuat chatbot dan alat ringkasan yang sangat akurat menggunakan pengambilan semantik yang dipercepat. NVIDIA BioNeMo™, kini tersedia di Amazon SageMaker dan hadir di AWS di NVIDIA DGX Cloud, memungkinkan perusahaan farmasi mempercepat penemuan obat dengan menyederhanakan dan mempercepat pelatihan model menggunakan data mereka sendiri.
Perangkat lunak NVIDIA di AWS membantu Amazon menghadirkan inovasi baru pada layanan dan operasinya. AWS menggunakan kerangka kerja NVIDIA NeMo untuk melatih LLM Amazon Titan generasi berikutnya. Amazon Robotics telah mulai memanfaatkan NVIDIA Omniverse Isaac untuk membangun kembaran digital guna mengotomatisasi, mengoptimalkan, dan merencanakan gudang otonomnya di lingkungan virtual sebelum menerapkannya ke dunia nyata.