〈AWS雲端年會〉擴大與輝達合作 為首家提供GH200雲端供應商
Tag
亞馬遜 (AMZN-US) 旗下 Amazon Web Services(AWS) 本周舉辦 re:Invent 年度大會,執行長 Adam Selipsky 今 (28) 日宣布擴大與輝達 (NVDA-US) 策略合作,AWS 將成為第一家提供 GH200 的雲端供應商,支援客戶生成式 AI 應用。
輝達執行長黃仁勳今日現身站台支持,除了宣布將 GH200 導入 AWS 外,也宣布 DGX Cloud 服務將在 AWS 平台上運行,將加速生成式 AI 開發,並訓練超過 1 兆個參數的大型語言模型 (LLM)。
Adam Selipsky 表示,AWS 是首家將 GPU 導入雲端的供應商,與輝達合作超過 13 年,今年為滿足高效能運算 (HPC)、機器學習 (ML) 與生成式 AI 等應用,將提供更廣泛的輝達 GPU 解決方案,進一步將超級晶片 GH200 導入雲端。
Adam Selipsky 說,此次將 32 顆 GH200 透過 NVLink 與 NVSwitch 技術相互連接,並在自家 Amazon EC2 運行,再結合 Nitro 虛擬化功能與超大規模叢集 (UltraClusters),讓 AWS 成為 GPU 運算的最佳環境,預計最多可以擴展到數千個 GH200。
此外,AWS 也與輝達合作,推出首個 GH200 組合而成的 DGX Cloud 超級電腦,為開發者提供單一執行個體中最多的共用記憶體,並提供客戶訓練參數超過 1 兆個的大型語言模型。
同時,輝達也宣佈在 AWS 平台上推出 AI 軟體 NeMo Retriever,便於客戶開發生成式 AI,如創造高精準度的聊天機器人,以及運用加速語意檢索技術的歸納工具,目前已獲製藥公司採用。