〈輝達GTC大會〉AWS和NVIDIA擴大合作 推動生成式AI創新
輝達 (NVDA-US) 今 (19) 日舉辦 GTC 大會,合作夥伴亞馬遜 (AMZN-US)AWS 也宣布,將支援 NVIDIA 的最新 AI 頂尖算力 Blackwell GPU 平台,雙方的合作將 AWS 在生成式 AI 創新推向新高度。
AWS 將提供基於 NVIDIA Grace Blackwell GPU 的 Amazon EC2 實例和 NVIDIA DGX Cloud,以提高在數萬億參數 LLM 上建構和運行推論的效能。
NVIDIA 的超強運算晶片系統與 AWS 強大的 Elastic Fabric Adapte(EFA) 網路連接能力、高級虛擬化 (Amazon Nitro System) 和超大規模叢集 (Amazon EC2 UltraClusters) 等領先技術的結合,使得該平台在加速資源密集型、數萬億參數語言模型的推論工作負載方面實現了巨大進步。
在安全性方面,AWS 的 Nitro 系統、AWS KMS、EFA 加密和 Blackwell 加密的整合將為客戶提供對其訓練資料和模型權重的端到端控制,進而為客戶在 AWS 上的生成式 AI 應用程式提供更強的安全性。
Blackwell 也加入了雙方合作的 Project Ceiba,該專案專為 NVIDIA 自身的 AI 研發工作設計,是一台 AWS 上託管的採用 DGX Cloud 的 AI 超級電腦,它搭載 20,736 顆 GB200 Superchips 晶片,並透過第四代 EFA 網路擴展,為每個 Superchip 提供高達 800 Gbps 的低延遲、高頻寬網路傳輸量,能夠提供 414 exaflops 的運算能力,與之前計畫在 Hopper 架構上建構的 Ceiba 相比,效能提升了 6 倍。