〈AWS雲端年會〉推出第二代AI訓練晶片 運算速度提升4倍
Tag
亞馬遜 (AMZN-US) 旗下 Amazon Web Services(AWS) 本周舉辦 re:Invent 年度大會,執行長 Adam Selipsky 今 (28) 日宣布推出第二代 AI 訓練晶片 Trainium 2,能夠以更低的成本、更低的能源消耗加速生成式 AI 訓練,與上代相比,運算速度提升 4 倍。
Adam Selipsky 指出,生成式 AI 在海量資料中進行訓練,且須以數千台電腦同時運算數周,不過,客戶希望能夠以更低的成本、更快地訓練模型,並減少模型運算時的工作負載,降低能源消耗,因此公司推出新一代客製化晶片 (ASIC)。
AWS Trainium 2 延續上一代深度機器學習 (ML) 架構,協助客戶使用現有知識去訓練模型,目前一共提供 32 個模型給客戶,用於生成文字、圖片、程式碼、問題答覆等。
另外,AWS 此次也推出新一代 Arm 架構處理器 Graviton 4,不僅處理器核心多出 50%,記憶體頻寬也增加 75%,運算、存儲速度分別提升 30%、40%,將在 Amazon EC2 R8g 上執行,用於大數據分析,預計未來幾個月將上市。