1

熱搜:

熱門行情

最近搜尋

全部刪除

阿里巴巴讓AI少用輝達GPU 82%!阿里雲宣布全新運算資源整合方案

鉅亨網編譯莊閔棻
阿里巴巴讓AI少用輝達GPU 82%!阿里雲宣布全新運算資源整合方案。(圖:Shutterstock)
阿里巴巴讓AI少用輝達GPU 82%!阿里雲宣布全新運算資源整合方案。(圖:Shutterstock)

阿里巴巴 (09988-HK) 近日推出了一項新的運算資源整合方案,據稱可使其人工智慧(AI)模型所需的輝達 (NVDA-US) 圖形處理器(GPU)數量減少高達 82%。

根據《南華早報》報導,「Aegaeon」已在阿里雲的模型市集中進行超過三個月的測試。

根據研究論文,該系統成功將用於支援多個、參數高達 720 億的 AI 模型所需的輝達 H20 GPU 數量,從 1,192 張大幅減少至 213 張。

研究團隊指出:「Aegaeon 是首個揭示市場上同時服務多個大型語言模型(LLM)所帶來高昂成本的研究成果。」

阿里雲作為阿里巴巴旗下的 AI 與雲端服務核心部門,目前與字節跳動的火山引擎等主要雲端供應商一樣,同時向用戶提供上千個 AI 模型服務,必須處理龐大的應用程式介面(API)請求。

然而,研究顯示,實際上只有少數熱門模型(如阿里的「通義千問」Qwen 與 DeepSeek)被頻繁使用,其餘多數模型僅偶爾被調用。

這導致 GPU 資源利用率偏低。研究發現,在阿里雲的模型市集中,約有 17.7% 的 GPU 僅用來處理 1.35% 的請求。

為了解決這一問題,全球研究人員正積極探索透過 GPU 運算資源整合(computing pooling)提升效率的技術,使單一 GPU 能同時服務多個 AI 模型。

相關貼文

left arrow
right arrow