華為在「AI 容器應用落地與發展論壇」上，正式發布了革命性的 AI 容器技術——Flex:ai。值得注意的是，這項技術的發布，讓人想到輝達 (NVDA-US) 在 2024 年以 7 億美元收購的以色列 AI 基礎設施公司 Run:ai，其核心產品正是具備類似功能的軟體平台。

這項技術的核心價值在於透過對 GPU、NPU 等智慧算力資源的精細化管理與智慧調度，實現 AI 工作負載與算力資源的高度匹配，預計將大幅提升整體算力集群的利用效率。

據悉，輝達 2024 年斥資 7 億美元收購了以色列 AI 基礎設施公司 Run:ai，其核心產品正是具備類似功能的軟體平台，同樣基於 Kubernetes 構建，旨在優化 GPU 資源的動態調度和池化，確保深度學習任務的高效運行。

華為此次推出的 Flex:ai，在虛擬化與智慧調度等關鍵領域，相較於 Run:ai 的核心產品實現了進一步的突破。

當前，業界算力資源的平均使用率僅在三至四成之間，甚至更低。這種低效率的痛點主要來自兩個極端：小模型任務獨佔整張算力卡造成資源閒置，而大型模型任務則受限於單機算力不足。

此外，大量缺乏 GPU 或 NPU 的通用伺服器也處於算力「休眠」狀態，未能有效參與 AI 計算。Flex:ai 的目標，正是要喚醒並高效利用這些沉睡的算力資源。

華為本次發布並同步開源的 Flex:ai XPU 池化與調度軟體，正是基於業界廣泛採用的 Kubernetes 容器編排平台構建。為了解決業界難題，華為與國內頂尖學府展開深度合作，共同打造了三大核心技術：

針對 AI 小模型訓練或推理場景中常見的「一張卡跑一個任務」資源浪費現象，華為聯合上海交通大學研發了創新的 XPU 池化框架。這項技術能夠將單張 GPU 或 NPU 算力卡精準切分為多份虛擬算力單元，切分粒度可精確至 10%。

透過彈性靈活的資源隔離技術，實現了「用多少，切多少」，使單卡能同時承載多個 AI 工作負載，有效將此類場景下的整體算力平均利用率提升約三成，極大提高了單卡服務能力。

為了解決大量通用伺服器缺乏智慧運算單元、難以服務 AI 工作負載的問題，華為與廈門大學聯合研發了跨節點拉遠虛擬化技術。該技術將集群內各節點的空閒 XPU 算力聚合，形成一個「共享算力池」。

如此一來，不僅能為高算力需求的 AI 工作負載提供充足支撐，更能讓不具備智能計算能力的通用伺服器，透過高速網路將 AI 工作負載轉發到遠端資源池中的 GPU/NPU 算力卡上執行，從而促進通用計算資源與智能算力的有效整合。

面對算力集群中多品牌、多規格異構算力資源難以統一調度的困境，華為則與西安交通大學共同打造了 Hi Scheduler 智慧調度器。

此調度器具備自動感知集群負載與資源狀態的能力，並結合 AI 工作負載的優先權、算力需求等多維參數，對本地及遠端的虛擬化 GPU、NPU 資源進行全局優化調度，實現 AI 工作負載對資源的分時復用，最大化集群的協同效應。

華為公司副總裁、數據存儲產品線總裁周躍峰博士指出，Flex:ai 的發布，核心目標是推動 AI 平民化。

他強調，過去 AI 產業化落地往往受限於小集群算力卡不足和調度困難，Flex:ai 的虛擬化能力能夠將一張卡虛擬成多張卡，以更小的算力單元進行調度，從而讓每一張卡的算力能力充分釋放，讓更多普通用戶和小型科室也能享受到 AI 算力的便利與高效。

本次發布的 Flex:ai 將同步開源於魔擎社群中，華為希望透過開源的模式，推動形成以 AI 容器技術為載體的資源高效利用新範式。