7月23日,阿里雲宣佈其自研真武M890超節點已成功適配旗艦模型Qwen3.8,並正式上線阿里雲百鍊平台提供模型推理服務。這是國內首個成功執行超2萬億引數大模型的超節點例項。
Qwen3.8是阿里最新旗艦模型,引數規模高達2.4萬億。執行如此規模的模型需要將引數分散到幾十甚至上百張高速互聯的GPU卡,對通訊頻寬、視訊記憶體容量和計算效率提出極高要求。普通AI叢集因通訊頻寬侷限,難以滿足高吞吐、低延遲、高併發的推理需求。
真武M890是平頭哥新一代訓推一體AI晶片,原生支援FP32到FP4等多種資料精度,可覆蓋高精度訓練、低精度和超低精度推理全場景。該超節點例項通過ICN Switch 1.0互聯晶片,讓64張真武M890實現800GB/s的高速互聯,視訊記憶體規模達到9TB,單例項即可支撐大規模2萬億引數MoE模型的專家並行需求。
此外,阿里從晶片到雲平台層面實現了與Qwen模型的全鏈路最佳化。實測資料顯示,通過運算元最佳化和軟硬體架構協同,該超節點例項在Agentic推理場景中最多可實現1.5倍的推理效能提升。這意味著在保持模型精度的同時,推理效率顯著提高,推理成本隨之降低。
此次適配上線,標誌著阿里雲在超大規模模型推理基礎設施上邁出關鍵一步,也為國內大模型廠商提供了更高性價比的雲端推理方案。