7月23日,阿里云宣布其自研真武M890超节点已成功适配旗舰模型Qwen3.8,并正式上线阿里云百炼平台提供模型推理服务。这是国内首个成功运行超2万亿参数大模型的超节点实例。
Qwen3.8是阿里最新旗舰模型,参数规模高达2.4万亿。运行如此规模的模型需要将参数分散到几十甚至上百张高速互联的GPU卡,对通信带宽、显存容量和计算效率提出极高要求。普通AI集群因通信带宽局限,难以满足高吞吐、低延迟、高并发的推理需求。
真武M890是平头哥新一代训推一体AI芯片,原生支持FP32到FP4等多种数据精度,可覆盖高精度训练、低精度和超低精度推理全场景。该超节点实例通过ICN Switch 1.0互联芯片,让64张真武M890实现800GB/s的高速互联,显存规模达到9TB,单实例即可支撑大规模2万亿参数MoE模型的专家并行需求。
此外,阿里从芯片到云平台层面实现了与Qwen模型的全链路优化。实测数据显示,通过算子优化和软硬件架构协同,该超节点实例在Agentic推理场景中最多可实现1.5倍的推理性能提升。这意味着在保持模型精度的同时,推理效率显著提高,推理成本随之降低。
此次适配上线,标志着阿里云在超大规模模型推理基础设施上迈出关键一步,也为国内大模型厂商提供了更高性价比的云端推理方案。