在Hot Chips 2026大会上，英伟达披露了新一代平台Vera Rubin NVL72在Agent工作负载下的最新测试结果：在DeepSeek V4-Pro模型、单用户每秒160 Token的交互速度条件下，相比上一代GB300 NVL72，每兆瓦吞吐量最高提升30倍。这一数字本身已相当惊人，但更值得关注的是，英伟达此次提升Agent推理效率，已经不再只依赖一颗更快的GPU，而是将一次推理拆分成不同类型的计算任务，由不同处理器协同完成。
英伟达此次测试采用了SemiAnalysis的AgentX工作负载，该负载基于真实Agent编程会话的流量轨迹，保留了请求长度、上下文增长、工具暂停、子任务依赖和时序等特征。测试的中位输入上下文超过14万Token，远高于传统推理基准常用的8K或32K输入序列。英伟达HPC与AI超大规模基础设施解决方案高级总监Dion Harris指出，传统推理基准围绕单一、可预测的请求设计，而Agent任务跨越多轮操作，每一步工作负载都可能变化，因此评估需要开始考虑数十万Token级别的输入。
在硬件架构上，英伟达将Agent推理的计算任务进行了细分：Vera Rubin NVL72承担大规模模型计算，Groq 3 LPX专攻低延迟Token生成，Vera CPU处理工具编排、代码执行和数据处理，而Spectrum-X网络则负责连接计算、数据和存储资源。这种分工背后是性能目标的差异化：一边是提高单个用户的交互速度，另一边是在有限电力条件下承载更多推理负载。英伟达透露，Groq 3 LPX已进入全面生产，在特定负载下输出速度可达每秒3400个Token，响应速度达到最接近替代方案的4倍。
值得注意的是，英伟达并非用LPX替代GPU，而是将推理内部进一步拆解。例如，在Prefill-Decode拆分中，Rubin处理输入上下文并生成KV Cache，LPX参与后续低延迟生成；另一种方案将Decode内部继续拆分，由Rubin负责Attention计算，LPX负责FFN计算；还可采用推测解码，由LPX运行小型draft model生成候选Token，再由Rubin验证。Harris解释，这是“为工作负载的不同部分选择合适的处理器”，Rubin GPU仍提供最灵活的吞吐和交互能力，LPX则针对极低延迟场景补位。
Agent工作负载带来的变化不仅限于推理芯片内部。模型完成一轮推理后，还需调用工具、执行代码、处理数据，这些都需要CPU参与，因此英伟达强调了Vera CPU的作用。同时，网络层也面临新挑战：用户、Agent、应用、数据源和存储服务需要持续交互，计算系统与基础设施之间的连接可能成为任务关键路径。为此，英伟达提出Scale-In架构，由BlueField-4和DOCA承担网络、存储访问、安全等任务，再通过Spectrum-X接入计算基础设施。此外，Spectrum-X Multiplane通过多个独立网络平面扩大两层网络规模，最高可扩展至51.2万张GPU，在八平面拓扑中，一个平面失效后仍可维持约90%的总带宽，故障恢复速度较软件方案提高11倍。
从Hot Chips的展示可以看出，英伟达正在将优化对象从单颗芯片扩展到整条Agent任务链。GPU仍是AI计算的核心，但围绕它，不同处理器的任务边界正变得更加明确。这种系统级设计面向高并发、长上下文和大规模部署，其实际市场影响仍取决于Agent应用能否产生真实负载，以及复杂异构系统能否带来足够的性能收益。