为什么AI服务器在推理和Agent阶段的CPU/GPU配比发生反转？

AI服务器在Agent阶段需要大量处理非并发的统筹任务，导致系统对CPU的依赖激增。在AI发展初期，模型训练需要海量并行计算，GPU作为“肌肉”承担主要运算，CPU仅作为“调度员”负责简单数据分发，此时CPU与GPU的配比通常低至1:8。随着应用进入推理及Agent（智能体）阶段，系统不仅需要生成内容，还要进行逻辑规划、工具调用、上下文记忆和多轮交互。这些复杂的串行逻辑分支任务必须依赖CPU处理，促使CPU从单纯的调度员升级为架构核心。

NVIDIA Vera Rubin NVL72的硬件配置如何体现异构计算的新趋势？

NVIDIA Vera Rubin NVL72机架配置了36颗CPU和72颗GPU（配比达1:2），这一硬件规格直接印证了CPU在异构计算中权重的显著提升。NVIDIA在全新架构中翻倍增加CPU占比，根本原因在于单一依赖GPU的算力堆叠已无法满足Agent应用的延迟与协同需求。GPU依然负责底层大规模张量运算，而新增的庞大规模CPU算力被专门用于搭建高并发的AI基础设施底座。这种结构性反转标志着系统设计从“单核暴力计算”向“CPU与GPU紧密协同的异构统筹”演进。

常见问题

AI服务器在Agent场景下为什么需要更多CPU算力？

Agent场景要求模型具备多步规划与外部工具调用能力。相比于纯训练，Agent应用会产生大量非矩阵计算的串行逻辑分支。通常单个复杂Agent任务会触发超过10次以上的工具调用请求，这些高频的系统级调度任务必须依赖CPU进行处理。

NVIDIA Vera Rubin NVL72的具体配置数据说明了什么问题？

NVIDIA Vera Rubin NVL72系统精确配置了36颗CPU与72颗GPU。其1:2的CPU/GPU配比相较于早期1:8的架构实现了300%的CPU占比提升，这直接说明AI基础设施的算力瓶颈正从纯GPU算力向CPU的统筹调度能力转移。

CPU配比提升会如何影响未来AI基础设施的投资方向？

CPU配比提升将推动AI基础设施投资从单一采购GPU向异构计算全栈方案转移。随着推理算力占比超过整体服务器算力需求的60%，投资者应重点关注具备强CPU研发能力、高速总线技术以及多芯片异构封装技术的底层硬件厂商。

延伸阅读

• AI从训练走向Agent阶段推升CPU配比，基础设施算力系统的投资拐点是否已到来？
• AI基础设施CPU与GPU配比大幅重构，算力系统升级背景下哪些标的将核心受益？
• AI算力从训练走向推理与执行，CPU与GPU配比重构将如何改写服务器竞争格局？