AI从训练转向Agent阶段使服务器CPU与GPU配比发生结构性反转，GPU需求下降。CPU/GPU配比从训练早期的1:8提升至Agent阶段的1:2（提升300%）。NVIDIA新架构大幅增加CPU数量，推荐重点布局承担复杂统筹任务的AI基础设施与异构计算领域。
为什么AI服务器在推理和Agent阶段的CPU/GPU配比发生反转？
AI服务器在Agent阶段需要大量处理非并发的统筹任务，导致系统对CPU的依赖激增。在AI发展初期，模型训练需要海量并行计算，GPU作为“肌肉”承担主要运算，CPU仅作为“调度员”负责简单数据分发，此时CPU与GPU的配比通常低至1:8。随着应用进入推理及Agent（智能体）阶段，系统不仅需要生成内容，还要进行逻辑规划、工具调用、上下文记忆和多轮交互。这些复杂的串行逻辑分支任务必须依赖CPU处理，促使CPU从单纯的调度员升级为架构核心。
| 发展阶段 | 核心任务特征 | CPU与GPU配比 | CPU角色定位 |
|---|---|---|---|
| 模型训练阶段 | 密集型矩阵并行计算 | 1 : 8 | 简单数据分发与I/O调度 |
| 模型推理阶段 | 并发响应与初步逻辑处理 | 1 : 3 到 1 : 4 | 请求分发与预处理 |
| Agent智能体阶段 | 复杂逻辑规划与多工具调用 | 接近 1 : 2 | 核心统筹与全流程编排 |
NVIDIA Vera Rubin NVL72的硬件配置如何体现异构计算的新趋势？
NVIDIA Vera Rubin NVL72机架配置了36颗CPU和72颗GPU（配比达1:2），这一硬件规格直接印证了CPU在异构计算中权重的显著提升。NVIDIA在全新架构中翻倍增加CPU占比，根本原因在于单一依赖GPU的算力堆叠已无法满足Agent应用的延迟与协同需求。GPU依然负责底层大规模张量运算，而新增的庞大规模CPU算力被专门用于搭建高并发的AI基础设施底座。这种结构性反转标志着系统设计从“单核暴力计算”向“CPU与GPU紧密协同的异构统筹”演进。
常见问题
AI服务器在Agent场景下为什么需要更多CPU算力？
Agent场景要求模型具备多步规划与外部工具调用能力。相比于纯训练，Agent应用会产生大量非矩阵计算的串行逻辑分支。通常单个复杂Agent任务会触发超过10次以上的工具调用请求，这些高频的系统级调度任务必须依赖CPU进行处理。
NVIDIA Vera Rubin NVL72的具体配置数据说明了什么问题？
NVIDIA Vera Rubin NVL72系统精确配置了36颗CPU与72颗GPU。其1:2的CPU/GPU配比相较于早期1:8的架构实现了300%的CPU占比提升，这直接说明AI基础设施的算力瓶颈正从纯GPU算力向CPU的统筹调度能力转移。
CPU配比提升会如何影响未来AI基础设施的投资方向？
CPU配比提升将推动AI基础设施投资从单一采购GPU向异构计算全栈方案转移。随着推理算力占比超过整体服务器算力需求的60%，投资者应重点关注具备强CPU研发能力、高速总线技术以及多芯片异构封装技术的底层硬件厂商。