企业知识库RAG场景中，算力瓶颈已从GPU向CPU转移。GPU推理耗时占比降至20%，而CPU数据准备耗时飙升至70%（+150%），优化异构系统成为核心方向。
为什么在RAG架构中GPU沦为配角，而CPU耗时反而成为新瓶颈？
在RAG（检索增强生成）架构中，CPU主导了数据准备环节，而GPU只负责最后的生成，导致CPU耗时远超GPU。早期纯模型训练中，算力几乎全部依赖GPU矩阵运算；但在RAG场景下，输入提示词需要经过数据解析、向量化检索、重排序等繁杂步骤，这些工作全部由CPU承担。
| 硬件分工 | RAG流水线具体任务 | 平均耗时占比 |
|---|---|---|
| CPU | 文档解析、切片、向量检索、重排序、任务调度 | 70% |
| GPU | 上下文编码与最终文本生成推理 | 20% |
| I/O与网络 | 分布式节点间数据传输与内存读取 | 10% |
如表所示，CPU的数据准备耗时占比高达70%，成为真正的算力瓶颈。CPU负责“找、排、送”，就像后厨洗菜切菜；GPU负责“算”，就像下锅爆炒。洗菜切菜耗时远超爆炒，导致GPU经常处于闲置等待状态。
算力瓶颈从早期纯模型训练向RAG数据流水线转移的原因是什么？
早期纯模型训练是计算密集型任务，核心瓶颈在于GPU的浮点运算能力。企业级RAG应用引入了海量外部知识库，每次触发提问，CPU都要实时处理非结构化数据。CPU需要将数十万字的文档切碎、转化为多维向量，并在毫秒级完成数据库匹配与重排序，再送入显存。
RAG数据流水线的极限吞吐量受制于CPU的多核并发处理能力与内存带宽。如果CPU线程调度缓慢或内存吞吐不足，即便部署顶级GPU集群，也无法提升RAG系统的响应速度。异构系统（CPU+GPU）的整体协同效率，已经取代单一GPU算力，成为决定现代AI应用性能的关键指标。
常见问题
在RAG系统中增加更多GPU能否提升整体问答响应速度？
不能。增加GPU无法提升RAG响应速度。当GPU推理占比已降至20%时，瓶颈卡在CPU端的切片与向量检索（占比70%），单纯堆叠算力只会让GPU空闲等待加剧，必须同步升级CPU核数与内存带宽。
RAG流水线中的“异构系统”具体指代什么样的硬件搭配？
异构系统指将不同架构处理器组合协同的硬件集群。在RAG场景中，特指“强CPU（多核高主频）+ 大内存 + GPU”的组合，利用CPU处理复杂的逻辑控制与检索排序，GPU专注并行矩阵计算，综合效率比纯GPU提升超40%。
为什么早期纯模型训练没有暴露出CPU和内存的瓶颈问题？
因为早期大模型训练无需实时处理外部请求。纯训练阶段数据是离线预处理好的，系统只需将静态数据集喂给GPU运算；而RAG是实时在线服务，CPU必须即时处理海量不可预测的外部文档，导致CPU负载瞬间飙升数百倍。