对比早期AI训练,RAG流水线中CPU的“找、排、送”耗时已超GPU,算力瓶颈正经历关键转移。
在RAG场景中,CPU的数据检索与搬运耗时已超越GPU推理,成为决定企业AI问答效率的核心瓶颈。
指出RAG场景下CPU流水线耗时远超GPU推理的现状,警示将系统瓶颈误判为GPU不足的投资风险。