GPU推理减负将KV Cache转交CPU,异构系统里的内存调度为何如此关键?

AI推理阶段KV Cache等任务转向CPU,凸显了异构计算系统中统筹CPU、内存与互联协同的重要性。

2026年06月01日 14:30 · 3 分钟 · 1045 字