破局显存焦虑：新华三推出大模型推理场景加速方案

当前，大模型推理面临的发展困境已不可回避：模型对算力与显存的需求呈指数级增长，然而堆叠GPU硬件所带来的成本与能效压力，严重制约技术的可持续发展。尤其在处理长文本、多轮对话等场景时，模型为保存上下文而生成的KV Cache（键值缓存）会急剧膨胀，不仅大量占用宝贵的GPU显存，更导致大量重复计算，成为制约响应速度、推高运营成本的瓶颈。

直面成本与效率的核心痛点，紫光股份旗下新华三集团打造出效能兼备的大模型推理场景加速方案。通过ASIC芯片提供硬件级加速，将KV Cache从GPU内存卸载到指定存储节点，构建专为AI设计的“下一代内存层”，减轻GPU显存的压力，从而在系统层面实现了存算资源的新平衡。新华三凭借自身强大的硬件集成与全栈优化能力，驱动业内前沿科技与自研AI服务器的创新耦合，经过深度的测试调优最终形成了大模型推理加速的最佳实践，为业界提供了一条性能与成本兼顾的全新推理范式。

从部署形态来看，本方案既支持单机形态部署，直接提高单台AI服务器的推理性能。也支持通过外置存储节点的方式同时对接多台AI服务器，提高集群的推理性能。

为深入探究本方案中KV Cache卸载对推理性能的提升，新华三基于自研高性能AI服务器进行基准测试，重点关注在同一机型上，运行DeepSeek-V3-671B模型时，采用标准推理服务和采用KV Cache卸载加速方案的两种模式下的性能差异，分别构建10K和30K的文本输入，模拟实际应用场景中的多轮对话推理过程，以确保测试结果具有实际参考价值。经多轮验证，采用KV Cache卸载加速方案的推理核心指标显著优化：

• 并发用户数提升200%：在相同TPOT（每个Token生成的平均延迟，ms）限制下，同样的算力资源可支持的并发数显著提升，保障用户体验的同时支持服务更多的用户。

• 推理延迟大幅降低：TTFT（首Token生成的延迟，ms）降低70%，TPOT（每个Token生成的平均延迟，ms）降低30%，大幅缩短响应延迟，提升用户体验。

• 交互式应用（多轮对话）： 如聊天机器人、智能客服等。这类应用中，用户与模型的交互是多轮的，后续轮次的输入通常依赖于前序对话的上下文。通过快速加载存储历史 KV Cache，能够大幅缩短响应延迟，提升用户体验。

• 长上下文处理： 对于需要处理数千甚至数万Tokens上下文的任务（如长文档问答、代码生成、复杂指令理解），GPU内存容量往往成为瓶颈。本方案提供的PB级KV Cache扩展能力，使得处理这类长上下文任务更为从容，避免了因GPU内存不足导致的性能下降或任务失败。

• 高并发推理服务： 在面向大量用户的在线推理服务中，系统需要同时处理多个并发请求。本方案通过高效的KV Cache管理，能够支持更多并发会话，显著提高系统的整体吞吐量（RPS），从而在相同的GPU资源下服务更多用户。

成都强川科技有限公司，专注企业IT服务需求，产品可按需定制。主营：华三服务器、H3C服务器、，以专业的IT解决方案和优质的服务体验赢得企业信赖。QQ：2851150694；服务热线：028-85024766  18215624006（微信同号