KV缓存

DeepSeek通过多项技术创新大幅降低大模型推理中的KV缓存需求，推动中国AI硬件生态发展，目标打造价值10万亿美元的产业巨兽。

本文推荐了5个LLM推理工程实践项目，涵盖KV缓存、量化、注意力优化等关键技术，适合工程师通过动手学习提升系统性能。

LLM推理性能由prefill和decode两个阶段的算力与带宽瓶颈决定，优化需分别针对不同阶段。

LLM推理优化需针对预填充和解码阶段的性能瓶颈，通过内存管理、模型压缩等技术提升吞吐量并降低延迟。

DeepSeek的V4.1-Flash通过减少KV缓存的存储需求，显著降低运营成本。

AI推理依赖模型权重、推理服务器和GPU协同工作，KV缓存优化可降低延迟和成本。

LLM的KV缓存导致内存成本激增，通过分块处理和缓存压缩可降低60%以上内存占用。

ThunderAgent通过优化KV缓存管理，实现单节点吞吐量提升2倍，集群加速2.4倍，解决代理推理中的缓存抖动问题。

七种工程策略可降低LLM推理延迟，量化压缩模型内存75%，键值缓存优化解码阶段，推测解码提升生成速度30%。

小红书团队开源的高效长上下文LLM服务框架通过注意力头分类和分段式KV缓存策略，降低预填充FLOPs约50%-70%。

微软研究院汇总了AI在澄清需求、机器人视觉任务、KV缓存优化等领域的研究方向，但缺乏技术细节和实践案例。