显存不够、内存太贵，KV Cache越堆越大：华为给出自己的新解法

📋总体概括

华为针对大模型推理中长期存在的KV Cache膨胀问题提出新的优化方案。随着模型上下文长度不断增长，KV Cache对显存的占用急剧上升，叠加当前显存不足、内存价格高企的行业现状，推理成本压力愈发突出。华为的解法聚焦于在硬件与系统层面重新设计KV Cache的存储与管理方式，旨在以更低成本支撑更长上下文的推理服务，也为国产算力生态在大模型推理环节提供了差异化思路。