一图速览DeepSeek V4 Attention结构
这篇文章用结构图梳理了 DeepSeek V4 的注意力机制，重点拆解了 Heavily Compressed Attention（HCA）和 Compressed Sparse Attention（CSA）两种形态。作者说明了压缩 KV 的生成方式、APE 在压缩块内的作用、压缩后再施加位置编码的原因，以及 window KV 与 compress KV、indexer 与 sparse attn 之间的关系，还指出了共享 KV MQA 与 MLA 在计算路径上的区别。文章最后补充了实现来源主要参考 HuggingFace 版本，并提醒开源推理框架可能做了额外优化，适合在理解模型结构时把握“论文/实现/推理框架”之间的边界。
推荐收录，因为它不是泛泛介绍注意力概念，而是把 DeepSeek V4 的具体结构拆成可读的计算流程，帮助读者建立对压缩注意力、稀疏注意力和位置编码配合方式的直观理解。对于研究模型架构、阅读开源实现或分析推理优化的人，这类“结构图 + 细节解释 + 边界说明”的内容具有较强的迁移价值。