---
title: "DeepSeek V4报告太详尽了！484天换代之路全公开"
source_name: "量子位"
original_url: "https://www.qbitai.com/2026/04/406809.html"
canonical_url: "https://www.traeai.com/articles/81c6583d-0a76-4569-95b1-5081e35b2b14"
content_type: "article"
language: "中文"
score: 9.2
tags: ["DeepSeek","大模型","注意力机制","优化器","开源"]
published_at: "2026-04-25T03:27:22+00:00"
created_at: "2026-04-25T05:49:17.210461+00:00"
---

# DeepSeek V4报告太详尽了！484天换代之路全公开

Canonical URL: https://www.traeai.com/articles/81c6583d-0a76-4569-95b1-5081e35b2b14
Original source: https://www.qbitai.com/2026/04/406809.html

## Summary

DeepSeek V4 技术报告详细解析了其架构升级、开源策略及国产芯片适配，展示百万token上下文优化与核心模块改进。

## Key Takeaways

- 引入mHC强化残差连接，提升大模型训练稳定性。
- 混合注意力机制（CSA/HCA）显著优化长序列处理效率。
- Muon优化器替代AdamW，验证了新工具在大规模训练中的潜力。

## Content

Title: DeepSeek V4报告太详尽了！484天换代之路全公开

URL Source: http://www.qbitai.com/2026/04/406809.html

Markdown Content:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-04-25 11:27:22 来源：[量子位](https://www.qbitai.com/)

mHC用了，Engram留给v5

##### henry 发自 凹非寺

 量子位 | 公众号 QbitAI

DeepSeek V4“迟到”半年，但发布后的好评如潮还在如潮。

中外热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的陪衬。

![Image 1: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/b94f232ea06ac1649dd620832270aa0e.webp)![Image 2: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/0eaf821d8d2c6cf814f787da39dbf6a3.webp)

大家惊叹于DeepSeek在有限条件下作出重大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的决心。

![Image 3: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/3266ca94123d804b75b316294f962a9f.webp)

![Image 4: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/17e4a22001fa13c0fda12cf7cee6a23c.webp)
可以说，一时间信息多的有些超载，但多归多，主线就两条。

第一条，**百万token上下文全面开源，KV cache大幅缩减。**

V4-Pro和V4-Flash，**1.6万亿参数/2840亿参数**，**上下文都是1M**。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。

亚马逊硬件师GPD表示，这意味着DeepSeek可能解决当前的HBM短缺问题。

![Image 5: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/ee4377f4cf825923a4d20b7ef2c84d05.webp)
第二条，**国产芯片适配**，已经支持华为算力，预计下半年昇腾950超节点批量上市。

![Image 6: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/1db8ff2557d0b69516e68f1eaeda2ef4.webp)
此外，大家最关心的，还莫过于在过去四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术报告开源了，可以对一下账。

*   **mHC（流形约束超连接）**：2025年12月31日上传arXiv，梁文锋挂名。进了V4。
*   **Engram（条件记忆模块）**：1月DeepSeek联合北大发布。没进V4，但在未来方向里被点名，留给V5。
*   **DualPipe**：V3老伙计。继续用，针对mHC做了调整。
*   **Muon优化器**：从Kimi那边借的。V4把AdamW替了，接管绝大多数参数的训练。

四个预期，三个落地，一个给下一代。

![Image 7: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/276f50e2ead118a3a80aed7d3b38d58a.webp)
## 整体架构

V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个地方做了升级。

**第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差连接。**

**第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效率问题。**

**第三，采用Muon作为主优化器。**

![Image 8: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/4a30645292af92aea40e72adb0948f81.webp)
MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模块跟V3保持一致。

一些细节微调包括，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。

接下来，我们一个个看。

## mHC，给残差连接加一层约束

残差连接是**何恺明**2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度学习能work的前提。

但模型越来越深、参数越来越多之后，传统残差开始露怯，信号传递不稳，训练容易崩。

![Image 9: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/377dc456a38079c3193a25a8c287f49d.webp)
**先说Hyper-Connections（HC）**，这是Kimi团队之前提出的想法。核心是把残差流从一维变成n_hc条并行通道，每层之间通过一个矩阵B来混合。

A、B、C是三个线性映射。想法很优雅，相当于给残差流增加了一个新的scaling维度。但DeepSeek在堆多层时发现，HC经常出现数值不稳定，训练说崩就崩。

**V4的做法叫mHC**，把矩阵B约束到「双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个好处。

*   矩阵的谱范数天然不超过1，残差传播套上硬上限，爆不起来。
*   这种矩阵在乘法下是封闭的，堆很多层也稳。

输入映射A和输出映射C则通过Sigmoid函数保证非负且有界，避免信号互相抵消。

实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。

听起来贵，但DeepSeek做了fused kernel，再配合选择性recomputation，实测mHC带来的wall-time开销控制在overlapped pipeline的6.7%。

技术判断上，mHC不是那种让人眼前一亮的架构创新，更像是一个「稳得住大模型」的工程补丁。但随着模型深度和参数量继续往上推，这种补丁会变成刚需。

## 混合注意力机制

这是全篇论文最厚的一块，也是「百万token效率」的核心魔法所在。

V4的注意力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做两件事，**先压缩，再稀疏选择**。

![Image 10: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/9e6ecc445460e78a641956c6dc988878.webp)
**第一步，KV压缩。**每m个token的KV entries，通过一个带学习权重的attention-like机制压成一个。

**第二步，lightning indexer + top-k选择。**这部分继承自V3.2的DSA。对每个query token，用一个轻量的indexer计算它和每个压缩KV块的相关性分数。

**第三步，core attention。**在选中的这top-k压缩KV块上做Multi-Query Attention，得到注意力输出。

**第四步，grouped output projection。**因为V4把head dimension c设成了512（比V3.2的128大得多），如果直接把所有head的输出投影回d维会很贵，所以做了分组投影，把n_h个head分成g组，每组先投影到一个中间维度d_g，最后再合并投影回d。

整个CSA等于做了两层压缩。第一层是序列长度压缩，n变成n/m。第二层是稀疏选择，n/m变成top-k。对1M token的序列，原本需要attend 1M个token，现在只需要attend 1024个压缩块。

HCA的思路更简单粗暴，压得更狠，但不做稀疏。

![Image 11: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/c263ad6b1d7bd183aa646dcca0c26d19.webp)
压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。然后对所有压缩后的KV做dense attention。

论文里没有长篇大论地解释CSA和HCA为什么要配对使用，但读完整个architecture章节，能看出它们的分工。

CSA的压缩温和、靠稀疏把关，适合做token-level的精细检索。HCA的压缩凶猛、保持dense，适合做长距离的全局信号汇总。

V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。

此外，论文还透露了几个trick。

**Q/KV normalization。**CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，防止attention logits爆炸。

**Partial RoPE。**只对query和KV entries的最后64维施加旋转位置编码，其余维度不动。

因为KV entries既做key又做value，naive的RoPE会让输出带上绝对位置信息，所以在output端也对应施加一个位置为-i的RoPE来抵消，只保留相对位置信息。这是个巧妙的工程处理。

**Sliding window attention作为辅助分支。**

因为压缩注意力保证严格因果性，一个query token看不到自己压缩块内其他token的信息。为了补偿近距离依赖，V4额外加了一个sliding window分支，每个query除了看压缩KV之外，还能看最近128个token的uncompressed KV。

**Attention sink。**借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不等于1。

这在长序列里尤其有用，能避免模型被迫把注意力均摊。

## Muon优化器

V4训练中绝大多数参数优化用的不是AdamW，是Muon。

Muon是前几年Keller Jordan那批人（他现在在OpenAI）在小模型上验证过的优化器，基于矩阵正交化。

它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权重、mHC的静态偏置等）还是走AdamW。

**Muon在LLM规模上的第一次大规模验证是Kimi K2**。 2025年，Moonshot用Muon（加上他们自己的QK-Clip变种，合称MuonClip）训了一个1T参数的MoE，15.5T token，全程零崩溃。

现在DeepSeek也用上了。不过他们做了自己的版本，**hybrid Newton-Schulz迭代**，10步分两段。

*   前8步用激进系数，快速把奇异值推向1附近。
*   后2步用温和系数，精确地把奇异值稳定在1。

这里有个细节值得注意。Kimi用Muon需要QK-Clip来防止attention logits爆炸，DeepSeek没用这招。他们的理由是，V4的注意力架构允许直接对query和KV做RMSNorm，从源头把爆炸的可能压住了。

两家公司，同一个优化器，解决同一个问题，走的是两条路。这种跨团队的技术共享和各自演化，是2026年开源社区最有意思的一面。

## 模型训练

DeepSeek-V4系列在预训练数据量上实现了翻倍。

对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据消耗量分别达到了32T和33T。**训练数据量整整翻了一倍多（增长约 1.2 倍）**。

数据构成上，长文档数据单独curate，优先收录科学论文和技术报告这类有学术价值的长材料。tokenizer仍用V3的128K词表。

在模型架构上，V4-Flash，43层，隐藏维度4096。

MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。

V4-Pro，61层，隐藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。

训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是从头打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。

论文表示，训练中间出过一次严重的loss spike，DeepSeek摸到两个土办法，Anticipatory Routing和SwiGLU Clamping。论文原话非常诚实，这两个trick work，但底层机理仍是open question。

一个训练了两个万亿参数MoE的团队公开承认「我们不知道为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。

在后训练阶段，V4这一代做了一次方法论替换，**传统的mixed RL阶段被On-Policy Distillation（OPD）完全替代。**

流程分两步。

**第一步，训domain specialist。**

数学、代码、agent、指令跟随四个领域，各自独立训一个expert。先SFT打底，再用GRPO做domain-specific RL。V4还引入了三档reasoning effort mode，Non-think、Think High、Think Max，每档输出长度不同。

**第二步，OPD合并。**

十几个expert通过on-policy distillation合进一个统一的student。student自己rollout，最小化reverse KL向对应领域的expert对齐。数学任务向数学expert靠，编程任务向编程expert靠。

方法论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。

V4的做法是teacher权重offload到分布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保证每个mini-batch只加载一个teacher head。

一套看似优雅的后训练方法论，背后是一堆「不这样做就装不下」的工程妥协。

## 实验结论

在实验部分，有三件最值得说的事。

![Image 12: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/ad19eef4b94ac7418d6826c312eae727.webp)
**开源领先。**

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。领先所有开源模型20个百分点。

**匹敌闭源。**

Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23。开源模型匹敌闭源头部，这次是真的匹敌了。

**差距仍在。**

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但明显不如Claude。知识类和最前沿的推理任务仍有3-6个月的gap。

论文中，DeepSeek表示：

> DeepSeek-V4-Pro-Max在标准推理benchmark上优于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。这表明其发展轨迹大约落后最前沿闭源模型3到6个月。

**Flash-Max可能是这篇论文最被低估的一部分。**

V4-Flash-Max只激活13B参数，推理任务上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。

如果只看激活参数量，这是目前效率最极致的推理模型之一。

现实任务里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。

85人的内部开发者调研里，91%表示V4-Pro可以作为主力coding模型。

在官方的推文中，也侧面印证了这个说法：

> 目前DeepSeek-V4已成为公司内部员工使用的Agentic Coding模型，据评测反馈使用体验优于Sonnet 4.5，交付质量接近Opus 4.6非思考模式，但仍与Opus 4.6思考模式存在一定差距。

在论文的最后，DeepSeek也表示：

> 为了追求极致的长文效率，V4系列采取了一个相对激进的架构设计。为了降低风险，我们保留了许多已经验证过的组件和trick，这让架构变得相对复杂。在未来的迭代中，我们将进行更全面、更有原则的研究，把架构精简到最本质的部分。

未来方向几条，探索新维度的sparsity（点名了Engram那条线）、低延迟架构、长时程多轮agentic任务、多模态、更好的数据curation。

有个蛮有意思的小细节，在形式化数学评测中，DeepSeek也皮了一下友商：

> 我们在K2.6和GLM-5.1的部分条目留空了，因为它们的API太忙，没法及时返回我们查询的结果。

![Image 13: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/16cb14b3b71da004f946917f314e3d38.webp)
太火了，就是说。

## 总结

把V4放回DeepSeek的完整路径里看，它不是在追赶frontier。

过去三年的趋势非常清晰。闭源大厂追求的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一条线，同样能力下的成本下限。

V4把这件事推到了百万token。一个1M的上下文，在V3.2的成本结构下是不可持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线突然打直了。

![Image 14: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/bd96124e6e9e95c4f0a4710f2b096dcc.webp)
那结果会怎样呢。一个很长的agent会话，一份反复回读的技术文档，一次跨多仓库的重构，这些过去要切窗口、要加retrieval、要精心管理上下文的场景，在V4这里变成了「全塞进去看看再说」。

DeepSeek这几年做的事，底层动作很清晰，一直在删。从V2的MLA开始，每一代都在删KV cache、删激活参数、删注意力计算量。

删到V4，单token推理FLOPs砍到四分之一，KV cache砍到十分之一。

百万token不是一个新的能力，是同一个上下文窗口被压到可以承担的成本。

## One more thing

论文的结尾有一份长长的贡献者名单。

梁文锋在其中。

![Image 15: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/c87f625c19d2a4a4b56edf5d35b1bd6d.webp)
其中有不少带星号的名字，是已经离开团队、但仍然对V4做出过重要贡献的研究者。

过去这一年，关于DeepSeek人才流失的消息传过好几轮。但这份名单把他们的名字和V4这个大家等了整整一年多的模型，绑在了同一张纸上。

每一个人都算数，每一天也都算数。

V4发布当天，DeepSeek研究员陈德里在x上转发并写道：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，我们谦卑地分享这份爱心的劳动。

一如既往，我们始终坚持长期主义和全民开源。

AGI属于每个人。

![Image 16: 图片](https://i.qbitai.com/wp-content/uploads/2026/04/682e8de1c27ee1cfd65a33ff795eed11.webp)
_参考链接_

_[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro_

_[2]https://arxiv.org/pdf/2512.24880_

_版权所有，未经授权不得以任何形式转载及使用，违者必究。_