DeepSeek 凭什么震动全球 AI 界？
2025 年 1 月，当 DeepSeek 发布其最新模型 DeepSeek-V3 和推理模型 DeepSeek-R1 时，整个 AI 社区的反应可以用一个词来形容：震惊。不是因为它达到了多高的性能——当然，性能确实很强，在多项基准测试中与 GPT-4o 和 Claude 3.5 Sonnet 并驾齐驱——而是因为它的训练成本。DeepSeek-V3 的训练总成本仅为约 557 万美元，而同等规模的 GPT-4 据估计训练成本在 1 亿美元以上。
DeepSeek 的核心秘密不在于魔法，而在于三个工程创新的组合：MLA 注意力机制、MoE 混合专家架构、以及极致的系统优化。
本文将尝试用通俗易懂的语言，拆解 DeepSeek 的核心技术，让非技术背景的读者也能理解这家中国 AI 公司做对了什么。当然，对于技术深度内容，我们依然会用「」标注专业术语的首次出现。
背景：为什么训练大模型这么贵？
在深入 DeepSeek 的技术细节之前，我们需要先理解为什么训练大模型如此昂贵。大模型训练的核心瓶颈来自一个经典的矛盾：模型越大，性能越好，但训练成本也越高。训练成本主要由两部分组成：
- 计算量：大模型训练需要做海量的矩阵乘法运算，这需要数以万计的 GPU（图形处理器）连续运行数周甚至数月。计算量的度量单位是「FLOPs（Floating Point Operations，浮点运算次数）」。训练一个千亿参数级别的模型，需要的 FLOPs 是一个天文数字——通常以 10 的 23 次方（即 100 ZettaFLOPs）来计算。
- 显存占用：模型参数、优化器状态、激活值（前向传播中的中间结果）都需要存储在 GPU 的显存（HBM，高带宽内存）中。一个千亿参数的模型，如果使用标准的 FP32（32 位浮点数）精度存储，仅参数本身就需要约 400GB 显存——远超单张 H100 GPU 80GB 的显存容量。
为了解决这些问题，业界一直在探索各种优化技术：模型并行（将模型切分到多张 GPU）、混合精度训练（降低数据精度）、梯度检查点（牺牲计算换显存）等等。DeepSeek 在这些基础优化之上，做出了几个关键性的架构创新。
核心技术一：MLA（Multi-head Latent Attention，多头潜在注意力）
这可能是 DeepSeek 最重要的一项技术创新。要理解 MLA，我们需要先理解传统的「MHA（Multi-Head Attention，多头注意力）」机制——这是 Transformer 架构的核心，也是 ChatGPT、Claude 等所有主流大模型的基石。
传统注意力机制的内存痛点
在 Transformer 的推理阶段，模型需要缓存之前生成的每个 token 的 Key 和 Value 向量（统称为 KV Cache），以便在生成下一个 token 时"回顾"之前的内容。随着上下文长度增加（比如你给 ChatGPT 发了一本 10 万字的书让它分析），KV Cache 会急剧膨胀——在某些场景下，KV Cache 占用的显存甚至超过了模型参数本身。这就是所谓的「KV Cache 瓶颈」。
打个比方：传统注意力就像是一个会议记录员，他不仅要一字不漏地记录每个发言者说的每一句话（K 和 V），还要在每个人再次发言时，把之前的记录全部重新翻看一遍。发言的人越多、会议越长，记录员的笔记本（显存）就越不够用。
MLA 的巧妙解法：低秩压缩
DeepSeek 的研究团队发现了一个关键洞察：KV Cache 中存储的信息存在大量冗余。他们借鉴了「LoRA（Low-Rank Adaptation，低秩适配）」的思想，提出对 Key 和 Value 做「低秩压缩」——将高维的 KV 向量投影到一个低维的"潜在空间"（Latent Space），只存储这个低维的压缩表示。在需要使用时，再通过一个轻量级的"上投影矩阵"恢复到原始维度。
具体来说，MLA 的核心操作是：将原本维度为 d 的 Key 和 Value 向量，先通过一个下投影矩阵压缩到维度为 c（c 远小于 d）的潜在向量，存储这个很小的 c 维向量；推理时，再通过一个上投影矩阵恢复到 d 维，用于注意力计算。
这个操作的妙处在于：KV Cache 的大小从 O(d) 降到了 O(c)，而 c 通常只有 d 的 1/4 到 1/8。在 DeepSeek-V3 中，这使得 KV Cache 的显存占用减少了约 80%-90%，大幅降低了推理成本。
类比理解：MLA 就像是一个聪明的会议记录员，他不再一字不漏地记录，而是用关键词和简写（"潜在表示"）来捕捉要点。当需要回顾时，他能根据简写还原出完整的上下文。这样笔记本（显存）的容量需求就大大降低了，而且还原的准确度仍然很高。
与 GQA 和 MQA 的对比
在 MLA 出现之前，业界主要用「GQA（Grouped Query Attention，分组查询注意力）」和「MQA（Multi-Query Attention，多查询注意力）」来压缩 KV Cache。GQA 的思想是让多个 Query 头共享一组 Key-Value 头，MQA 更极端——所有 Query 共享一组 KV。这些方法确实减少了 KV Cache，但代价是可能损失模型的表达能力（多个注意力头被迫"看同样的东西"）。
MLA 走了一条不同的路：它不缩减注意力头的数量，而是通过低秩分解来压缩每个头的 KV 表示——既保持了多头的多样性，又减少了存储开销。在 DeepSeek-V3 的实验中，MLA 在相同 KV Cache 预算下，推理性能显著优于 GQA 和 MQA。
核心技术二：DeepSeekMoE（混合专家架构）
MoE 是什么？
「MoE（Mixture of Experts，混合专家）」是近年来大模型的重要演进方向。传统的大模型是"一个大脑做所有事"——所有参数参与处理每一个 token。而 MoE 的思路是"一群专家各司其职"——模型中有多个"专家"子网络，处理每个 token 时只激活其中的一小部分（通常是 2-4 个），其余专家保持静默。
MoE 的核心优势明显：总参数量可以做得非常大（因为有众多专家），但每次推理的实际计算量（激活参数量）仍然可控。比如 DeepSeek-V3 总参数量为 671B（6710 亿），但每次推理只激活约 37B（370 亿）参数——模型"看起来很大"，但"跑起来并不慢"。
DeepSeek 对 MoE 的改进
传统 MoE 有两个著名的痛点：
痛点一：负载不均衡。有些专家"太忙"（被频繁选中），有些专家"太闲"（几乎不被选中），导致计算资源浪费。DeepSeek 引入了一个「辅助损失（Auxiliary Loss）」来鼓励专家之间的负载均衡——如果某些专家的使用频率显著偏离平均值，模型会收到一个惩罚信号。
痛点二：知识冗余。传统 MoE 中，多个专家可能会学到相同的知识——毕竟它们都在同一个数据集上训练。DeepSeek 的方案是引入「共享专家（Shared Experts）」——除了有专门的 MoE 专家层外，还设置了少量"共享专家"来捕捉跨领域的通用知识。这些共享专家参与处理所有 token，而 MoE 专家只处理各自擅长的子领域。
此外，DeepSeek 还做了一项创新：细粒度专家分割。传统 MoE 可能把 FFN（前馈网络）层分割成 8 个专家，DeepSeek 把它分割成 256 个更小的专家——每个专家更"专精"，组合更灵活。
路由机制："门控网络"
MoE 的核心挑战是"路由器"（也叫门控网络，Gating Network）——如何判断一个 token 应该被哪个专家处理。DeepSeek 采用 Top-K 路由策略：对于每个 token，路由器计算所有专家的得分，选择得分最高的前 K 个专家，将它们的输出加权平均。K 是超参数——太小会导致专家容量浪费，太大会增加计算量。DeepSeek-V3 通常设置 K=8（从 256 个专家中选择 8 个）。
核心技术三：FP8 混合精度训练
训练大模型时，模型参数和激活值的数值精度直接影响显存占用和计算速度。传统训练一般用「FP16（16 位浮点数）」或「BF16（Brain Float 16）」。2025 年，业界开始探索更激进的「FP8（8 位浮点数）」训练——精度只有 FP16 的一半，理论上可以将显存占用和计算带宽需求减少一半。
但 FP8 训练的挑战在于：8 位的数值表示范围非常有限，某些极其敏感的计算（比如注意力分数、归一化层的参数）如果也用 FP8 会严重损失精度。DeepSeek 的方案是「混合精度训练」：对不敏感的部分（如大矩阵乘法）用 FP8 加速，对敏感的部分（如注意力计算、LayerNorm）保留 FP16/BF16 精度。这种策略需要在模型代码中仔细地标注每一层的精度设置——这是纯粹的工程功夫，没有捷径。
DeepSeek 团队在 FP8 训练的工程实现上做了大量优化：定制了 CUDA kernel 来高效支持 FP8 矩阵乘法、设计了自动精度分配的编译优化方案、以及在训练过程中动态检测数值溢出并回退。最终的成果是：在 H800 GPU 集群上，DeepSeek-V3 的 FP8 训练实现了约 1.8 倍的速度提升，而模型质量没有可感知的下降。
核心技术四：Multi-Token Prediction（多 token 预测）
传统大语言模型的训练方式是「Next Token Prediction（下一个 token 预测）」——给定前面的文本，预测接下来最可能的那个词。这是一个 token 一个 token 地"串行"预测，效率相对较低。
DeepSeek 引入了一个创新的训练目标：Multi-Token Prediction（MTP）。模型不仅要预测下一个 token，还要同时预测接下来的 2-4 个 token。这听起来像是"让模型更有远见"，而实际的效果也确实如此——MTP 提升了模型的上下文理解能力，同时因为一次前向传播可以预测多个 token，训练效率也更高。
具体实现上，DeepSeek 在模型顶部增加了额外的"预测头"（Prediction Heads），每个预测头负责预测一个未来位置的 token。在推理时，可以利用这些预测头实现「投机解码（Speculative Decoding）」——先用小预测头快速生成候选 token，再用主模型验证——进一步加速推理。
核心技术创新汇总
| 技术 | 解决的问题 | 核心思路 | 效果 |
|---|---|---|---|
| MLA | KV Cache 显存爆炸 | 低秩压缩 Key/Value 表示 | KV Cache 减少 80-90% |
| DeepSeekMoE | 总参数量 vs 推理效率的矛盾 | 细粒度专家 + 共享专家 + 负载均衡损失 | 671B 总参数 / 37B 激活 |
| FP8 混合精度 | 训练速度与显存瓶颈 | 敏感层保持高精度，大矩阵用 FP8 | 训练速度 1.8x，显存减半 |
| Multi-Token Prediction | 训练和推理效率 | 同时预测多个未来 token | 更好的语义学习 + 投机解码加速 |
557 万美元是怎么算出来的？
DeepSeek-V3 在技术报告中声称训练总成本约 557 万美元，这个数字引发了广泛讨论。我们来看看这个数字是怎么构成的：
DeepSeek-V3 在 2048 张 H800 GPU 上训练，每张 H800 的租用成本约为 $2/小时。预训练耗时约 2 个月（约 60 天），总 GPU 小时数约为 2048 × 24 × 60 ≈ 295 万 GPU 小时。按 $2/小时计算，GPU 成本约 590 万美元。这 557 万美元仅包括预训练阶段的 GPU 租用成本，不包括：数据采集和预处理成本、人工标注成本、实验阶段的 GPU 成本、模型架构研究和消融实验成本。如果把这些都算上，总研发成本可能在 2000-3000 万美元量级。
但即使如此，与 OpenAI、Google、Anthropic 等公司的同级别模型相比，仍然低了至少一个数量级。这背后是中国 AI 公司的工程能力、系统优化能力以及"用更少的资源做更多的事"的生存智慧。
DeepSeek-R1：推理能力的飞跃
如果说 DeepSeek-V3 证明了"基础模型可以做得便宜又好"，那么 DeepSeek-R1 则证明了"推理能力不一定是闭源厂商的专利"。R1 是 DeepSeek 的推理模型，对标 OpenAI 的 o1 系列。它最令人印象深刻的特点是：完全通过「强化学习（Reinforcement Learning，RL）」训练，不依赖海量的人工标注数据。
传统训练推理模型的方法需要大量的人工标注"思维链（Chain-of-Thought）"数据——让人类标注者写出详细的推理步骤，然后用这些标注数据训练模型。这种方式成本极高且难以规模化。DeepSeek 的做法是：用 RL 让模型自己探索推理过程。模型在数学题、编程题等有明确对错的领域自主尝试、获得奖励或惩罚信号、逐步优化推理策略。更令人惊叹的是，模型在 RL 训练过程中自发地涌现出了"反思"和"自我纠错"行为——这些都是没有被显式编程的"涌现能力（Emergent Ability）"。
DeepSeek-R1 在 AIME 2024 数学竞赛题目上取得了 79.8% 的成绩，与 OpenAI o1 的 83.3% 非常接近。在 Codeforces（编程竞赛平台）上的 Elo 评分达到 2029，超过 96.3% 的人类参赛者。最重要的是——DeepSeek-R1 完全开源（MIT 许可证），任何人都可以下载、使用、微调。
DeepSeek 对 AI 行业的影响
DeepSeek 的出现引发了几个深远的影响：
打破了"大模型必须烧钱"的迷思。557 万美元的训练成本证明，通过精巧的架构创新和极致的工程优化，中小团队也可以做出世界一流的模型。这对整个 AI 创业生态是一个巨大的鼓舞。
加速了开源模型的追赶步伐。DeepSeek-V3 和 R1 都完全开源，这意味着全球任何一个开发者都可以免费使用这些顶级模型。对于 OpenAI 等闭源厂商来说，这无疑增加了竞争压力——当开源模型的质量与闭源模型差距越来越小，维持"付费墙"的理由也会越来越弱。
推动了中国 AI 技术的话语权。DeepSeek 用实打实的技术创新（而非纯粹的规模堆叠）证明了"中国 AI 可以做原创性贡献"。MLA 注意力机制已经被越来越多的团队采纳和研究。
加速了推理成本的下降。MLA 和 MoE 的组合让高质量推理的成本大幅下降。2026 年，DeepSeek API 的价格仅为 GPT-4o 的约 1/10，这对 AI 应用的普及是巨大的推动力。
DeepSeek 的局限与挑战
客观地说，DeepSeek 并非完美无缺。它的局限包括：
- 中文偏重：虽然 DeepSeek 在多语言表现上不错，但其中文数据比例明显偏高，在某些小语种任务上表现弱于 GPT-4o。
- 安全对齐仍有差距：DeepSeek 的「RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）」对齐训练相对较晚开始，在敏感话题的处理上不如 Claude 保守和细腻。
- 生态相对薄弱：相比 OpenAI 的 ChatGPT 生态（插件市场、GPT Store、丰富的 SDK），DeepSeek 的周边生态还在建设中。
- 算力受限：受限于芯片出口管制，DeepSeek 使用的是 H800（而非更强的 H100/B200），在某些大规模训练场景中面临算力天花板。
但这些局限并不掩盖它的光芒。DeepSeek 证明了：在 AI 领域，聪明的架构设计可以弥补算力的不足——这是对中国 AI 行业最有价值的启示。访问星枢 AI，了解最新的 AI 技术动态。