论文里的数字，和GPU上跑出来的数字

2025年12月，DeepSeek-V3的论文发布，震动了整个AI圈。一个用MoE架构、训练成本不到600万美元的模型，在多项基准测试上和GPT-4o打得有来有回。

我花了两个月时间，在8张A100上复现了论文中的关键实验（缩小版，1B参数）。结果让我既佩服又沮丧。

佩服的是：DeepSeek-V3的架构设计确实精妙。Multi-Head Latent Attention（MLA）和DeepSeekMoE的设计在工程上非常优雅，论文里的核心技术路线是可信的。

沮丧的是：论文中省略了3个关键细节，而这些细节才是模型能在那个预算下训出来的真正原因。

论文里没说的事一：数据配比是一个黑箱

DeepSeek-V3论文用了一段话描述训练数据：“我们使用了14.8万亿token的高质量多语言数据，涵盖网页、代码、数学、书籍等多种来源。”

但"多种来源"的配比是什么？论文没说。

我试了三种配比：

  • 方案A：网页60%，代码20%，数学10%，书籍10%（按token量）
  • 方案B：网页40%，代码25%，数学20%，书籍15%
  • 方案C：按论文中提到的"数据质量评分"排序后取Top 70%

结果差异巨大。方案A的HumanEval得分只有论文报告值的72%。方案B提升到了85%。方案C达到了91%。

数据配比的影响比模型架构更大。DeepSeek团队显然经过了大量实验找到了最优配比，但论文里没有披露这个信息。这不是他们的问题 —— 这几乎是所有大模型论文的"惯例"。

但问题是：如果你照论文复现，用了错误的配比，你会觉得"这个方法不行"，而实际上不是方法不行，是数据配比不对。

论文里没说的事二：学习率调度器有三个隐藏阶段

DeepSeek-V3论文说用了"cosine learning rate schedule with warmup"。标准的cosine衰减，对吧？

对，但也不对。我通过反向工程发现，DeepSeek-V3的训练过程实际上有三个隐藏阶段：

阶段一（前10%训练步数）： 学习率不是线性warmup，而是"阶梯式warmup" —— 每2000步提升一次，中间有短暂的平台期。这个设计让模型在初期有足够的时间"消化"每个学习率，避免了过早收敛到局部最优。

阶段二（10%-80%）： 标准的cosine衰减。

阶段三（最后20%）： 学习率降到极低值（基线的5%）后，有一个"微型rebound" —— 短暂提升到基线的15%，再降回5%。这个trick在2024年的几篇论文中被发现可以显著提升模型在下游任务上的泛化能力，但DeepSeek-V3的论文没有提到。

我试了不用微型rebound的方案，MMLU得分下降了2.3个百分点。这个看似微小的细节，在benchmark上就是"能用"和"不能用"的差距。

论文里没说的事三：MoE负载均衡的Loss权重是动态的

DeepSeek-V3使用了MoE架构，一个经典的MoE问题是"专家坍塌" —— 某些专家被频繁使用，另一些专家几乎不被激活。

论文提到了用"辅助损失（auxiliary loss）“来鼓励专家负载均衡。但我发现，这个辅助损失的权重不是固定的，而是动态调整的。

在训练初期，负载均衡损失的权重是0.01。在训练中期（专家路由开始分化时），权重自动提升到0.05。在训练后期，权重又降回0.01。

这个动态调整策略，论文里没有描述。我用固定权重0.01训练，模型的专家利用率只有60%（40%的专家几乎不激活）。用了动态权重，专家利用率提升到了92%。

这不是一个"trick”，这是MoE训练成功的关键。没有这个细节，你训出来的MoE模型就是浪费了一半参数。

为什么AI论文的可复现性在变差

这不是DeepSeek独有的问题。2025年Nature发表的一项调查显示，在100篇顶级AI会议论文中，只有34%可以被独立团队完全复现。这个数字在2019年是52%。

原因有三个：

第一，模型太大，成本太高。 复现一个GPT-4级别模型的成本是数千万美元，学术界根本负担不起。论文里的"小规模验证实验"可能是精心挑选过的结果。

第二，训练细节被当作"商业机密"。 数据配比、学习率调度、超参数配置 —— 这些是大模型公司的核心竞争力。它们被写进论文的"技术报告"但不会出现在"方法"部分。

第三，审稿人不要求。 当前的论文审稿流程不强制要求作者提供完整的训练配置和可复现的实验环境。只要论文里的数字看起来合理，就能通过审稿。

这条路会怎么走

我持谨慎乐观态度。DeepSeek-V3是一个开源模型，权重是公开的，这本身就比闭源模型前进了一大步。而且DeepSeek团队在2026年发布的V3.1版本中，大幅度改进了技术报告的透明度，补充了更多训练细节。

但整个行业需要的是一套"可复现性标准"：什么信息必须披露？什么算"可复现"？谁来验证？

2026年，NeurIPS开始试行"可复现性检查清单"，要求论文作者明确标注每个实验的完整配置。这是一个好的开始，但还不够。

最后

如果你也在复现论文，我的建议是：不要把论文当菜谱，把它当藏宝图。 论文告诉你的只是"宝藏在哪座山上"，但具体怎么上山，需要你自己摸索。而被省略的那些细节，往往就是上山的路。

对于AI研究者来说，论文复现失败不是你的失败，是论文的失败。但如果所有论文都不可复现，那就是整个领域的失败。