一个违背直觉的实验
2026年初，DeepSeek团队发布了一个令人惊讶的实验结果：他们用DeepSeek-V3（671B MoE）作为教师模型，蒸馏出了一个7B的学生模型。在多项中英文基准测试中，这个7B的蒸馏模型超越了原版Qwen2.5-7B，甚至在某些任务上接近了GPT-4o的水平。
这听起来违背直觉——一个671B模型教出来的7B模型，怎么可能比从头训练的7B模型更强？但数据确实如此。
知识蒸馏正在经历一场范式转变。它不是简单的"缩小模型"，而是"知识提炼"——从大模型中提取最精华的知识，然后浓缩到小模型中。
什么是知识蒸馏？一个通俗解释
传统的知识蒸馏概念来自Hinton在2015年的论文。核心思想很简单：不只是让学生模型学习"正确答案"（hard label），还要学习教师模型的"思考过程"（soft label）。
比如，对于"9乘8等于多少"这个问题，学生模型不应该只学习"答案是72"，还应该学习教师模型对每个可能答案的概率分布——9%的概率是70，11%的概率是71，72%的概率是72，等等。这个概率分布包含了教师模型的"知识"——它知道72是正确答案，但也知道71和70是"比较接近"的错误答案。
2026年，这个基本思想被大幅扩展了。
2026年的蒸馏技术进化
多层蒸馏（Multi-layer Distillation）：不只是蒸馏最终输出，而是蒸馏每一层的中间表示。学生模型的每一层都被训练去模仿教师模型的对应层。这类似于让学生模型全程"影子学习"教师模型的思考过程。
数据蒸馏（Data Distillation）：用教师模型生成高质量的合成数据，然后用来训练学生模型。这已经被证明是比直接蒸馏模型更有效的方法。DeepSeek-V3的蒸馏实验就大量使用了这种方法——教师模型生成了数百万条高质量的思维链数据，学生模型在这些数据上训练。
多教师蒸馏（Multi-teacher Distillation）：用一个教师模型教数学，另一个教师模型教编程，再一个教师模型教写作。学生模型博采众长，最终可能比任何单个教师模型都更全面。
在线蒸馏（Online Distillation）：教师和学生同时训练，教师实时指导学生。这种方法在2026年的大型预训练中越来越流行。
为什么学生可能超越老师？
这个问题的答案，揭示了知识蒸馏的本质。
教师模型虽然知识丰富，但它也有"坏习惯"——它会产生幻觉，会有偏见，会对某些类型的问题给出不准确的回答。传统的知识蒸馏不加区分地学习教师模型的一切，包括这些坏习惯。
2026年的新方法引入了"选择性蒸馏"——只蒸馏教师模型擅长的领域，在教师模型不擅长的领域，则让学生模型学习更可靠的来源（如人类标注数据、验证过的知识库）。这种"取精华去糟粕"的策略，使得学生模型在某些任务上可以超越教师。
实战建议：如果你要做知识蒸馏
选择合适的教师模型：不是大就是好。教师模型在你关心的领域是否擅长，比它总共有多少参数更重要。
重视数据质量：合成数据的质量决定着蒸馏效果的上限。花时间在数据清洗和过滤上，比盲目增大数据量更有效。
不要过度蒸馏：学生模型需要一定的"自由探索"空间。如果蒸馏强度过高，学生模型会变成教师模型的"劣质复制品"，失去自己的泛化能力。
投资评估：蒸馏后的模型需要在多个维度上评估——不只是准确性，还有推理速度、鲁棒性、偏见等。一个好的蒸馏模型应该在这些维度上都有所提升。
一句话总结
知识蒸馏正在从"压缩模型"的技术，进化为"提炼知识"的艺术。2026年，最好的小模型已经不再是"缩水的大模型"，而是"浓缩的精华"。