微调后，模型"变笨了"
2026年，一个AI工程师的常见经历：用客服数据微调了Qwen 3.0 7B，客服场景的准确率从80%提升到92%。但上线后，用户问了一个"和客服无关"的问题（“帮我写一首诗”），模型回答得"驴唇不对马嘴"。
微调让模型在"特定任务"上变好了，但在"通用任务"上变差了。 这就是"灾难性遗忘"（Catastrophic Forgetting）。
灾难性遗忘的原因
微调的本质是"修改模型的参数"。当你用"客服数据"微调模型时，模型参数被"推"向"客服的最优方向"。但"客服的最优方向"可能"偏离"了"通用能力的最优方向"。
模型在"客服"和"写诗"之间，需要找一个"平衡"——但微调只优化了"客服"，没有考虑"写诗"。 结果就是：模型在"客服"上变好了，在"写诗"上变差了。
五种解决方案
方案一：LoRA（低秩适配）。 LoRA只修改"少量参数"（0.1%-1%），大部分参数"冻结"。这天然地"限制"了模型参数偏离原始方向的程度，减少了灾难性遗忘。
LoRA是"最简单"的防遗忘方案——如果你用LoRA微调，灾难性遗忘通常不严重（通用能力下降<5%）。
方案二：数据混合。 在微调数据中，混入一定比例的"通用数据"（如10-20%）。这样，模型在"学习客服"的同时，也在"复习写诗"。
数据混合是"最有效"的防遗忘方案——但需要你"额外准备"通用数据。
方案三：弹性权重巩固（EWC）。 EWC（Elastic Weight Consolidation）是"正则化"方法——在微调损失函数中，增加一个"惩罚项"，惩罚那些对"原始任务"重要的参数被大幅修改。
EWC的效果好，但实现复杂，需要计算"Fisher信息矩阵"（评估每个参数对原始任务的重要性）。
方案四：知识蒸馏（防遗忘版）。 微调时，不仅让模型学习"客服数据"，还让模型"模仿"原始模型在通用数据上的输出。这样，模型在"学习新知识"的同时，也在"保持旧知识"。
知识蒸馏（防遗忘版）是"效果最好"的方案——但训练成本高（需要原始模型参与训练）。
方案五：渐进式微调。 不要一次性微调所有数据，而是"渐进式"——先微调少量数据（100条），评估通用能力是否下降；如果没下降，再增加数据量；如果下降了，停止或调整。
渐进式微调是"最安全"的方案——但需要多次评估，耗时较长。
2026年防遗忘的"最佳实践"
第一，首选LoRA。 对于大多数场景，LoRA已经足够——灾难性遗忘通常不严重。如果你用LoRA，不需要额外的防遗忘措施。
第二，数据混合是"性价比"最高的。 在微调数据中混入10-20%的通用数据，成本低，效果好。但通用数据从哪里来？ 可以用原始模型生成——让原始模型回答各种通用问题，收集"通用数据"。
第三，监控通用能力。 微调后，不要只评估"客服准确率"，还要评估"通用能力"（MMLU、HellaSwag等基准）。如果通用能力下降超过5%，说明灾难性遗忘严重，需要采取措施。
第四，“不要过度微调”。 微调不是"越多越好"。训练epoch过多（超过3-5个epoch），灾难性遗忘加重。当验证集上的准确率不再提升时，停止微调——不要"继续训练"。
结语
灾难性遗忘是微调领域最"顽固"的问题之一。2026年，LoRA天然缓解了这个问题（因为只修改少量参数）。但如果你需要"全参数微调"，灾难性遗忘是一个必须认真对待的挑战。
微调的目标，不是"让模型在目标任务上做到最好"，而是"让模型在目标任务上足够好，同时保持通用能力"。 平衡，是微调的艺术。