微调不是魔法，是苦力活

2026年，开源大模型的微调工具已经非常成熟了。HuggingFace的TRL、Unsloth、LLaMA-Factory、Axolotl——这些框架让微调变得"简单"了。但"简单"和"好"是两回事。

我们在过去一年中微调了超过100个开源模型（Llama 4、Qwen 3.0、DeepSeek V4、Mistral Large 3），覆盖了客服、医疗、法律、金融、编程等10个垂直领域。以下是12条用真金白银换来的铁律。

铁律1：数据质量 > 数据量

1000条高质量数据 > 10000条低质量数据。 这是微调的第一定律，也是最容易被忽视的定律。

我们做过一个实验：用1000条人工精标注的客服对话微调Qwen 3.0 7B，和用10000条机器生成的客服对话微调同一个模型。结果：人工精标注的模型在真实客服场景中的准确率高15%。数据的"质"决定了模型的上限，数据的"量"只决定了模型能多接近这个上限。

铁律2：LoRA的rank不是越大越好

很多人以为LoRA的rank越大，微调效果越好。但我们的实验表明：rank=16是性价比最高的选择，rank=64以上几乎没有额外收益。

在Qwen 3.0 7B上，我们用不同rank值微调了同一个任务（客服对话分类）：

  • rank=4：准确率82.3%
  • rank=8：准确率85.1%
  • rank=16：准确率87.5%
  • rank=32：准确率87.9%
  • rank=64：准确率88.0%
  • rank=128：准确率88.1%

rank从16翻倍到128，准确率只提升了0.6%，但训练时间增加了3倍。 不要被"参数越多越好"的直觉误导。

铁律3：学习率是"成败开关"

微调的学习率设置是"成败开关"——太高了模型会"忘记"预训练知识（灾难性遗忘），太低了学不到新知识。

我们推荐的学习率经验法则：

  • LLM全参数微调：1e-5 到 5e-5
  • LoRA微调：2e-4 到 5e-4
  • QLoRA微调：2e-4 到 5e-4（与LoRA相同，量化不影响学习率选择）

如果你只能调一个超参数，就调学习率。 它的影响比batch size、epoch数、LoRA rank都大。

铁律4：1个epoch就够了

很多人以为微调需要多个epoch。但我们的经验是：对于指令微调，1个epoch通常就够了。2个epoch以上，过拟合风险急剧上升。

我们测试了1-5个epoch的效果：

  • 1 epoch：训练集准确率87.5%，验证集准确率86.8%（差距0.7%）
  • 2 epoch：训练集准确率91.2%，验证集准确率87.1%（差距4.1%）
  • 3 epoch：训练集准确率94.5%，验证集准确率85.3%（差距9.2%）

从第2个epoch开始，模型在"背诵"训练数据，而不是"学习"模式。 除非你的数据量非常大（10万+），否则1个epoch就够。

铁律5：评估不能用训练集

这听起来很基础，但实践中大量团队犯这个错误。用训练集评估微调模型，就像用考试原题来检验学习效果——你只会测出"记忆力"，测不出"理解力"。

必须有独立的测试集，且测试集的分布要尽可能接近真实场景。如果你微调的是客服模型，测试集应该是真实的客服对话，而不是从训练集中随机切分出来的。

铁律6：基座模型选择比微调方法更重要

一个好的基座模型 + 简单的微调 > 一个差的基座模型 + 复杂的微调。 基座模型的选择决定了微调的天花板。

我们的排名（基于微调后效果）：

  1. Qwen 3.0（中文场景最优）
  2. Llama 4（英文场景最优）
  3. DeepSeek V4（性价比最优）
  4. Mistral Large 3（欧洲语言场景最优）

铁律7：不要用GPT-4生成训练数据

很多团队用GPT-4生成训练数据来微调开源模型。这在2024年是可以的，但在2026年已经不够了。GPT-4生成的数据有一种"GPT-4风格"——过于礼貌、过于结构化、缺乏真实场景的混乱和噪声。

用GPT-4生成的数据微调出来的模型，输出的内容也会带有"GPT-4风格"——看起来完美，但在真实场景中不好用。好的训练数据应该来自真实场景，而不是来自另一个模型。

铁律8-12（精简版）

8. 微调后一定要做红队测试。 微调可能破坏模型的安全对齐，导致模型输出危险内容。

9. 不要只用一个指标评估。 准确率、F1、ROUGE、BLEU、人工评分——至少用3个指标。

10. 微调后的模型部署成本可能更高。 微调改变了模型的KV Cache分布，可能导致推理速度下降。

11. 记录每一次微调的参数和结果。 微调是"实验"，不是"工程"。你需要追踪每一次实验的完整记录。

12. 微调不是终点，是起点。 微调后的模型需要持续监控、持续评估、持续迭代。AI不是"做好了就完了"，而是"永远在路上"。

数据来源：作者团队100+次微调实验记录（2025-2026年）。