当微调不够用的时候

2026年，微调（Fine-tuning）已经非常成熟了。但很多团队发现：微调可以改变模型的"行为"（如何回答问题），但无法改变模型的"知识"（知道什么）。

如果你的领域知识完全不在原始训练数据中——比如你是一家做"量子计算"的公司，通用模型对量子计算的理解非常有限——微调是不够的。你需要继续预训练（Continual Pre-training，CPT）。

继续预训练是"微调的上游"——它改变的是模型的知识基础，而不是行为方式。 这是一项门槛更高、成本更高、但效果更深远的训练技术。

继续预训练 vs 微调：本质区别

维度微调继续预训练
目标改变行为注入知识
数据指令-回答对大量领域文本
数据量1000-100000条10亿-1000亿token
训练方式监督学习自监督学习（Next Token Prediction）
成本几百到几万几万到几百万
效果表面行为改变深层知识注入
风险过拟合灾难性遗忘

继续预训练不是"加强版微调"，而是"完全不同的事情"。 它需要更多数据、更多GPU、更多时间，但也带来更深层的能力改变。

什么时候需要继续预训练？

信号1：模型在领域知识上"胡编乱造"。 如果模型在回答你的领域问题时，经常出现"事实错误"（不是"拒绝回答"，而是"自信地给出错误答案"），说明领域知识不在原始训练数据中。微调无法解决这个问题，因为微调只能改变"回答方式"，不能改变"知识储备"。

信号2：模型不理解领域术语。 如果你的领域有大量专有术语（如量子计算中的"量子退火"、“拓扑量子比特”），模型完全不理解这些术语，继续预训练是必要的。

信号3：模型在该领域的基础能力为0。 用MMLU测试模型的领域知识，如果得分低于40分（随机猜测是25分），说明模型几乎没有该领域的知识。继续预训练是唯一的选择。

继续预训练的实战流程

第一步：准备领域数据（最关键的步骤）

继续预训练需要海量的领域文本数据。数据量通常在10亿-1000亿token之间。

数据来源：

  • 论文（arXiv、PubMed、SSRN）
  • 教科书（需要版权授权）
  • 技术文档（API文档、产品手册）
  • 行业报告（券商研报、咨询报告）
  • 代码仓库（GitHub）

数据质量要求：

  • 必须是"高质量"文本（不能是代码、日志、广告）
  • 必须有领域代表性（覆盖领域的所有子领域）
  • 必须经过清洗（去重、去噪、去隐私）

第二步：数据配比（防止灾难性遗忘）

继续预训练最大的风险是灾难性遗忘——模型学完新知识后，忘记了旧知识。

数据配比策略：

  • 50% 领域数据（新知识）
  • 25% 通用数据（保留旧知识，如Wikipedia、书籍）
  • 25% 代码数据（保留编程能力）

如果只用领域数据，模型会变成一个"领域专家"但忘记所有通用能力。 数据配比是继续预训练的"安全气囊"。

第三步：训练策略

继续预训练通常使用与原始预训练相同的"Next Token Prediction"训练目标。

关键参数：

  • 学习率：1e-5 到 5e-5（比微调低，防止破坏原有知识）
  • 训练步数：1-3个epoch
  • 序列长度：与原始训练一致（通常4096或8192）

第四步：评估——不只是领域能力

继续预训练后，必须评估两个维度：

  • 领域能力：是否提升了？（用领域特定的Benchmark）
  • 通用能力：是否退化了？（用MMLU、HellaSwag等）

如果通用能力下降超过5%，需要调整数据配比，增加通用数据。

继续预训练的成本

继续预训练的成本远高于微调：

  • 小规模（7B模型，50亿token）：8xH100 x 1周 = $5,000（GPU）
  • 中规模（70B模型，500亿token）：64xH100 x 2周 = $45,000（GPU）
  • 大规模（405B模型，5000亿token）：256xH100 x 4周 = $500,000（GPU）

继续预训练是"大工程"，不是"小实验"。 在开始之前，确保你有足够的预算、数据和耐心。

结语：继续预训练是"核武器"

继续预训练是微调工具箱中的"核武器"——威力巨大，但代价也巨大。 只有当微调、Prompt工程、RAG等方法都无法解决问题时，才应该考虑继续预训练。

但如果你真的需要它，它带来的回报也是巨大的。一个经过继续预训练的垂直领域模型，可以建立竞争对手无法逾越的"知识壁垒"。

数据来源：作者团队继续预训练项目经验（2026年），Mistral/Meta继续预训练论文。