微调成功的第一定律：Garbage In, Garbage Out
AI领域有一个永恒的真理：Garbage In, Garbage Out。 数据质量决定了模型的上限，微调技术只决定了你能多接近这个上限。
我们花了3个月时间，帮助3家企业准备了微调数据（客服、医疗、法律三个领域）。在这个过程中，我们总结了一套完整的数据准备方法论——从数据采集到最终训练，每一步都有"坑"。
第一步：数据采集——“多"不等于"好”
数据采集最常见的错误是：追求数量，忽略质量。
我们见过一个团队，用爬虫爬了100万条客服对话，兴冲冲地用来微调，结果模型变得更差。原因：爬虫数据中包含了大量噪声——广告、错误回复、不完整的对话、重复内容。
数据采集的黄金法则：
- 来源优先： 内部数据（真实用户对话）> 公开数据集 > 爬虫数据 > 合成数据
- 多样性： 确保数据覆盖了所有你希望模型处理的场景
- 代表性： 数据的分布应该接近真实场景的分布
- 数量底线： 指令微调最少1000条，领域微调最少5000条，全参数微调最少10000条
第二步：数据清洗——“脏数据"的5种死法
数据清洗是"最无聊但最重要"的步骤。我们总结了5种最常见的"脏数据”：
1. 不完整数据。 对话只有一半，回答只有开头。处理：直接删除，不值得修复。
2. 重复数据。 同一个对话出现了多次。处理：用MinHash或SimHash去重，阈值设为0.8。
3. 格式错误。 特殊字符、编码问题、不正确的JSON格式。处理：用正则表达式清洗，统一编码为UTF-8。
4. 低质量数据。 回答太短（<20字）、太模板化（“好的，我知道了”）、包含错误信息。处理：用规则过滤（长度、关键词）+ 模型评分（用GPT-5打分，低于3/5分的数据删除）。
5. 敏感数据。 包含个人隐私、商业机密、违法内容。处理：用正则表达式+敏感词库+模型检测，三层过滤。
第三步：数据标注——“人工"还是"机器”？
2026年，数据标注有两个选择：人工标注（贵但准）和机器标注（便宜但差）。
人工标注的成本： 每条数据约0.5-2元人民币（取决于复杂度）。1000条数据的标注成本约500-2000元。
机器标注（GPT-5生成）的成本： 每条数据约0.001元。1000条数据的标注成本约1元。
但机器标注有一个致命问题：“模型偏差”。 用GPT-5生成的数据微调出来的模型，输出会带有"GPT-5风格"——过于礼貌、过于结构化、缺乏真实感。
我们的建议：核心数据（20%）用人工标注，辅助数据（80%）用机器标注+人工审核。 这是成本和质量的最优平衡。
第四步：数据质量评估——“好坏"的标准
如何判断微调数据的好坏？我们使用5个维度：
1. 准确性： 回答是否正确？（用领域专家审核） 2. 完整性： 回答是否覆盖了用户的所有问题？ 3. 一致性： 同一条数据中，回答是否前后一致？ 4. 多样性： 数据是否覆盖了不同的场景和表达方式？ 5. 安全性： 数据是否包含不安全的内容？
每个维度评1-5分，总分低于15分的数据直接删除，15-20分的数据需要修改，20分以上的数据可以保留。
第五步：数据配比——“配方"决定"味道”
微调数据的配比（不同类型数据的比例）直接影响模型的行为。
一个典型的微调数据配比：
- 70% 核心任务数据（你希望模型做好的任务）
- 15% 通用能力数据（保持模型的通用能力，防止灾难性遗忘）
- 10% 安全数据（拒绝不当请求的示例）
- 5% 边界案例（难处理的、模棱两可的场景）
数据配比不是"越多越好”，而是"越均衡越好"。 如果核心任务数据占99%，模型会"过拟合"——它只会做核心任务，忘记了通用能力。
结语：数据是"炼金术"，不是"流水线"
微调数据准备不是"流水线"（标准化操作），而是"炼金术"（需要经验、直觉和反复实验）。 同样的数据，不同的人清洗、标注、配比，最终的模型效果可能差20%。
花80%的时间在数据上，花20%的时间在训练上。数据对了，微调就成功了一半。 数据错了，再好的微调技术也救不回来。
数据来源：作者团队3个月数据准备项目经验（2026年Q1-Q2），HuggingFace Datasets文档。