数据策展：AI训练中被低估的"重工程"
数据策展（Data Curation），是从"原始数据"到"训练就绪的数据"的完整处理流程。 它包括数据采集、清洗、去重、质量过滤、格式标准化、数据配比——10+个步骤。
很多人以为数据策展是"把数据整理一下"，但实际的数据策展是"重工程"——需要大量的计算资源、存储资源、工程人力。
我们花了100万（¥700,000），构建了一套数据策展流水线。处理了100TB原始数据，产出了20TB训练数据。80%的数据在策展过程中被"淘汰"了。 以下是完整的流水线设计。
数据策展流水线的"10个步骤"
步骤1：数据采集（Data Ingestion）。 从多个数据源采集原始数据——网页爬虫（Common Crawl）、API（GitHub、Stack Overflow）、数据库（内部数据）、文件（PDF、Word）。
工具： Apache Spark（分布式数据处理）、AWS S3（存储）、Kafka（实时数据流）。
步骤2：格式解析（Format Parsing）。 将不同格式的数据（HTML、PDF、JSON、CSV）解析为统一的文本格式。
坑： PDF解析是最难的——PDF中的表格、图片、公式，解析后往往"面目全非"。我们用了Nougat（Meta的PDF解析模型）来处理学术PDF。
步骤3：语言检测（Language Detection）。 用fastText检测每条数据的语言，过滤非目标语言的数据。
参数： 置信度阈值设为0.9。低于0.9的数据删除（通常是中英混合文本）。
步骤4：数据清洗（Data Cleaning）。 删除HTML标签、特殊字符、乱码、重复空格、非UTF-8字符。
工具： BeautifulSoup（HTML清洗）、正则表达式（文本清洗）、ftfy（编码修复）。
步骤5：PII脱敏（PII Masking）。 检测和脱敏个人身份信息——手机号、身份证号、邮箱、IP地址。
工具： Presidio（微软开源PII检测）+ 正则表达式。
步骤6：数据去重（Deduplication）。 精确去重（MD5 Hash）+ 模糊去重（MinHash + LSH）。
参数： 相似度阈值设为0.8。阈值太高（0.95）会漏掉大量重复数据，阈值太低（0.5）会误删不重复的数据。
步骤7：质量过滤（Quality Filtering）。 用规则（长度、重复率、特殊字符占比）+ 模型（困惑度、质量评分）过滤低质量数据。
规则： 长度<50字符或>100000字符 → 删除；词重复率>80% → 删除；特殊字符占比>50% → 删除。
模型： KenLM困惑度>1000 → 删除；GPT-5质量评分<3/5 → 删除（仅对高风险数据，不适用于全部数据）。
步骤8：数据标注（Data Annotation）。 对数据进行标注（分类、实体识别、意图识别），用于后续的监督微调。
策略： AI预标注 + 人工审核。AI标注成本低但质量差，人工标注成本高但质量好。两者结合，是最优策略。
步骤9：数据配比（Data Mixing）。 根据"数据配比策略"（如网页50%+代码20%+书籍15%），将不同类型的数据混合。
关键： 数据配比不是"按比例混合"，而是"按目标混合"。不同的模型、不同的目标市场，需要不同的数据配比。
步骤10：数据存储与版本控制（Data Storage & Versioning）。 将策展后的数据存储到分布式文件系统（如AWS S3、HDFS），并使用数据版本控制工具（如DVC、LakeFS）管理数据版本。
关键： 数据版本控制是"可复现训练"的基础。没有数据版本控制，你无法"回到过去"重新训练模型。
数据策展流水线的"成本"
| 步骤 | 计算资源 | 存储资源 | 人力 | 总成本（100TB原始数据） |
|---|---|---|---|---|
| 数据采集 | 1000 vCPU | 100TB | 1人月 | ¥20,000 |
| 格式解析 | 500 vCPU | 100TB | 0.5人月 | ¥10,000 |
| 语言检测 | 200 vCPU | 100TB | 0.2人月 | ¥5,000 |
| 数据清洗 | 500 vCPU | 100TB | 0.5人月 | ¥10,000 |
| PII脱敏 | 200 vCPU | 100TB | 0.3人月 | ¥15,000 |
| 数据去重 | 1000 vCPU | 100TB | 0.5人月 | ¥30,000 |
| 质量过滤 | 500 vCPU | 100TB | 0.5人月 | ¥20,000 |
| 数据标注 | - | - | 2人月 | ¥100,000 |
| 数据配比 | 50 vCPU | 20TB | 0.2人月 | ¥5,000 |
| 存储与版本控制 | - | 20TB | 0.3人月 | ¥10,000 |
| 总计 | 6人月 | ¥225,000 |
数据策展的总成本约¥225,000（约$31,000）。 相比于GPU训练成本（¥1,000,000+），数据策展的成本是"零头"。
数据策展的"自动化"
数据策展的终极目标是"自动化"——从原始数据到训练数据，全流程自动化，不需要人工干预。
2026年，数据策展的自动化程度约60-70%。 数据采集、清洗、去重、质量过滤——这些步骤已经可以自动化。但数据标注、质量审核——这些步骤仍然需要人工（或AI+人工）。
2027年，数据策展的自动化程度预计达到80-90%。 AI的质量审核能力在快速提升，未来可能不再需要人工审核。
结语：数据策展是"苦活"，但也是"护城河"
数据策展是AI训练中最"苦"的活——它无聊、耗时、容易出错。 但它也是AI训练中最重要的"基础设施"——数据策展的质量，直接决定了模型的质量。
数据策展的"护城河"： 一套好的数据策展流水线，是竞争对手无法复制的。因为它需要"数据积累"（多年的数据采集和清洗）和"工程经验"（知道哪些数据是"脏"的，怎么洗）。
对于AI公司来说，数据策展不是"成本"，而是"投资"。 投资¥225,000在数据策展上，可以省下¥1,000,000+的训练成本（因为脏数据导致的训练失败）。
数据来源：作者团队数据策展流水线项目经验（2026年Q1），Apache Spark/AWS S3/HuggingFace Datasets文档。