“那个模型是哪次实验训练出来的？”

2026年6月，产品经理问：“我们线上跑的那个推荐模型，是哪次实验训练出来的？参数是什么？用的什么数据？”

我们打开了一个Excel表格，里面记录了约200个实验。但"线上模型"对应的那一行，写着"model_v3_final_2_fixed.pkl"。没有人知道这个文件对应的实验记录在哪里。

金句：实验追踪不是"记录一下参数"，而是"建立模型的完整谱系"。

2026年实验追踪的四个层次

层次一：无追踪。 模型文件命名：model_v1.pkl, model_final.pkl, model_final_final.pkl。层次二：文件记录。 用CSV/Excel/Notion记录。不可扩展。层次三：工具追踪。 用MLflow/W&B自动记录。这是2026年的行业标准。层次四：系统化实验管理。 每个实验有明确的假设、预期结果和实际结论。这是2026年的一流AI团队的标准。

MLflow实验追踪最佳实践

每个实验记录这些信息：代码版本（git_commit）、数据版本（data_version）、模型超参数（learning_rate等）、特征列表、评估指标（train/val/test）、模型文件、环境信息。使用嵌套实验（Nested Runs）进行超参数搜索。建立实验命名规范：{project}_{model_type}_{hypothesis}_{date}。

实验追踪的"考古学"

一个好的实验追踪系统，应该能回答以下问题（即使是在6个月后）：线上模型是哪个实验？Run ID是什么？用了什么数据？超参数是什么？相比上一个版本的改进是什么？有没有已知的问题或限制？

结论：实验追踪的水平，决定了你的ML团队的"智商"。 一个团队能记住上周的实验，两个团队能记住上个月的，但只有系统化的实验追踪，才能让团队记住半年甚至更久的实验。实验追踪不是成本，而是对团队记忆的投资。