一个"无法评估"的困境

2026年,OpenAI宣称Sora"理解物理世界",DeepMind宣称Genie 2"是真正的世界模型"。但如何验证这些宣称?如何客观地评估一个世界模型"懂"物理?

答案是:我们还没有一个完美的评估方法。

金句:评估世界模型比训练世界模型更难。 因为"理解物理"不是一个可以用单一数字衡量的概念。

2026年的评估方法

方法一:FVD(Frechet Video Distance)。 从FID(图像质量评估)扩展到视频领域。FVD衡量生成视频和真实视频在"特征空间"中的距离。FVD越低,生成的视频越"真实"。优点: 可自动化、可量化。缺点: FVD衡量"视觉质量",不衡量"物理正确性"。一个物理上错误的视频,可能FVD很低。

方法二:物理一致性评分。 人工或AI评估生成视频的"物理一致性"——物体的运动是否符合物理规律,场景是否在物理上可能。优点: 直接衡量"物理理解"。缺点: 主观性强,无法大规模自动化。

方法三:交互式评估。 在交互式环境(如Genie 2)中,评估世界模型的"物理响应"——当用户"推"一个物体,它是否以物理上正确的方式响应?优点: 最接近"真实世界模型"的定义。缺点: 只适用于交互式世界模型。

方法四:下游任务评估。 在世界模型上训练一个机器人策略,然后在真实机器人上测试——如果机器人在真实世界中表现好,说明世界模型"理解"物理。优点: 最有说服力的评估。缺点: 成本极高,需要真实机器人。

方法五:物理测验。 设计一系列物理问题(如"一个球从斜坡上滚下来,会滚多远?"),让世界模型生成"答案视频",然后检查答案的物理正确性。优点: 可设计、可量化。缺点: 只覆盖有限的物理现象。

2026年,评估的"不可能三角"

世界模型的评估面临一个"不可能三角":自动化的评估不准确,准确的评估需要人工,人工评估无法大规模。2026年,研究者正在寻找"AI辅助评估"的方法——用AI评估AI生成的视频——但这本身就是一个"鸡生蛋"的问题。

结论:世界模型评估是一个"未解决"的问题。 但在评估方法完善之前,我们需要谨慎对待"世界模型理解物理"的宣称。没有可靠的评估,就没有可靠的进步。