视频理解：多模态AI的"最后堡垒"
2026年，多模态AI在图像理解上已经超越了人类（GPT-5在ImageNet上达到95%准确率），但在视频理解上，仍然远远落后于人类。
为什么？ 因为视频不只是"多张图片的集合"——视频有"时间"维度。理解视频，需要理解"时间"——物体的运动、事件的发展、因果的关系。这是多模态AI的"最后堡垒"。
金句：图像理解是"空间问题"，视频理解是"时空问题"。空间问题，AI已经解决了；时空问题，AI还在"看图说话"的阶段。
视频理解的三层能力
第一层：物体识别（AI已经做到）
识别视频中的物体——人、车、猫、桌子。这是"图像理解"的延伸，AI已经做得很好了。
实测： GPT-5在视频物体识别上的准确率约为92%，接近人类（95%）。
第二层：动作识别（AI基本做到）
识别视频中的动作——跑步、跳跃、挥手、拥抱。这需要理解"时间"维度——AI需要"看"多帧图像，才能识别"动作"。
实测： GPT-5在视频动作识别上的准确率约为78%，低于人类（92%）。
典型错误： AI把"挥手"误识别为"求救"，把"拥抱"误识别为"推搡"。因为AI不理解"动作的意图"——它只看到"动作的形态"。
第三层：剧情理解（AI还没做到）
理解视频中的"剧情"——起因、经过、结果、人物关系、情感变化。这需要"因果推理"和"情感理解"——AI目前还做不到。
实测： 我们给GPT-5看了一段"30秒的短视频"（一个人走进房间，看到一只猫，笑了一下，然后走过去抱起猫），问它：“这个人为什么笑？”
GPT-5的回答：“因为这个人看到了猫，猫是可爱的动物，所以这个人笑了。” ——这个回答，是"关联推理"（看到猫→笑），不是"因果推理"。
正确答案应该是： “这个人看到自己的猫（从猫的项圈可以判断），所以开心地笑了，然后走过去抱起猫。” ——GPT-5没有注意到"猫的项圈"这个细节，所以没有理解"这是这个人的猫"。
金句：AI的"视频理解"，是"看到什么就说什么"——它看到猫，就说"猫很可爱"。但人类的"视频理解"，是"看到什么，推理出为什么"——看到猫的项圈，就推理出"这是这个人的猫"。这个差距，是多模态AI的"天堑"。
视频理解的三大技术挑战
挑战一：长视频的"记忆"问题
GPT-5能处理的视频最长是60秒。超过60秒，视频需要被"切片"——每一片单独分析，然后"拼接"结果。但"拼接"会丢失"上下文"——第二段视频和第一段视频的关系，AI可能"忘记"了。
解决方案： 更长的"上下文窗口"（GPT-5的上下文窗口是200K tokens，可以处理约10分钟的视频）+ 更好的"记忆机制"（让AI记住"之前发生了什么"）。
挑战二：细粒度时间理解
AI能理解"秒"级别的时间吗？“这个动作持续了3秒” vs “这个动作持续了5秒”——AI能区分吗？
实测： 我们给GPT-5看了两段视频（一段是"3秒的挥手"，一段是"5秒的挥手"），问它：“哪段视频的挥手时间更长？” GPT-5的准确率只有65%（随机猜测是50%）。
AI的"时间感知"，非常粗糙。 它知道"先发生什么，后发生什么"，但不知道"持续了多久"。
挑战三：因果推理
视频中，事件的"因果关系"是最重要的。但AI的"因果推理"能力，目前还非常弱。
实测： 我们给GPT-5看了一段视频（一个人把杯子放在桌子边缘，杯子掉下来，摔碎了）。问它：“为什么杯子摔碎了？” GPT-5回答：“因为杯子是玻璃的，摔在地上会碎。” ——这个回答，忽略了"杯子放在桌子边缘"这个关键原因。
正确的回答应该是： “因为杯子被放在了桌子边缘（不稳定位置），所以杯子掉下来了，摔碎了。”
AI的因果推理，是"结果导向"的——它看到"杯子碎了"，就推理出"因为玻璃易碎"。但真正的因果推理，是"过程导向"的——需要追溯"杯子为什么掉下来"。
金句：视频理解的"终极挑战"，是"因果推理"。AI能"看到"事件，但不能"理解"事件为什么发生。什么时候AI能"理解因果"，什么时候视频理解才算真正"突破"。