2026年,计算机视觉领域正在发生一场静悄悄的革命。这场革命没有Sora那样的聚光灯,没有GPT-5那样的发布会,但它的影响可能比两者都更深远。
这场革命的名字叫「开放词汇检测」(Open-Vocabulary Detection, OVD)。
在传统的计算机视觉中,一个目标检测模型只能识别它「见过」的类别——你在COCO数据集上训练模型,它就能识别80个类别;你在ImageNet上训练,它就能识别1000个类别。你想让模型识别一个新类别?重新标注数据,重新训练模型。
但在2026年,这个「闭集」范式正在被彻底打破。开放词汇检测让AI可以检测任何你用自然语言描述的物体——不需要额外训练,不需要额外标注,只需要你告诉它「找什么」。
你说「找一只戴着红色围巾的白色猫」,它就能找到。你说「检测所有有裂缝的瓷砖」,它就能检测。你说「找画面中所有看起来悲伤的人」,它就能尝试。
这不仅仅是「技术升级」,这是「范式革命」。
闭集检测的「天花板」 要理解开放词汇检测的意义,先要理解传统「闭集检测」的局限。
传统的目标检测模型(如YOLO、Faster R-CNN、DETR)遵循一个基本假设:世界上的物体类别是有限的、已知的、固定的。 训练时定义好类别列表(比如「人、车、狗、猫、椅子」),推理时只能识别这些类别。
这个假设在2026年已经严重限制了CV的应用:
局限一:长尾问题无解。 世界上有数以万计的物体类别,但大多数类别的训练样本极少。你可以在COCO上训练80个类别的检测器,但现实世界中有多少种「椅子」?办公椅、电竞椅、躺椅、吧台椅、轮椅、婴儿餐椅……每一种都有不同的外观。闭集模型无法泛化到这些长尾类别。
局限二:新类别需要重新训练。 工业场景中,产线换了新产品,检测模型就要重新训练。医疗场景中,发现了新的病灶类型,需要重新标注和训练。这种「硬编码」的灵活性,在真实世界中是不可接受的。
局限三:无法理解「组合概念」。 闭集模型可以识别「人」和「红色」和「衣服」,但无法理解「穿红色衣服的人」。它可以把「人」和「自行车」分开检测,但无法理解「骑自行车的人」。这些组合概念需要重新定义类别。
局限四:无法适应开放世界。 自动驾驶汽车在道路上会遇到各种「意想不到」的物体——散落的货物、掉落的树枝、路边的动物尸体。闭集模型无法处理这些「未知的未知」。
闭集检测的「天花板」,不是精度的天花板,而是灵活性的天花板。 而开放词汇检测,正在打破这个天花板。
开放词汇检测的技术路线 2026年,开放词汇检测的技术路线已经基本清晰。核心思路是:利用视觉-语言模型(VLM)将对文本的理解和对图像的理解对齐到同一个语义空间。
路线一:Grounding DINO系列。 IDEA研究院在2024年发布的Grounding DINO,是开放词汇检测的里程碑式工作。它的核心思想是:将目标检测的「类别分类」问题,转化为「文本-图像匹配」问题。你不是在「猫、狗、车」三个类别中做分类,而是在「这张图片中的这个区域,和文本描述’一只橙色的猫’匹配吗?」这个问题上做判断。
Grounding DINO 2(2026年发布)在开放词汇检测上的表现已经接近甚至超越了传统的闭集检测器。在LVIS(1203个类别)上,Grounding DINO 2的零样本检测AP达到45.2%,而传统闭集模型(如DETR)在完全训练后也只有约48%。这意味着:开放词汇检测器在不经过任何目标数据集训练的情况下,已经接近了闭集检测器的全监督性能。
路线二:CLIP + 检测器。 这是最直观的思路——用CLIP作为「视觉-语言编码器」,将其嵌入到目标检测框架中。OWL-ViT(Google, 2023)、RegionCLIP(Microsoft, 2022)、Detic(Meta, 2022)都走的是这条路。2026年,这条路线已经非常成熟,但在细粒度定位上不如Grounding DINO。
路线三:SAM + 文本。 Meta的SAM(Segment Anything Model)在2023年展示了「分割一切」的能力,但SAM本身不理解「语义」——它不知道分割出来的区域是什么。2026年,SAM 2结合文本编码器,实现了「开放词汇分割」——不仅分割一切,还能告诉你分割的是什么。你可以说「分割出所有汽车」,SAM 2就能做到。
路线四:通用视觉-语言架构。 GPT-5 Vision、Gemini 2.0 Vision、Claude 4 Vision等通用多模态模型,在2026年也具备了强大的开放词汇检测能力。虽然它们不是「检测专用模型」,但对于很多应用场景来说,「发一张图给GPT-5 Vision,让它描述图中有哪些物体」,已经足够好用了。
2026年开放词汇检测的「最佳实践」:Grounding DINO 2做检测+SAM 2做分割。 先用Grounding DINO 2找到「所有汽车」的位置(bounding box),再用SAM 2对每个位置进行像素级分割。这个组合在2026年已经成为开放词汇视觉任务的「标准管线」。
开放词汇检测正在「吃掉」哪些场景 开放词汇检测不是「实验室玩具」,2026年它已经在多个场景中落地。
...