机器人「看」世界：从识别到理解

具身智能（Embodied AI）的核心命题是：如何让AI在物理世界中像人类一样感知和行动。而视觉，是机器人感知物理世界最重要的通道。2026年，具身智能视觉感知正在经历从「看到什么」到「理解空间」再到「预测交互」的三级跳。

传统的机器人视觉主要解决「识别」问题——这是杯子、那是桌子、前面有障碍物。但2026年的具身视觉需要解决更复杂的问题：这个杯子有多重？桌面是光滑还是粗糙？我能不能把这个杯子放进那个抽屉里而不碰到旁边的花瓶？

这些问题涉及3D空间理解、物理属性推断和交互预测，远比传统计算机视觉的「检测-分类-分割」范式复杂。

核心突破：3D视觉感知的范式转变

2026年，具身智能视觉感知有三个关键技术突破：

1. 神经辐射场（NeRF）与3D高斯泼溅（3DGS）的实时化

NeRF和3DGS是近两年最重要的3D视觉技术。它们可以从多视角2D图像重建出高质量的3D场景。2026年的关键突破在于「实时化」——NVIDIA的Instant NeRF 2.0和Google的Zip-NeRF可以在消费级GPU上实现每秒30帧以上的3D场景重建。

对于机器人来说，这意味着可以在移动过程中实时构建周围环境的3D模型。Figure AI的人形机器人Figure 03（2026年Q1发布）就采用了基于3DGS的实时建图系统，可以在进入一个全新房间的5秒内构建出可用于导航和操作的高精度3D地图。

2. 视觉-语言-动作（VLA）大模型

VLA（Vision-Language-Action）模型是2026年具身智能领域最受关注的技术方向。它的核心思路是：将视觉感知、语言理解和动作生成统一在一个端到端模型中。

Google DeepMind的RT-3（Robotics Transformer 3）是VLA路线的代表作。RT-3在超过100万个真实机器人操作视频上训练，可以直接从RGB图像和自然语言指令生成机器人关节运动轨迹。在2026年的公开评测中，RT-3在未见过的操作任务上取得了72%的成功率，而2024年的RT-2仅为46%。

值得注意的是，VLA模型开始展现出「涌现能力」——模型可以泛化到训练数据中没有出现过的物体和场景。例如，RT-3可以拿起一个从未见过的异形杯子，因为它学习了「圆柱形容器可以通过侧面抓取」的抽象概念，而非记忆特定物体的抓取方式。

3. 视觉触觉融合感知

人类在操作物体时，视觉和触觉是协同工作的——我们看到杯子，预估它的重量和表面摩擦力，手指接触时再根据触觉反馈调整力度。2026年，机器人也开始具备这种视觉触觉融合能力。

MIT的GelSight触觉传感器和Meta的DIGIT传感器是这一领域的代表硬件。2026年的关键进展在于「视觉触觉预训练」——通过分析大量人类操作视频，模型学习到「物体外观-物理属性-操作策略」之间的映射关系，然后在实际接触时用触觉数据进行微调。

在精密装配场景中（如电子元件插装），视觉触觉融合系统将装配成功率从纯视觉方案的85%提升到了97%。

产业进展：人形机器人的「眼睛」

2026年，人形机器人赛道的火热直接拉动了具身视觉技术的需求。几家头部公司的进展如下：

  • 特斯拉Optimus Gen 3（2026年6月发布）：搭载8个高分辨率摄像头（类似FSD的视觉系统），配合3D占用网络实现360度环境感知。可以在特斯拉工厂中自主导航、分拣零件、操作工具。
  • Figure 03：采用双目立体视觉+结构光深度相机，配合VLA模型实现端到端操作。在宝马工厂的试点中，可以完成车门装配的辅助操作。
  • 宇树科技H1：中国代表性的人形机器人，采用多传感器融合方案（双目+激光雷达+IMU），在复杂地形（楼梯、碎石路）上展示了出色的视觉导航能力。

根据CB Insights 2026年Q1报告，2025年全球具身智能领域融资总额达到87亿美元，其中约40%的公司将视觉感知列为核心技术栈。

数据瓶颈：合成数据的救赎

具身智能视觉面临的最大挑战不是算法，而是数据。与互联网上的图像文本数据不同，机器人操作数据需要物理世界的交互记录——这既昂贵又耗时。

2026年，合成数据（Synthetic Data）成为破解数据瓶颈的关键方案。NVIDIA的Isaac Sim 4.0和Google的MuJoCo XR可以生成高度逼真的机器人操作模拟数据，包括精确的物理交互、光照变化、物体变形等。

一个关键数据点：Figure AI在训练Figure 03的操作模型时，约85%的训练数据来自合成模拟，仅15%来自真实机器人操作。合成数据的引入将模型训练周期从6个月缩短到6周。

挑战：从实验室到工厂车间的鸿沟

尽管技术进展显著，具身智能视觉感知仍面临严峻的工程挑战：

  • 光照鲁棒性：实验室条件与工厂车间的光照差异巨大，模型泛化能力不足。强反光、阴影、闪烁的工业照明都可能让视觉系统失效。
  • 遮挡处理：机器人在操作时经常被自身手臂遮挡目标物体，需要多视角融合和记忆机制来补偿。
  • 实时性要求：人形机器人的全身协调控制需要毫秒级的视觉反馈，目前的端到端模型推理延迟（50-200ms）仍是一个瓶颈。

2026年，具身智能视觉正在从学术研究走向工业应用，但要实现「像人类一样灵活地看和做」，还有很长的路要走。