首页/ 资讯/ SpatialScout 北大联合天津大学开源的三维空间智能基准

SpatialScout 北大联合天津大学开源的三维空间智能基准

灵犀编辑部 2026-11-16 8 阅读

SpatialScout是什么

SpatialScout是北京大学与天津大学团队开源的三维空间智能基准,包含80个室内场景和3,140个目标物体。SpatialScout要求视觉语言模型操控可自由移动的摄像头,自主探索环境、调用三角测量等工具,逐步建立统一坐标系下的物体中心三维地图。评测同时考察定位精度与目标覆盖率。

SpatialScout

SpatialScout的主要功能

  • 主动探索 :模型自主操控摄像头平移、旋转并拍摄图像,决定下一步观察哪里。
  • 跨视角三角测量 :用不同视角中的对应像素调用工具,估计物体表面点的三维位置。
  • 在线建图与修正 :在初始相机定义的固定坐标系下,分批提交和更新物体中心坐标。
  • 双维评分 :同时以中心误差和与物体尺度相关的三维 IoU 评估定位精度与目标覆盖率。
  • 过程分析 :保留观察、工具调用与位置更新的完整轨迹,支持分析模型的视角选择与空间修正策略。

SpatialScout的技术原理

  • 统一坐标的建图任务定义 :评测将空间理解转化为在统一坐标系下构建物体中心地图的任务:智能体从初始视角出发,获得 RGB 图像、目标物体清单、相机内参与位姿以及公开搜索范围,持续把各视角的观察结果落实为三维坐标;真实中心、包围盒与评测分数保留在评测端,探索过程中不向模型返回。
  • 工具化的主动感知接口 :所有模型通过统一的工具接口与提示词进行交互,可移动相机拍摄新图像,并对跨视角对应像素调用三角测量工具;模型需自行判断哪些视觉特征属于同一物体、表面点如何对应物体几何中心,每个任务限定 100 次模型调用和 100 张图像(含初始图像),一次调用可请求多个工具。
  • 尺度相关的 IoU 评分机制 :模型只需提交物体中心坐标,无需预测尺寸:评测器将目标的参考包围盒平移到预测中心,与真实包围盒计算三维交并比;全目标平均 IoU 将未提交物体按零分计入以约束覆盖率,已提交目标的平均 IoU 反映定位质量,同类可互换实例采用组内一一匹配以消除编号顺序影响。
  • 基于轨迹的失败归因分析 :通过对多模型轨迹的定量与定性分析,揭示跨视角特征对应与几何工具的有效使用才是定位质量的关键,几何残差小并不保证找对了对应特征或物体中心。
挖挖GitHub

如何使用SpatialScout

  • 获取代码 :从 GitHub(github.com/JesseZZZZZ/SpatialScout)克隆仓库,按说明配置环境与依赖。
  • 接入被评测模型 :将待测视觉语言模型接入基准统一的工具接口与提示词,使其具备图像输入与工具调用能力。
  • 加载任务 :智能体从初始视角出发,接收 RGB 图像、目标物体清单、相机内参和位姿及公开搜索范围。
  • 自主探索 :模型自主决策,平移或旋转摄像头拍摄新图像,每个任务预算为 100 次模型调用和 100 张图像。
  • 几何估计 :对不同视角中属于同一物体的对应像素调用三角测量工具,估计其表面点的三维位置。
  • 提交与更新地图 :将估计的物体中心以初始相机坐标系提交,可分批补充遗漏目标或修改已有估计。
  • 自动评分 :评测器根据提交的坐标计算中心误差、目标覆盖率和尺度相关三维 IoU,生成最终评测结果。

SpatialScout的核心优势

  • 可交互的真实任务设定 :把空间理解从看图像答题升级为自由移动摄像头、自主获取证据并输出三维坐标的完整任务,更贴近具身智能的真实需求。
  • 统一公平的评测协议 :所有模型使用统一的工具接口、提示词和交互预算,结果可直接横向比较。
  • 精度与覆盖率双重计分 :全目标平均 IoU与已提交平均 IoU 相结合,有效识别只报少数容易物体的投机行为。
  • 免预测物体尺寸 :评测器将参考包围盒平移到预测中心计算 IoU,模型只需提交坐标,降低评分对尺寸估计的干扰。
  • 防编号作弊的匹配机制 :同类可互换实例采用组内一一匹配,消除物体编号顺序对评测结果的影响。
  • 过程级可分析性 :保留完整的观察、工具调用与位置更新轨迹,支持对视角选择、跨视角对应和失败模式的细粒度归因。

SpatialScout的项目地址

  • GitHub仓库 :https://github.com/JesseZZZZZ/SpatialScout
  • arXiv技术论文 :https://arxiv.org/pdf/2610.26659

SpatialScout的同类竞品对比

对比维度 | SpatialScout | VSI-Bench

style="border-collapse: collapse; width: 744px; height: 646px;" border="0" width="408" cellspacing="0" cellpadding="0">
对比维度 SpatialScout VSI-Bench
任务范式 主动探索:模型自主移动摄像头、调用工具建图 被动问答:模型回答关于图像/视频的方向、距离、计数问题
输出形式 统一坐标系下的物体三维中心坐标 文字形式的选择题/数值答案
交互能力 支持工具调用与多轮自主交互(100 次调用预算) 无交互,一次性输入图像或视频
评测指标 中心误差、目标覆盖率、尺度相关三维 IoU 答题准确率
考查重点 主动感知 + 跨视角对应 + 几何估计 + 在线建图 静态场景下的空间关系推理
数据来源 80 个物理仿真室内场景、3,140 个目标物体 真实场景的第一视角视频与全景图像
过程分析 保留完整轨迹,可分析视角选择与失败归因 仅最终结果,无过程级分析
评测防作弊设计 组内一一匹配、未提交计零分 选择题形式天然受限答案空间

SpatialScout的应用场景

  • 具身智能机器人 :评测和改进机器人在陌生房间中自主寻找、定位目标物体(如找到桌上的杯子)的能力。
  • AR/VR 空间感知 :检验模型能否精确估计物体三维位置,为虚拟物体的持久化锚定与遮挡渲染提供能力底座。
  • 智能家居与服务机器人 :支撑扫地机、陪伴机器人建立室内物体地图,实现帮我拿一下沙发上的遥控器类指令。
  • 仓储与物流盘点 :让移动机器人自主巡检货架,输出每件货物的精确三维坐标,辅助库存清点与拣选。
  • 自动三维重建与数字孪生 :验证主动感知式建图算法,为快速生成精确的室内场景数字孪生体提供评测与训练基准。
相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐