BlenderWorld Qwen 开源的 3D 创作 Agent 评测基准

BlenderWorld是什么

BlenderWorld 是 Qwen 团队联合浙大、港中大、复旦、新国大推出的 3D 创作 Agent 评测基准，包含 223 项真实任务，测试 AI 能否根据照片、视频或设计规格，在 Blender 中交付可编辑的 3D 工程。BlenderWorld通过多视角渲染与原生工程检查双轨评审，用 2,651 条验收标准衡量需求完成度与视觉质量。实测 13 个系统中，最强的 GPT-6-Astra 也仅 42.2% 的任务完全达标。

BlenderWorld的主要功能

• 完整 3D 创作流程评测 ：要求 Agent 从需求与参考素材出发，完成建模、材质、灯光、相机、动画等环节，最终交付可编辑的 .blend 工程。
• 多参考素材支持 ：任务涵盖图片、视频与纯规格文件三类输入方式。
• 宽领域任务覆盖 ：覆盖建筑室内、产品制造、车辆机械、角色动物、自然环境、动画、仿真、科学可视化等 9 大类 22 子类场景。
• 双轨自动评审 ：VLM 评审渲染图像与视频，工程检查 Agent 核对 .blend 文件的内部结构与属性。
• 多视角证据生成 ：自动为提交工程选取 8 个互补视角，用 Cycles 渲染补充视觉证据。
• 双维度综合评分 ：按 0.5 × Rubric+ 0.5 × Dimension计算综合分，并报告 Perfect 通过率。

BlenderWorld的技术原理

• 任务与验收标准构建 ：研究者借助多模态模型生成并改写任务需求，人工检查附件可读性与图文一致性，再从需求、参考和附件中提取验收条件，经试评测与至少两个独立评审模型交叉检查后冻结为 6—22 条二元标准，按重要性赋权（3/2/1），且对生成 Agent 不可见以防投机取巧。
• 多视角渲染取证 ：独立评测环境读取提交的 .blend 工程，由 Automatic Agent Render 根据任务与验收条件自动挑选 8 个互补视角，以 1024×1024 分辨率、64 samples 用 Cycles 渲染；评测 Agent 可调整相机与渲染设置，但禁止修复工程内容，原始导出媒体保留为准，视频任务另补有序采样帧作为运动证据。
• 双轨评审机制 ：VLM-as-Judge 基于图像和视频判断外观、空间布局与运动；Agent-as-Judge 通过工具直接检查 .blend 工程中的原生结构与属性，必要时才参考视觉证据，从而核对精确尺寸、内部结构等渲染图无法呈现的信息。

如何使用BlenderWorld

• 安装 ModelScope SDK ：运行 pip install -U modelscope 安装数据集下载工具。
• 下载基准数据集 ：调用 dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") 拉取 223 项任务到本地。
• 接入自己的 3D Agent ：让你的 Agent 读取任务需求与参考素材，在 Blender 环境中执行创作并输出 .blend 工程及配套媒体文件。
• 提交作品接受评测 ：将工程提交至独立评测环境，由系统自动完成多视角渲染与双轨评审。
• 查看评分结果 ：获取 Rubric 验收分、Dimension 观感分、综合分与 Perfect 通过率，并用失败轨迹定位 Agent 的薄弱环节。

BlenderWorld的核心优势

• 评测目标贴近真实制作需求 ：要求交付可编辑的 .blend 工程而非单张效果图，未提交工程直接记零分。
• 验收标准严密且防作弊 ：2,651 条二元标准经多轮交叉评审冻结，并对生成 Agent 不可见，大幅压缩针对性取巧空间。
• 双轨评审补足视觉盲区 ：结合多视角渲染与原生工程检查，能发现内部结构、精确尺寸、动画配置等单张主视角图无法暴露的缺陷。
• 评分体系兼顾完成度与观感 ：Rubric 与 Dimension 各占 50% 加权，另设 Perfect 指标区分需求覆盖高与完整可靠交付。
• 任务覆盖广、参考形式多样 ：223 项任务横跨 9 大类 22 子类场景，支持图片、视频与纯规格文件三类输入。

BlenderWorld的项目地址

• 项目官网 ：https://blenderworld.github.io/
• GitHub仓库 ：https://github.com/QwenLM/BlenderWorld
• HuggingFace模型库 ：https://huggingface.co/datasets/Qwen/BlenderWorld
• 技术论文 ：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf

BlenderWorld的同类竞品对比

对比维度 | BlenderWorld | 3DGen-Bench

BlenderWorld的应用场景

• 3D Agent 能力评测 ：为开发 Blender 自动化 Agent 的团队提供标准化测试场，量化重建、修改、设计三类创作能力。
• 大模型选型对比 ：在同一套 2,651 条验收标准下横向比较不同闭源/开源模型的 3D 交付可靠性，辅助技术选型。
• 模型迭代回归测试 ：在 Agent 或基座模型每次升级后运行基准，通过 Perfect 分数和失败轨迹定位能力退化或提升点。
• 失败分析与能力补强 ：用多视角证据和执行轨迹诊断典型缺陷，指导自检逻辑与修复策略优化。
• 科研基准与社区榜单 ：作为开源学术基准，支撑 3D 视觉 Agent 领域的论文评测、排行榜与训练数据构建。