HelixWorld Noiz AI 联合港科大开源的实时交互世界模型

灵犀编辑部 2026-10-15 1 阅读

HelixWorld是什么

HelixWorld 是 Noiz AI 与港科大联合开源的实时交互式音视频世界模型。给模型一张起始图片和文字描述，可通过 WASD 和方向键在 AI 生成的世界中行走、转头，画面与立体空间音效同步实时生成，且声像随视角自然变化。HelixWorld 基于 LTX-2.3 构建，采用双向教师 + 因果蒸馏训练，单张 H800 显卡可实现 768×512 分辨率、24 FPS 的实时生成。配套发布 HelixBench 基准，专门评估空间声学一致性。

HelixWorld的主要功能

实时可交互世界生成：输入起始图片和文字描述，可在 AI 生成的世界中自由探索。
键盘/动作操控：WASD 控制移动、方向键调整视角，画面随操作即时响应。
原生音视频联合生成：视频与立体声音频同步生成，非后期配音。
空间声学一致性：声像随镜头转动自然变化，如左侧声源转身后面向时声音方向随之改变。
三轨解耦提示词：分别用视频、音频、音视频联合描述控制生成内容。
实时流畅体验：单张 H800 显卡上达到 768×512 分辨率、24 FPS 实时生成。

HelixWorld的技术原理

双向教师模型预训练：先训练一个双向音视频扩散模型作为教师：连续 6-DoF 相机轨迹通过 PRoPE 注入视觉注意力，81 类离散动作经 AdaLN-Zero 调制扩散时间步，跨模态注意力把相机运动传递到音频分支，使声音自然产生立体声像变化。
因果蒸馏实现实时化：将教师模型蒸馏为少步因果学生模型：视频潜变量与音频 token 分块处理，块内双向注意力、块间通过 KV cache 因果连接，配合 ODE 初始化使学生能以 4 步完成去噪，满足实时推理需求。
在线轨迹蒸馏抑制漂移：针对自回归长程生成的误差累积问题，训练时用教师 Probability Flow ODE 的终点为目标监督学生速度场，与分布匹配损失（DMD）随机交替使用，兼顾生成多样性与长程稳定性。
长程流式微调：通过滑窗 KV cache 逐段展开长序列训练，保留 sink 帧锚点、历史梯度截断，配合约一分钟的长序列微调，进一步减少长时间生成中的画面漂移与声音退化。

如何使用HelixWorld

方式一：在线体验打开官网 https://helixworld.org，选择示例图片或上传自己的图片。
填写场景的文字描述。
进入世界后用 WASD 移动、方向键转动视角，实时探索生成内容。
运行过程中还可随时修改提示词，调整后续生成的场景。

方式二：本地部署

环境准备：Linux 系统、Python 3.11、CUDA 12.x、NVIDIA 显卡（建议 80GB 显存）、ffmpeg 和 ffprobe。
下载项目并安装依赖： git clone https://github.com/NoizAI/HelixWorld.git ，创建 conda 环境后 pip install -r requirements.txt 。
运行 python download_models.py 下载模型权重。
准备一张起始图片，通过 ./run.sh 指定图片、画面/声音/联合提示词、动作序列等参数，生成 MP4 输出到 outputs 目录。

HelixWorld的核心优势

首个开源实时交互式音视频世界模型：画面与空间立体声在用户操控下联合实时生成，代码和权重完全开放。
真正的转头即变声：声像严格跟随视角转动，空间一致性得分数倍于同类。
单卡即可实时：单张 H800 实现 24 FPS、RTF 0.77 实时生成，速度是同类的 2.5 倍以上。
长程生成不漂移：在线轨迹蒸馏 + 长程微调，30 秒以上连续生成画面声音依然稳定，且多样性不降反升。
音频质量全面领先：HelixBench 核心指标全面最优，用户盲测带音频场景下以 67.9% 偏好率碾压对手。

HelixWorld的项目地址

项目官网：https://helixworld.org/
GitHub仓库：https://github.com/NoizAI/HelixWorld
arXiv技术论文：https://arxiv.org/pdf/2609.38123

HelixWorld的应用场景

沉浸式游戏原型：无需建模和引擎，输入图片即可生成可行走探索的开放世界，大幅缩短游戏 Demo 开发周期。
VR/AR 虚拟空间：第一人称视角 + 空间音频的组合天然适配头显设备，可快速生成虚拟展厅、数字孪生环境。
影视与广告预演：导演上传概念图即可走进场景试听音画效果，在实拍前低成本验证镜头语言和氛围设计。
AI 视频通话/虚拟主播背景：根据语音和交互实时生成匹配的动态背景与音效，替代绿幕和固定素材。
具身智能训练与仿真：作为交互式世界模拟器，为机器人/自动驾驶提供带声光反馈的低成本训练环境，辅助学习物理交互规律。