Hy-Nomas 腾讯混元团队开源的交互式视频世界生成模型

Hy-Nomas是什么

Hy-Nomas 是腾讯混元团队开源的交互式视频世界生成模型，采用分段自回归方式生成视频，支持在每段间自由切换文本提示或相机轨迹控制，并通过 lifelong KV cache 保持长程一致性。Hy-Nomas已开源代码与权重，提供蒸馏版和 INT8 量化版，经优化后单张 RTX 4090 可本地推理。

Hy-Nomas的主要功能

• 自由形式文本控制 ：支持任意形式的文本提示，控制生成世界中的物体、风格、场景与动作。
• 相机轨迹控制 ：可基于相机运动轨迹条件化生成，与文本提示自由组合切换。
• 多轮交互生成 ：Web 交互界面支持在段边界处注入新指令，实现多轮连续生成。
• 提示词增强（Nomas-PE） ：内置在线模型将用户口语化指令自动转化为结构化生成提示。
• 消费级本地部署 ：INT8 量化 + CPU offload 优化，单张 RTX 4090 即可完成推理。
• LoRA 微调 ：支持用自定义视频数据进行微调，并可合并进蒸馏模型用于推理。

Hy-Nomas的技术原理

• 分段自回归架构 ：将长视频按段生成，每段条件于当前提示或相机信号，并维护一个贯穿所有段的 lifelong KV cache，使场景、物体和风格在时间上保持一致，实现长程世界生成。
• 蒸馏加速推理 ：通过蒸馏训练将去噪步数压缩至 4/6/8 步，配合专门微调的 PixelUMM 解码器处理 32 通道 DCAE-V 隐变量，在保证质量的同时大幅降低推理延迟。
• 低显存推理机制 ：DiT 权重与 KV cache 采用 INT8 存储、计算保持 BF16；历史上下文用滑动窗口截断非无限增长；文本编码器、DiT、VAE 按阶段在 CPU/GPU 间切换，将峰值显存压到消费级显卡可承受的范围。
• LoRA 分段强制训练 ：微调以非蒸馏 checkpoint 为底模，采用 segment forcing 训练管线，只训练 LoRA 参数（rank/alpha 256）；训练完成后将 LoRA 权重合并回蒸馏 checkpoint，得到既保留蒸馏加速又具备定制能力的推理模型。

Hy-Nomas的核心优势

• 双模态自由切换 ：每段生成可在文本提示与相机轨迹控制间自由切换，交互方式灵活。
• 长程一致性 ：lifelong KV cache 保证物体、场景与风格跨段延续，避免长视频漂移。
• 消费级可跑 ：INT8 量化 + 滑动窗口 + CPU offload，单张 RTX 4090 可本地推理。
• 推理极快 ：蒸馏后仅需 4~8 步去噪，显著降低生成延迟。
• 完全开源 ：代码、权重、训练与数据标注流程全公开，Apache 2.0 协议可商用。

Hy-Nomas的项目地址

• 项目官网 ：https://hy-nomas.hy.tencent.com/
• GitHub仓库 ：https://github.com/Tencent-Hunyuan/Hy-Nomas
• HuggingFace模型库 ：https://huggingface.co/tencent/Hy-Nomas

Hy-Nomas的同类竞品对比

对比维度 | Hy-Nomas（腾讯混元） | Genie 3（Google DeepMind）

Hy-Nomas的应用场景

• AI 游戏原型开发 ：通过文本与相机指令快速生成交互式游戏世界，低成本验证玩法概念。
• 机器人仿真训练 ：借助官方 Robotics LoRA 生成真实感机械臂操作环境，为具身智能提供合成训练数据。
• 影视预演与分镜 ：用电影感 LoRA 生成连贯长镜头，辅助导演做运镜设计和视觉预览。
• 虚拟文旅与空间展示 ：用相机轨迹控制生成可漫游的景区、展厅、房产场景，替代传统 3D 建模。
• AI 研究与教育 ：完整的训练、微调、数据标注代码开源，可作为世界模型方向的教学与科研基座。