首页/ 资讯/ Duo v1 蚂蚁联合西湖心辰开源的全双工音视频交互模型

Duo v1 蚂蚁联合西湖心辰开源的全双工音视频交互模型

灵犀编辑部 2026-11-18 4 阅读

Duo v1是什么

Duo v1 是蚂蚁技术研究院与西湖心辰联合开源的全双工音视频交互模型,也是首个 Reciprocal World Model(双向世界模型)实现。Duo v1由 Intent 与 Realization 两个耦合模块构成,Intent 作为虚拟主体的大脑,每约0.7秒自主决策说话或倾听并生成内容;Realization 基于其隐状态因果生成一致的音视频。三阶段训练加 Dual Rollout 解决推理分布偏移,最终蒸馏为4步实时生成。

Duo v1

Duo v1的主要功能

  • 全双工实时交互 :边说边听,模型在音视频输入的同时自主决定何时开口、何时倾听。
  • 自主参与决策 :不是被动执行指令,而是基于对话上下文原生判断 speak 或 wait 。
  • 联合音视频生成 :音频与视频统一生成,保证口型、表情与语音内容一致。
  • 打断响应 :能处理用户的自然打断并调整回应,而非按脚本顺序播放。
  • 身份与情感一致性 :在交互过程中保持角色视觉外观和视听情感的稳定。
  • 多角色多场景 :支持动物、虚拟人物等多种角色,覆盖对话、指导、协作、陪伴四类场景。

Duo v1的技术原理

  • 双向世界模型(RWM) :传统世界模型只模拟物理场景,用户在外部控制;RWM 把智能主体内化为世界的一部分,虚拟主体与世界共享同一交互时空,具备感知、决策和表达能力,而非被操控的 NPC。
  • Intent 模块(认知主体) :用约 0.7 秒为一个时间块,基于用户输入和交互历史连续推理,输出 speak/wait 决策和语言内容;输出的是隐状态,直接作为 Realization 的条件信号。
  • Realization 模块(视听表达) :基于 Intent 隐状态、用户输入和自身生成历史,联合生成音视频;通过模块特定的因果注意力掩码,确保任何时刻都不能访问未来输入,训练与推理保持一致。
  • 三阶段训练 :第一阶段训练 Intent 做参与决策和文本预测,用动作感知重平衡解决过度等待偏差;第二阶段冻结 Intent,训练 Realization 做因果联合视听生成;第三阶段用分布匹配蒸馏压缩为 4 步生成器以满足实时性。
  • Dual Rollout :解决训练用录制媒体、推理用自己生成历史的分布偏移,冻结 Intent 自回归生成文本,Realization 在自身合成的视听历史上训练。
  • 数据构建 :合成数据由 LLM 按控制卡片生成剧本再逐块生成视频,并用固定 opening video 作参考抑制误差累积;录制数据经 ASR、VAD、说话人分离和时间轴对齐后统一为因果交互格式,再经四类自动质检过滤。
挖挖GitHub

如何使用Duo v1

  • 环境准备 :准备 Linux + Python 3.10+ + FFmpeg + 2 张 CUDA GPU,克隆仓库后分别创建并安装 .venv-model (先装匹配 CUDA 的 PyTorch,再 pip install -e '.[realization]' )和 .venv-speech ( pip install -e '.[speech]' )两个虚拟环境。
  • 下载权重 :执行 hf download inclusionAI/Duo-1.2-causal-base --local-dir weights 下载完整模型包(含 ASR 与对齐模型),或先下 Duo-1.0-causal-base 再叠加 Duo-1.0-distill 获得 4 步实时生成。
  • 复制配置 : cp configs/inference.example.json configs/inference.json 。
  • 填写配置 :在 inference.json 中填好三个 Python 可执行路径(realization / intent / speech 分属两个虚拟环境)及各模型权重目录。
  • 启动服务 :运行 .venv-model/bin/python run_demo.py --config configs/inference.json --port 4173 。
  • 开始使用 :浏览器打开 http://127.0.0.1:4173/video/index.html ,录制或上传 MP4/WebM 视频可生成并播放 Duo 的音视频回应。

Duo v1的核心优势

  • 双向世界模型范式 :首个将智能主体内化为世界一部分的 Reciprocal World Model,虚拟主体不再是受外部操控的 NPC。
  • 原生全双工能力 :Intent 模块每约 0.7 秒自主决策 speak/wait ,天然支持边说边听、打断响应。
  • 严格因果一致性 :模块特定的注意力掩码强制统一时间线上的因果依赖,任何模块都无法访问未来输入,保证训练和推理行为一致。
  • 端到端联合生成 :音频与视频由 Realization 模块联合生成,从机制上保障口型、表情、语音内容的一致性。

Duo v1的项目地址

  • 项目官网 :https://duo-v1.github.io/
  • GitHub仓库 :https://github.com/inclusionAI/Duo
  • HuggingFace模型库 :https://huggingface.co/collections/inclusionAI/duo-v1
  • arXiv技术论文 :https://arxiv.org/pdf/2611.15131

Duo v1的同类竞品对比

对比维度 | Duo v1 | Gemini Live

style="border-collapse: collapse; width: 747px; height: 866px;" border="0" width="408" cellspacing="0" cellpadding="0">
对比维度 Duo v1 Gemini Live
核心范式 Reciprocal World Model(双向世界模型) 实时多模态语音/视频交互 API
输出形态 音视频联合输出(生成虚拟主体的画面+声音) 仅语音输出(可”看懂”视频但不生成形象)
交互决策 Intent 模块每 0.7 秒自主决策说/听,决策内生于模型 全双工原生源,但参与节奏由服务端策略调控
世界模拟能力 场景作为交互时空的一部分被联合建模 无(专注对话理解,不模拟物理世界)
开放程度 完全开源:报告 + 代码 + 权重(Apache 2.0),支持自托管 闭源 API(~$0.01/分钟起,按 token 计费)
延迟 4 步蒸馏生成 + 约 0.7 秒 chunk 节律 端到端约 300–500 ms
部署门槛 高:需 2 张 CUDA GPU 自托管 低:调用 API 即可
语言支持 以中英为主(训练数据双语混合) 90+ 语言,业界最广

Duo v1的应用场景

  • AI 陪伴与情感陪伴 :生成猫咪、动漫女孩等虚拟伙伴,进行有表情、有情绪起伏的日常闲聊与陪伴。
  • 在线教育与辅导 :虚拟老师实时讲解并观察学生反应,根据学生的提问和困惑自主调整教学节奏。
  • 智能客服与导购 :数字人客服边看用户演示边实时解答,用户可随时打断追问,接近真人柜面交流体验。
  • 远程协作与共同规划 :虚拟同事参与方案讨论、共同修改计划(如一起改生日计划围绕材料做设计类协作对话)。
  • 无障碍交互 :为视障/听障用户提供兼具语音与可视化形象的实时双向交流界面,用情感一致的视听输出降低沟通门槛。
相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐