Hy-SimulMT 腾讯混元开源的同声传译大模型
Hy-SimulMT是什么
Hy-SimulMT是腾讯混元开源的同声传译大模型，支持中英语音到语音实时互译，可边听边译并实时克隆说话人音色。Hy-SimulMT实测响应时延约 3 秒，优于人类译员 4–5 秒的水平；在 RealSI 评测集上延迟最低且翻译质量达开源最佳，超过多数商用 API，并在多领域实测中质量超过人类同传专家。
Hy-SimulMT的主要功能
- 实时语音同传 ：说话人的音频可连续流入模型，模型边听边译，边说边输出译文，实现中英双向语音到语音的实时互译。
- 实时音色克隆 ：翻译输出可保留说话人本人的音色和语气，多人对话场景下能区分并还原不同说话人的声音。
- 文本+语音双输出 ：模型能输出翻译文本（Interleave 版本还可同时输出源语文本），可通过配套 TTS 服务输出翻译语音。
- 低时延响应 ：实测同传延迟约 3 秒，快于人类专业译员 4.5–4.7 秒的水平。
Hy-SimulMT的技术原理
- 流式同传解码： 增量理解与先开口、后修补， 同传的核心矛盾是等信息多一点译得准与早点开口听感好之间的权衡。Hy-SimulMT 不等待说话人把话讲完，是在连续音频流上边接收边做增量理解，只积累少量语音信息就开始生成译文；后续信息到来后若发现先前输出不完整或有误，会像人类译员自我修正一样对译语进行修补。
- 大规模稀疏 MoE 翻译主干： 开源模型为 Hy-SimulMT-30B-A3B，即总参数 30B、每次激活约 3B 参数的混合专家（MoE）架构，基于混元 HYV3ForCausalLM 模型族，以 vLLM 作为主流推理后端。稀疏激活的设计让它在保持大模型翻译质量的同时，推理成本接近小模型，适合实时同传这种对速度敏感的在线场景。
- 音色克隆由独立的 TTS 组件完成 ：模型本体负责流式语音识别+同传翻译并输出文本（分纯译文和源文+译文两种输出模式），语音合成与输入音色克隆由可配置的 TTS 服务承担。这种模块化设计让翻译质量与音色自然度可以分别优化，方便接入第三方 TTS；代价是级联链路中 ASR 识别错误可能向下游传导，需要通过翻译模型的鲁棒性来消化。
如何使用Hy-SimulMT
- 克隆仓库 ：执行 git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git 并进入项目目录。
- 一键部署推理服务 ：进入 SimulInfer/ 目录，运行 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave 。
- 配置 TTS（可选） ：如需语音输出和音色克隆，在 config.toml 中配置 TTS 服务连接；纯文本翻译无需此步。
- 开始使用 ：等待终端显示 Ready: http://127.0.0.1:8080/ ，在浏览器打开该地址，选择翻译方向后上传音频文件或开启麦克风说话，点击「Stop and finish」结束。
- 命令行调用 ：可用 curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav 上传文件，或用仓库自带的 simulinfer-client 客户端获取翻译结果。
Hy-SimulMT的核心优势
- 低时延领先 ：实测 StreamLAAL 约 3 秒，比人类专业译员更快，是对比系统中延迟最低的开源同传模型。
- 质量与速度兼得 ：在 RealSI 长音频评测中做到延迟最低 + 质量最高，GEMBA 分数超过全部对比开源模型和 5 个商用 API 中的 4 个。
- 达到人类专家水平 ：在与 6 位 CATTI 一级/二级持证同传专家的盲测对比中，翻译质量得分更高、响应速度更快。
- 实时音色克隆 ：翻译语音可高度还原说话人的音色与语气，多人场景能区分不同说话人，沟通更自然。
Hy-SimulMT的项目地址
- GitHub仓库 ：https://github.com/Tencent-Hunyuan/Hy-SimulMT
- HuggingFace模型库 ：https://huggingface.co/collections/tencent/hy-simulmt
Hy-SimulMT的同类竞品对比
对比维度 | 腾讯 Hy-SimulMT | 字节 Seed-LiveInterpret 2.0
| 对比维度 | 腾讯 Hy-SimulMT | 字节 Seed-LiveInterpret 2.0 |
|---|---|---|
| 发布/开源情况 | 2026.10 发布，完全开源（HF/ModelScope/GitHub） | 商用 API 服务，未开源权重 |
| 中英同传延迟（StreamLAAL） | 约 3 秒 | 约 3 秒以内 |
| 长音频翻译质量（RealSI，GEMBA 打分） | 约 85 分，为开源模型最佳，超 4/5 商用 API | 约 77 分，明显低于 Hy-SimulMT |
| 短音频基准（如 FLEURS / RealSI-Sentence） | 90.3 / 84.7，多列第一 | 85.8 / 80.0 |
| 音色克隆 | 支持实时音色克隆，多说话人可区分 | 支持音色相关能力（以 API 形态提供） |
| 私有化与二次开发 | 可自部署、可微调（SimulTrain） | 仅能通过 API 调用，无法定制 |
| 免费体验入口 | 腾讯 Hy 翻译 APP 免费使用 | 依赖火山引擎等平台，通常按量计费 |
Hy-SimulMT的应用场景
- 国际会议与论坛 ：大型国际活动指定其为志愿者和基层服务人员的官方 AI 翻译应用，用于外宾接待与现场沟通。
- 跨语言商务谈判与会议 ：企业跨国会议中实现中英实时互译，参会各方用自己的母语发言和聆听，降低沟通成本。
- 演讲与培训的同声传译 ：学术讲座、企业内训、公开课等单人长时间发言场景，模型可稳定跟译且译语自然，适合作为辅助理解工具。
- 多说话人访谈与媒体内容 ：采访、播客、纪录片等多人对话场景下，同传同时克隆每位说话人的音色，听者能分清谁在说话。
- 涉外文旅与日常服务 ：机场、酒店、展会、餐厅等涉外服务窗口的低风险沟通场景，帮助服务人员与外国游客完成基本可用的面对面交流。
相关工具
与本文相关的 AI 工具
