SenseNova Loop-9B-Preview 商汤开源的多模态模型
SenseNova Loop-9B-Preview是商汤开源的9B参数级多模态预览模型。SenseNova Loop-9B-Preview保留首尾各4层原始解码器，中间层改为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度，引入mHC机制增强特征交互稳定性。官方评测模型办公与智能体任务表现超Qwen3.5-27B，以小参数实现大模型级复杂任务能力，权重已在GitHub与Hugging Face公开。
- 代码生成 ：在代码编写类任务上达到同级别领先水准，支撑开发场景应用。
- 办公内容生成 ：接入小浣熊客户端，可生成 PPT 设计、长文档等办公交付物。
- 智能体任务 ：在 AutomationBench 等多步骤 Agent 评测中表现突出，可完成含叙事与交互的复杂长链路任务。
- 长上下文处理 ：官方定位为面向长上下文与智能体工作流的循环多模态模型。
- 开源可商用探索 ：权重与推理代码在 GitHub、Hugging Face 公开发布，供社区研究与日常应用。
- Looped Transformer 循环架构 ：模型以 9B 尺度为基座，保留首尾各 4 层原始解码器模块，将中间层替换为参数共享的循环计算模块，同一组权重被多轮迭代复用，从而在参数规模不变的前提下扩展有效计算深度，让小模型获得近似更深网络的推理能力。
- mHC 特征交互机制 ：为改善多轮循环中的信息传递，模型引入 Manifold-Constrained Hyper-Connections（mHC），通过多路残差双流与双随机受约束混合矩阵对特征进行混合，增强层间特征交互的同时约束信息流形，维持信号传播稳定性；消融实验显示该机制使 GPQA Diamond 提升 4.42 分、TeamBench 提升 13.34 分。
- 参数共享与效率设计 ：中间循环层权重共享使模型以约 9B 参数承载远超 9B 稠密模型的计算深度，配合 TBK 等技术控制单轮计算开销，目标是在推理成本可控的条件下逼近 27B 级模型在复杂任务上的表现。
- 环境准备 ：安装与 CUDA 匹配的 PyTorch，再执行 pip install "transformers==5.18.0" accelerate safetensors 。
- 获取模型 ：从 Hugging Face 下载 sensenova/SenseNova-Loop-9B-Preview 权重到本地，确保目录包含配置、tokenizer、chat 模板与自定义模型代码。
- 加载模型 ：在代码中以 trust_remote_code=True 、 dtype=torch.bfloat16 调用 AutoModelForCausalLM.from_pretrained 加载模型并 .eval() 。
- 构造输入 ：用 tokenizer.apply_chat_template 组装对话 prompt，需要深度推理时设置 enable_thinking=True 。
- 推理生成 ：调用 model.generate 生成文本，支持 use_cache 加速，MTP 加速可用。
- 服务化部署 ：生产环境可用 LightLLM或 SGLang对外提供 API。
- 参数效率高 ：约 9B 参数，通过共享权重循环即可模拟 56 层执行深度，小成本逼近 27B 级模型表现。
- 架构创新 ：采用 Looped Transformer + 双流 mHC，用受约束的多路残差混合增强信息交互并稳定信号传播，属国内首批 9B 级可用开源实践。
- 长上下文能力 ：训练支持最长 262,144token 上下文，适配文档理解与长链路任务。
- 多模态输入 ：支持文本与图像输入，官方定位为面向长上下文与智能体工作流的多模态模型。
- 推理加速友好 ：内置 MTP 加速机制且已可用，Dspark、Dflash2 等投机解码方案在研。
- GitHub仓库 ：https://github.com/OpenSenseNova/SenseNova-Loop
- HuggingFace模型库 ：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview
| 对比维度 | SenseNova Loop-9B-Preview | Qwen3-8B |
|---|---|---|
| 参数规模 | ~9B 参数 / 单次前向约 14.6B 计算量（共享权重循环 2 次） | 8.2B 参数（非嵌入 6.95B） |
| 核心架构 | Looped Transformer：24 层循环块执行 2 次，32 层权重实现 56 层计算深度 + 双流 mHC | 传统稠密 Decoder，36 层 |
| 注意力机制 | 混合注意力：每 4 层组内 3 层线性注意力 + 1 层全注意力 | 全注意力 GQA（32 Q 头 / 8 KV 头） |
| 上下文长度 | 训练最长 262,144（256K）token | 原生 32,768，YaRN 可扩至 131,072 |
| 多模态 | 支持文本 + 图像输入，输出文本 | 纯文本 |
| 思考模式 | 支持 enable\_thinking 开关 | 支持思考 / 非思考模式无缝切换（/think、/no\_think） |
| 推理加速 | 内置 MTP（已可用），Dspark / Dflash2 在研 | 官方无内置加速，依赖 AWQ 量化、vLLM 等外围方案 |
| 部署生态 | Transformers 直载 + LightLLM / SGLang（需 PR 分支） | vLLM / Ollama / SGLang 等全面主流支持，生态成熟 |
| 微调支持 | 官方 fork 的 torchtitan（8 卡 SFT / DPO / MTP 训练） | 生态工具极多（LLaMA-Factory 等），社区教程丰富 |
- 长文档理解与分析 ：依托 256K 超长上下文，可一次性处理整份合同、财报、论文集等大体量文档并生成结构化摘要与问答。
- 智能体（Agent）工作流 ：在多步骤工具调用、网页操作与任务规划场景中表现突出，适合构建自动化办公与流程执行类 Agent。
- 办公内容生成 ：接入小浣熊客户端可直接生成 PPT 设计、数据分析报告与动效演示页，覆盖日常办公交付物制作。
- 代码开发辅助 ：代码生成能力达同级别领先水平，可承担代码补全、脚本编写与小型项目的端到端开发任务。
- 多模态内容创作 ：支持文本与图像输入，适用于图文混排的旅行专题、营销页面、叙事性网站等富媒体内容生成。
相关工具
与本文相关的 AI 工具
