Lev Lehigh 大学等推出的开源决策模型
Lev是什么
Lev 是 Lehigh 大学等推出的开源决策模型,基于原生循环底座(Ouro/Nanbeige),同一组权重重复计算多圈,每圈都可读出选项概率,由轻量停止器按题目决定算几圈,简单题一圈快答,难题多算几圈。Lev 在 JevBench 上同一 checkpoint 从一圈的 63.2% 提升到四圈的 76.2%,仅用约八成的计算,准确率损失不足 1 个点。

Lev的主要功能
- 一次前向给出决策 :读入状态、问题和候选项,直接输出每个选项的概率,不生成推理文本。
- 循环加深思考 :同一组解码层重复运行多圈,每圈都读一次选项概率,同一份权重支持任意深度作答。
- 逐题按需停算 :内置轻量停止器预测,当前答案是否与最深一圈一致,按题目难度自动决定算几圈。
- 延迟与准确率可切换 :一份权重可在毫秒级快答和深度思考之间取舍,无需为每种预算部署不同模型。
- 无标签自校准 :停止器可用自有业务流量校准,不需要人工标注数据,每折约 500 题即可。
Lev的技术原理
- 决策模型接口 :状态与多问题共享编码, Lev 沿用 Kev 式的输入结构:一次请求包含一段共享状态和若干问题,每个问题附带自己的候选项;所有内容被打包成一条序列,通过块因果掩码让每个问题只能看到状态和它自己的问题。这样状态只编码一次,却能让每个问题像单独提问一样作答。
- 原生循环底座 :让多想发生在隐藏状态里 , 与在 dense 模型上事后加装循环不同,Lev 直接选用预训练时就带逐圈监督的原生循环语言模型 Ouro 和 Nanbeige4.2 作为底座,同一组解码层重复运行 R 次,后续每一圈都在上一轮隐藏状态上继续计算。
- 逐圈读出 + 联合训练 :一份权重覆盖所有深度 , 每一圈结束后,共享的 pointer head 读取各选项结束符和 decide
- 停止器 :预测与最深答案一致而非答对, 传统置信度早退在决策模型上迁移失败,因此 Lev 的停止器改为一个每深度一个的逻辑回归,用当前圈与上一圈读出的特征预测当前答案是否已与最深一圈一致。由于最深答案就是模型自己的输出,拟合停止器和选取阈值都不需要人工标签,可直接用业务无标签流量校准,阈值取保证至少 98% 与最深答案一致的最小值。

如何使用Lev
- 获取代码与模型 :从 GitHub 克隆仓库,从 Hugging Face 下载对应底座 和 Lev checkpoint 及 LoRA 权重。
- 准备输入 :把状态、问题和各自的候选项打包成一条序列,模型用块因果掩码保证每个问题只能看到状态和自己。
- 选择循环深度 :决定最多算几圈,加载共享的 pointer head 和 LoRA 适配器。
- 逐圈推理并读出 :同一组解码层循环运行,每圈后读取各选项的概率,可从上一圈隐藏状态直接续算,无需重读输入。
- 应用停止器 :用训练好的逻辑回归停止器判断当前答案是否已与最深一圈一致,一致就提前停,每道题可各自退出。
- 部署前校准 :用自有业务的无标签请求为各深度拟合温度和停止阈值。
Lev的核心优势
- 一份权重多个深度 :同一 checkpoint 通过循环圈数在快答和深思之间切换,无需为不同预算各部署一个模型。
- 难题收益显著 :在 JevBench 上同一权重从一圈的 63.2% 提升到四圈的 76.2%,提升主要来自标准题和难题。
- 续算不重读 :从上圈隐藏状态继续,避免级联方案中重新读入输入的延迟开销。
- 计算花在刀刃上 :停止器自动把更多圈分配给难题,仅用约 76%–85% 的计算,准确率损失不足 1 个点。
- 校准无需标签 :停止器以「与最深答案一致」为目标,可直接用自有业务流量校准,每折约 500 题即可。
- 低延迟区间占优 :在 39–46ms 区间比同级联方案高 7.0–8.8 个点,比最好的 dense 方案高 5.4–7.5 个点。
Lev的项目地址
- 项目官网 :https://openlair.github.io/lev/
- GitHub仓库 :https://github.com/OpenLAIR/lev
- HuggingFace模型库 :https://huggingface.co/collections/songdj/lev
- arXiv技术论文 :https://arxiv.org/pdf/2610.20951
Lev的同类竞品对比
对比维度 | Lev(以 Lev-2.6B 为例) | Jev
| 对比维度 | Lev(以 Lev-2.6B 为例) | Jev |
|---|---|---|
| 提供方性质 | Lehigh 大学等学术团队,完全开源(代码/权重/数据) | TypeSafe AI 商业化产品,闭源、仅托管 API |
| 架构 | 原生循环底座(Ouro),同一组层多圈复用 | dense,一次前向单次读出,无循环 |
| 参数规模 | 2.6B(另有 1.4B、3B) | 未公开 |
| JevBench 公开题准确率 | 76.2%(四圈);一圈仅 63.2% | 约 86.6%(200/231,第三方实测) |
| 延迟 | 本地 39–150 ms(按深度可变) | 托管 API p50 约 616 ms(含网络传输) |
| 计算深度调节 | ✅ 一份权重多档工作点,难题自动多算 | ❌ 固定单次前向 |
| 校准 | 各深度需单独温度缩放+停止器校准(无标签即可) | 开箱即用,校准质量好(ECE 0.053) |
| 成本 | 权重免费,自托管成本取决于自有 GPU | 约 \$32/百万次决策(带示例),按输入 token 计费 |
| 数据合规/私有化 | ✅ 可完全离线自部署 | ❌ 数据须出域到托管 API |
| 成熟度 | 学术原型,底座仅 1.4B–3B | 生产级商业服务,持续迭代 |
Lev的应用场景
- 智能客服意图路由 :简单咨询一圈秒回,复杂意图自动多算几圈,一份权重兼顾响应速度与路由准确率。
- 内容审核分级处置 :明显违规快速放行/拦截,灰色内容加深判断,整体节省 15%–24% 算力并减少漏判。
- Agent 工具调用选择 :机械步骤一圈快答保持执行流畅,关键决策点多算几圈避免选错工具浪费后续步骤。
- 电商推荐实时重排 :常规流量浅层排序保速度,大促首屏等高价值位置自动加深计算提升排序准确性。
- 金融合规文档分类 :可完全离线自托管满足数据合规,用自有无标签流量校准停止器,难题样本自动加深降低误判。
相关工具
与本文相关的 AI 工具