首页/ 资讯/ Lev Lehigh 大学等推出的开源决策模型

Lev Lehigh 大学等推出的开源决策模型

灵犀编辑部 2026-11-17 16 阅读

Lev是什么

Lev 是 Lehigh 大学等推出的开源决策模型,基于原生循环底座(Ouro/Nanbeige),同一组权重重复计算多圈,每圈都可读出选项概率,由轻量停止器按题目决定算几圈,简单题一圈快答,难题多算几圈。Lev 在 JevBench 上同一 checkpoint 从一圈的 63.2% 提升到四圈的 76.2%,仅用约八成的计算,准确率损失不足 1 个点。

Lev

Lev的主要功能

  • 一次前向给出决策 :读入状态、问题和候选项,直接输出每个选项的概率,不生成推理文本。
  • 循环加深思考 :同一组解码层重复运行多圈,每圈都读一次选项概率,同一份权重支持任意深度作答。
  • 逐题按需停算 :内置轻量停止器预测,当前答案是否与最深一圈一致,按题目难度自动决定算几圈。
  • 延迟与准确率可切换 :一份权重可在毫秒级快答和深度思考之间取舍,无需为每种预算部署不同模型。
  • 无标签自校准 :停止器可用自有业务流量校准,不需要人工标注数据,每折约 500 题即可。

Lev的技术原理

  • 决策模型接口 :状态与多问题共享编码, Lev 沿用 Kev 式的输入结构:一次请求包含一段共享状态和若干问题,每个问题附带自己的候选项;所有内容被打包成一条序列,通过块因果掩码让每个问题只能看到状态和它自己的问题。这样状态只编码一次,却能让每个问题像单独提问一样作答。
  • 原生循环底座 :让多想发生在隐藏状态里 , 与在 dense 模型上事后加装循环不同,Lev 直接选用预训练时就带逐圈监督的原生循环语言模型 Ouro 和 Nanbeige4.2 作为底座,同一组解码层重复运行 R 次,后续每一圈都在上一轮隐藏状态上继续计算。
  • 逐圈读出 + 联合训练 :一份权重覆盖所有深度 , 每一圈结束后,共享的 pointer head 读取各选项结束符和 decide
  • 停止器 :预测与最深答案一致而非答对, 传统置信度早退在决策模型上迁移失败,因此 Lev 的停止器改为一个每深度一个的逻辑回归,用当前圈与上一圈读出的特征预测当前答案是否已与最深一圈一致。由于最深答案就是模型自己的输出,拟合停止器和选取阈值都不需要人工标签,可直接用业务无标签流量校准,阈值取保证至少 98% 与最深答案一致的最小值。
挖挖GitHub

如何使用Lev

  • 获取代码与模型 :从 GitHub 克隆仓库,从 Hugging Face 下载对应底座 和 Lev checkpoint 及 LoRA 权重。
  • 准备输入 :把状态、问题和各自的候选项打包成一条序列,模型用块因果掩码保证每个问题只能看到状态和自己。
  • 选择循环深度 :决定最多算几圈,加载共享的 pointer head 和 LoRA 适配器。
  • 逐圈推理并读出 :同一组解码层循环运行,每圈后读取各选项的概率,可从上一圈隐藏状态直接续算,无需重读输入。
  • 应用停止器 :用训练好的逻辑回归停止器判断当前答案是否已与最深一圈一致,一致就提前停,每道题可各自退出。
  • 部署前校准 :用自有业务的无标签请求为各深度拟合温度和停止阈值。

Lev的核心优势

  • 一份权重多个深度 :同一 checkpoint 通过循环圈数在快答和深思之间切换,无需为不同预算各部署一个模型。
  • 难题收益显著 :在 JevBench 上同一权重从一圈的 63.2% 提升到四圈的 76.2%,提升主要来自标准题和难题。
  • 续算不重读 :从上圈隐藏状态继续,避免级联方案中重新读入输入的延迟开销。
  • 计算花在刀刃上 :停止器自动把更多圈分配给难题,仅用约 76%–85% 的计算,准确率损失不足 1 个点。
  • 校准无需标签 :停止器以「与最深答案一致」为目标,可直接用自有业务流量校准,每折约 500 题即可。
  • 低延迟区间占优 :在 39–46ms 区间比同级联方案高 7.0–8.8 个点,比最好的 dense 方案高 5.4–7.5 个点。

Lev的项目地址

  • 项目官网 :https://openlair.github.io/lev/
  • GitHub仓库 :https://github.com/OpenLAIR/lev
  • HuggingFace模型库 :https://huggingface.co/collections/songdj/lev
  • arXiv技术论文 :https://arxiv.org/pdf/2610.20951

Lev的同类竞品对比

对比维度 | Lev(以 Lev-2.6B 为例) | Jev

>
对比维度 Lev(以 Lev-2.6B 为例) Jev
提供方性质 Lehigh 大学等学术团队,完全开源(代码/权重/数据) TypeSafe AI 商业化产品,闭源、仅托管 API
架构 原生循环底座(Ouro),同一组层多圈复用 dense,一次前向单次读出,无循环
参数规模 2.6B(另有 1.4B、3B) 未公开
JevBench 公开题准确率 76.2%(四圈);一圈仅 63.2% 约 86.6%(200/231,第三方实测)
延迟 本地 39–150 ms(按深度可变) 托管 API p50 约 616 ms(含网络传输)
计算深度调节 ✅ 一份权重多档工作点,难题自动多算 ❌ 固定单次前向
校准 各深度需单独温度缩放+停止器校准(无标签即可) 开箱即用,校准质量好(ECE 0.053)
成本 权重免费,自托管成本取决于自有 GPU 约 \$32/百万次决策(带示例),按输入 token 计费
数据合规/私有化 ✅ 可完全离线自部署 ❌ 数据须出域到托管 API
成熟度 学术原型,底座仅 1.4B–3B 生产级商业服务,持续迭代

Lev的应用场景

  • 智能客服意图路由 :简单咨询一圈秒回,复杂意图自动多算几圈,一份权重兼顾响应速度与路由准确率。
  • 内容审核分级处置 :明显违规快速放行/拦截,灰色内容加深判断,整体节省 15%–24% 算力并减少漏判。
  • Agent 工具调用选择 :机械步骤一圈快答保持执行流畅,关键决策点多算几圈避免选错工具浪费后续步骤。
  • 电商推荐实时重排 :常规流量浅层排序保速度,大促首屏等高价值位置自动加深计算提升排序准确性。
  • 金融合规文档分类 :可完全离线自托管满足数据合规,用自有无标签流量校准停止器,难题样本自动加深降低误判。
相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐