LFM2.5-24B-A2B Liquid AI 开源的端侧推理模型
LFM2.5-24B-A2B是什么
LFM2.5-24B-A2B 是 Liquid AI 推出的开源权重推理模型，属 LFM2.5 系列旗舰。总参数 24B、每 token 仅激活 2.45B，40 层 MoE 架构，支持 131K 上下文与 16 种语言。LFM2.5-24B-A2B回答前必先生成思维链，专为端侧 Agent 优化，LiveClaw 得分 48.09 反超参数量大 50% 的 Qwen3.6-35B-A3B，在 M5 Max 上解码达 184 tok/s，比同类 MoE 最快 1.7 倍。适合本地私有化部署的推理与工具调用场景，知识密集任务建议搭配检索使用。
LFM2.5-24B-A2B的主要功能
- 端侧 Agent 推理 ：专为在个人设备上本地运行的快速、私密智能体而设计。
- 纯推理模式 ：回答前自动生成显式思维链，用低激活成本换取答案质量。
- 函数调用 ：原生支持四步工具调用流程，可直接接入 OpenClaw、Hermes Agent、Pi、OpenCode 等框架。
- 多格式部署 ：提供原生、FP8、GGUF、ONNX、MLX-4bit 等版本，覆盖 GPU、CPU、Apple Silicon 及边缘设备。
- 长上下文处理 ：支持 131,072 tokens 上下文，可处理长文档与多轮智能体轨迹。
- 多语言能力 ：覆盖英、中、日、韩、阿拉伯等 16 种语言，128K 词表优化非拉丁语系分词。
- 快速推理 ：Apple M5 Max 上 184 tok/s，比同类 MoE 最高快 1.7 倍，单卡 B300 超 21K tok/s。
LFM2.5-24B-A2B的技术原理
- MoE 稀疏激活架构 ：模型共 24B 参数，但每个 MoE 块包含 64 个专家，推理时仅通过 top-4 路由激活其中 4 个，使每 token 实际计算量仅 2.45B 参数。这是大容量、低算耗的核心，模型存储全部知识，但每次前向只动用一小部分，从而实现远小于同总参数量模型的推理成本。
- 混合层设计：卷积 + GQA 40 层网络由 30 个双门控短卷积块与 10 层 GQA混合构成。短卷积负责高效提取局部序列特征，注意力层负责长程依赖建模，两者交替使模型在保持线性层高效计算的同时仍具备长上下文能力，这也是 LFM 架构在边缘设备上速度快、内存省的结构基础。
- 词表原地扩展与长上下文训练 ：在保留上一代 LFM2-24B-A2B 主体架构的前提下，通过原地 tokenizer 扩展将词表从 65K 翻倍至 128K，显著改善中文、日文等非拉丁语言的 token 效率；上下文窗口从 32K 扩展至 131K，配合 300B tokens 的长上下文专项中期训练，使模型获得稳定的长序列处理能力。
- 三阶段训练流程 ：预训练消耗约 33T tokens；中期训练先在 32K 上下文用 2T tokens 高质量数据强化推理、数学、代码与指令遵循能力，在 131K 上下文用 300B tokens 专攻长文本，且两个阶段均注入工具调用与多轮交互数据；后训练采用 SFT→教师专业化→非 Agent 与 Agent 两轮多域同策略蒸馏→在 OpenClaw、Hermes 等真实智能体框架内做强化学习的五阶段流水线，使模型真正学会在真实工具环境中思考-调用-验证。
如何使用LFM2.5-24B-A2B
- 获取模型 ：从 Hugging Face 下载 LiquidAI/LFM2.5-24B-A2B ，按硬件选择原生 BF16、FP8、GGUF、ONNX 或 MLX-4bit 版本。
- 安装环境 ：确保 Python 环境装有 transformers=5.0.0 ，或部署 vLLM、SGLang、llama.cpp、LM Studio 等推理框架。
- 加载模型 ：用 AutoModelForCausalLM.from_pretrained() 以 bfloat16 精度加载模型。
- 构造提示 ：用 tokenizer.apply_chat_template() 自动套用 ChatML 格式模板格式化对话。
- 参数设置 ：生成时采用官方推荐参数 temperature=0.1、top_k=50、repetition_penalty=1.05 ，思维链任务可将 max_new_tokens 设为 4096 以上。
- 配置工具调用 ：将工具列表以 JSON 形式写入 system prompt，模型会用 |tool_call_start| 标记输出函数调用，执行后以 tool 角色返回结果。
- 接入 Agent 框架 ：通过 OpenAI 兼容接口在本地启动服务，再接入 OpenClaw、Hermes Agent、Pi 或 OpenCode 等智能体框架。
LFM2.5-24B-A2B的核心优势
- 极致效率 ：24B 总参数仅激活 2.45B，Apple M5 Max 上 184 tok/s，比同类 MoE 最快 1.7 倍且内存占用最少。
- 以小胜大 ：Agent 与工具基准上战平参数多 50% 的 Qwen3.6-35B-A3B，LiveClaw 48.09 对 38.19，AutomationBench 更是超第二名 3 倍。
- 全程推理 ：纯思维链模型先思考后回答，且因低激活成本使每个推理 token 都很便宜。
- 原生 Agent 能力 ：发布即在 OpenClaw、Hermes、Pi、OpenCode 等主流框架内完成 Agentic RL 训练，工具调用开箱即用。
- 开放无限制 ：基座与后训练模型均开放权重，可自由下载、微调与商用。
- 全平台覆盖 ：原生支持 llama.cpp、MLX、vLLM、SGLang、ONNX，兼容 Apple、AMD、Qualcomm、NVIDIA 硬件。
LFM2.5-24B-A2B的项目地址
- HuggingFace模型库 ：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B
LFM2.5-24B-A2B的同类竞品对比
对比维度 | LFM2.5-24B-A2B（Liquid AI） | Qwen3.6-35B-A3B（阿里）
| 对比维度 | LFM2.5-24B-A2B（Liquid AI） | Qwen3.6-35B-A3B（阿里） |
|---|---|---|
| 总参数 / 激活参数 | 24B / 2.45B | 35B / 3B（约多 50%） |
| 定位 | 端侧快速私有 Agent | 通用云端/本地 MoE 模型 |
| 上下文长度 | 131,072 tokens | 未在对比表中突出，LFM2.5 更长 |
| 词表 | 128K（原地扩展，优化非拉丁语系） | 常规词表 |
| LiveClaw（Agent） | 48.09 ✅ | 38.19 |
| AutomationBench | 27.69 ✅（超 3 倍） | 8.72 |
| ToolSandbox | 80.71 ✅ | 75.02 |
| BFCLv4（工具调用） | 65.01 ✅（微幅领先） | 65.00 |
| τ³-Bench Banking | 8.04 ✅ | 7.63 |
| PinchBench | 83.18 | 89.93 ✅ |
| WebArena Verified | 26.75 | 37.62 ✅ |
| GPQA Diamond（知识） | 74.42 | 83.69 ✅ |
| SWE-Bench Verified | 51.00 | 66.20 ✅ |
| IFEval / IFBench / Multi-IF | 96.75 / 74.69 / 84.38 ✅ 三项全胜 | 93.06 / 64.21 / 81.53 |
| MATH-500 | 96.04 | **96.73 ✅（基本持平）** |
LFM2.5-24B-A2B的应用场景
相关工具
与本文相关的 AI 工具
