首页/ 资讯/ MapFlow 北大开源的跨模型LLM推理加速系统

MapFlow 北大开源的跨模型LLM推理加速系统

灵犀编辑部 2026-11-17 11 阅读

MapFlow是什么

MapFlow是北大PKU-DAIR团队推出的跨模型LLM推理加速系统,当Agent在多模型间交接、共享长上下文时,不再重算prefill,也不复用强耦合的KV Cache,是复用更易迁移的“注意力图”。MapFlow在共享tokenizer下让接收模型重算前几层,后续层经轻量层/头线性映射复用发送模型的token依赖;用块稀疏top-p压缩、前缀哈希缓存和融合GPU内核控制显存与延迟。实验中TTFT降低15%–20%,多轮路由吞吐最高提升25%。

MapFlow

MapFlow的主要功能

  • 跨模型注意力复用 :在不同规模、不同架构的模型之间传递并复用注意力图,替代难以迁移的 KV Cache。
  • 部分重计算 :接收模型正常计算前若干层建立自身隐藏状态,再进入复用路径,平衡精度与速度。
  • 层映射与头映射 :将发送模型的层与接收模型层对齐,并用学习得到的线性权重把发送端注意力头组合为接收端注意力头。
  • 注意力图稀疏压缩 :按累计注意力概率做块级 top-p 筛选,将稠密注意力矩阵压缩为块稀疏格式用降低存储开销。
  • 缓存管理与检索 :用前缀哈希索引稀疏块,把缓存取回与接收模型前几层重计算重叠,隐藏传输延迟。
  • 融合 GPU 内核执行 :把跨头线性变换与 Value 乘加融合在一个内核中完成,避免物化稠密中间张量。
  • 在线推理加速 :在保持生成质量的前提下降低 prefill 延迟与 TTFT,提升多轮路由场景下的系统吞吐。

MapFlow的技术原理

  • 注意力图作为复用状态 :大模型 prefill 的瓶颈在于注意力计算随序列长度平方增长,传统前缀缓存要求同模型同权重,跨模型时 KV Cache 因与隐藏维度、层数、参数强耦合而无法直接复用。MapFlow 的关键观察是:注意力图刻画的是 token 之间的依赖结构,在发送与接收模型共享 tokenizer、处理相同上下文时,这种结构比模型特定的 KV 表示具有更强的跨模型相似性。
  • 部分重计算与线性映射: 注意力图的可迁移性并非在所有层都成立:经验上接收模型的前几层拟合误差高,中段和后段层才能被发送模型的注意力图线性逼近。MapFlow 据此设计三层机制:接收模型先完整重算前 r 层;层映射采用后缀对齐 m(j)=j+L_S−L_R,把接收层对应到发送模型经验上更稳定的深层;头映射用 simplex 约束的线性组合,将发送端各头的注意力图加权混合逼近接收端的每个头,保持注意力分布的基本结构。映射权重通过接收模型端到端响应损失离线训练,两个大模型参数全程冻结,新增权重不足接收模型的 0.001%,校准一次即可摊薄到后续所有在线请求。
  • 块级稀疏压缩: 完整注意力矩阵大小随上下文长度平方增长,直接缓存不可行。MapFlow 用注意力分布的重尾特性,以 64×64 的二维块为单位做 top-p 筛选:先为每对查询块/键块用 LogSumExp 计算块级重要性分数,按行保留累计概率达到阈值 p 的块得到稀疏掩码;再仅对保留块精确计算注意力分数,连同 BSR 格式的索引存入连续内存。整个过程不物化完整稠密矩阵,压缩在发送端只做一次,且压缩后的状态可被多个下游接收模型共享。
挖挖GitHub

如何使用MapFlow

  • 准备环境 :创建 Python 3.11 conda 环境,以 editable 方式编译安装仓库自带的 vLLM 分支和 MapFlow,再安装 nvtx、sacrebleu、rouge_score 等依赖。
  • 启动 MPS 服务 :运行 nvidia-cuda-mps-control -d 启动 NVIDIA MPS,为发送端、接收端与缓存服务器的 GPU 共享做准备。
  • 启动缓存服务器 :执行 examples/bash/ 下的 server 脚本(如 server_top_p.sh 指定模型对与 top-p),负责注意力图的压缩、前缀哈希索引与块池管理。
  • 启动发送端 :在独立终端运行 sender 脚本(如 sender_top_p.sh Qwen3-8B 0.7 0 ),让大模型 prefill 共享上下文并生成注意力图存入缓存。
  • 启动接收端 :在另一终端运行 receiver 脚本(如 receiver_top_p.sh Qwen3-1.7B 0.7 1 ./examples/weights/Qwen3-8B_to_Qwen3-1.7B/hotpotqa ),加载预校准的映射权重,命中前缀哈希后走复用路径。
  • 跑评测验证 :按需运行精度( accuracy/hotpotqa.sh )、TTFT( ttft/hotpotqa.sh )、端到端吞吐( e2e/multi_rounds_window_correct_log.sh )、三模型工作流或 RULER-20K 长上下文脚本,并用 extract_ttft.py 等工具解析日志结果。
  • 按场景调参 :短上下文用默认 top-p=0.7,长上下文按 README 参数表调高(0.85~0.92),换路由阈值时修改 e2e 脚本中的 trace 文件路径即可。

MapFlow的核心优势

  • 跨模型复用上下文计算 :突破传统前缀缓存只能同模型使用的限制,让不同规模、不同架构的模型共享已计算出的 token 依赖关系。
  • 状态选择更聪明 :以注意力图替代与模型权重强耦合的 KV Cache,注意力结构比隐藏表示更具跨模型可迁移性。
  • 开销极小 :仅训练 simplex 约束的线性映射权重,两个大模型全程冻结,校准一次长期受益。
  • 质量与速度兼顾 :部分重计算保精度、线性映射保结构,实验中 prefill 延迟降 15%–20% 而生成质量不降。
  • 显存可控 :块级 top-p 稀疏压缩将 O(L²) 的注意力图压成块稀疏格式,12K token 后内存占用趋于平稳,可实际用于长上下文。
  • 工程上真正省时 :融合 GPU 内核在片上完成跨头加权与 Value 乘加,不物化稠密中间张量,缓存取回与前几层重计算重叠,隐藏传输延迟。
  • 系统收益实在 :多轮路由场景相同 P90 延迟约束下吞吐最高提升 25%,且主要削减长尾 TTFT,在线体验更稳定。

MapFlow的项目地址

  • GitHub仓库 :https://github.com/PKU-DAIR/MapFlow
  • arXiv技术论文 :https://arxiv.org/pdf/2610.14688

MapFlow的同类竞品对比

对比维度 | MapFlow(北大 PKU-DAIR) | RedKnot(小红书/北大/华为云)

>
对比维度 MapFlow(北大 PKU-DAIR) RedKnot(小红书/北大/华为云)
要解决的问题 多模型路由/Agent 工作流中,模型切换后长上下文重复 prefill 长上下文 RAG 中,同一文档片段跨请求、非前缀位置出现时重复 prefill
复用范围 跨模型(不同层数/头数/维度的模型对) 同模型内、跨请求(位置无关缓存,PIC)
复用状态 注意力图(token 间依赖结构) KV Cache(但按头维度解耦管理)
核心机制 部分重计算 + 层/头线性映射 + 块稀疏 top-p 压缩 + 融合检索内核 离线头分类(全局头重算/局部头复用)+ RoPE 位置对齐 + SegPagedAttention 按头分页 + 稀疏 FFN/MoE
是否需要训练 需要:离线校准线性映射权重(< 接收模型参数 0.001%,冻结两个 LLM) 不需要训练:needle-in-a-haystack 离线画像分类注意力头,在线零开销
质量保障 前 r 层重算保精度,注意力图结构跨模型可迁移 头级恢复优于 token 级恢复,EM 指标优于 CacheBlend/ProphetKV(如 Llama-3.3-70B HotpotQA 上 EM 0.60→0.80)
延迟/算力收益 TTFT 降 15%–20%,多轮路由吞吐最高 +25% Prefill 计算量降 3.9–4.3×(16K–24K),64K 时 QPS/GPU 约 4× 于全量重算
推理框架 集成 vLLM(Triton 融合内核) 初建基于 SGLang,现默认分支转向 DeepInfer;vLLM 侧集成在推进
开源情况 GitHub 开源,附四组模型对预校准权重 GitHub 开源(Apache-2.0),DeepSeek-V4-Flash 有一键复现配置,其余模型为实验性入口
适用场景 多模型路由、级联推理、多 Agent 工作流(数据库助手、text-to-SQL 等前缀密集负载) 同一份长文档被反复查询的 RAG 服务、超长上下文(128K+)高并发场景
主要局限 要求共享 tokenizer;收益受 prefill 占端到端延迟比例限制 只对同模型生效,不解决跨模型交接;短上下文收益有限,部分模型集成尚处实验阶段

MapFlow的应用场景

  • 多模型路由助手 :复杂查询路由给大模型、简单查询路由给小模型的系统中,小模型接手大模型的长对话历史时复用其注意力图,避免重复 prefill。
  • 级联推理(Cascade) :先由大模型处理、不满意再升级或小模型先试错的级联架构中,模型间交接共享同一份上下文计算结果。
  • 多 Agent 工作流 :如14B 规划 → 8B 细化 → 3B 总结的流水线中,多个下游模型共享上游大模型产生的注意力状态,每轮节省 0.48–0.73 秒。
  • 数据库与 text-to-SQL 助手 :反复携带相同数据库 schema、系统约束的长前缀场景,模型切换后免重算,直接命中缓存复用。
相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐