MapFlow 北大开源的跨模型LLM推理加速系统
MapFlow是什么
MapFlow是北大PKU-DAIR团队推出的跨模型LLM推理加速系统,当Agent在多模型间交接、共享长上下文时,不再重算prefill,也不复用强耦合的KV Cache,是复用更易迁移的“注意力图”。MapFlow在共享tokenizer下让接收模型重算前几层,后续层经轻量层/头线性映射复用发送模型的token依赖;用块稀疏top-p压缩、前缀哈希缓存和融合GPU内核控制显存与延迟。实验中TTFT降低15%–20%,多轮路由吞吐最高提升25%。

MapFlow的主要功能
- 跨模型注意力复用 :在不同规模、不同架构的模型之间传递并复用注意力图,替代难以迁移的 KV Cache。
- 部分重计算 :接收模型正常计算前若干层建立自身隐藏状态,再进入复用路径,平衡精度与速度。
- 层映射与头映射 :将发送模型的层与接收模型层对齐,并用学习得到的线性权重把发送端注意力头组合为接收端注意力头。
- 注意力图稀疏压缩 :按累计注意力概率做块级 top-p 筛选,将稠密注意力矩阵压缩为块稀疏格式用降低存储开销。
- 缓存管理与检索 :用前缀哈希索引稀疏块,把缓存取回与接收模型前几层重计算重叠,隐藏传输延迟。
- 融合 GPU 内核执行 :把跨头线性变换与 Value 乘加融合在一个内核中完成,避免物化稠密中间张量。
- 在线推理加速 :在保持生成质量的前提下降低 prefill 延迟与 TTFT,提升多轮路由场景下的系统吞吐。
MapFlow的技术原理
- 注意力图作为复用状态 :大模型 prefill 的瓶颈在于注意力计算随序列长度平方增长,传统前缀缓存要求同模型同权重,跨模型时 KV Cache 因与隐藏维度、层数、参数强耦合而无法直接复用。MapFlow 的关键观察是:注意力图刻画的是 token 之间的依赖结构,在发送与接收模型共享 tokenizer、处理相同上下文时,这种结构比模型特定的 KV 表示具有更强的跨模型相似性。
- 部分重计算与线性映射: 注意力图的可迁移性并非在所有层都成立:经验上接收模型的前几层拟合误差高,中段和后段层才能被发送模型的注意力图线性逼近。MapFlow 据此设计三层机制:接收模型先完整重算前 r 层;层映射采用后缀对齐 m(j)=j+L_S−L_R,把接收层对应到发送模型经验上更稳定的深层;头映射用 simplex 约束的线性组合,将发送端各头的注意力图加权混合逼近接收端的每个头,保持注意力分布的基本结构。映射权重通过接收模型端到端响应损失离线训练,两个大模型参数全程冻结,新增权重不足接收模型的 0.001%,校准一次即可摊薄到后续所有在线请求。
- 块级稀疏压缩: 完整注意力矩阵大小随上下文长度平方增长,直接缓存不可行。MapFlow 用注意力分布的重尾特性,以 64×64 的二维块为单位做 top-p 筛选:先为每对查询块/键块用 LogSumExp 计算块级重要性分数,按行保留累计概率达到阈值 p 的块得到稀疏掩码;再仅对保留块精确计算注意力分数,连同 BSR 格式的索引存入连续内存。整个过程不物化完整稠密矩阵,压缩在发送端只做一次,且压缩后的状态可被多个下游接收模型共享。

如何使用MapFlow
- 准备环境 :创建 Python 3.11 conda 环境,以 editable 方式编译安装仓库自带的 vLLM 分支和 MapFlow,再安装 nvtx、sacrebleu、rouge_score 等依赖。
- 启动 MPS 服务 :运行 nvidia-cuda-mps-control -d 启动 NVIDIA MPS,为发送端、接收端与缓存服务器的 GPU 共享做准备。
- 启动缓存服务器 :执行 examples/bash/ 下的 server 脚本(如 server_top_p.sh 指定模型对与 top-p),负责注意力图的压缩、前缀哈希索引与块池管理。
- 启动发送端 :在独立终端运行 sender 脚本(如 sender_top_p.sh Qwen3-8B 0.7 0 ),让大模型 prefill 共享上下文并生成注意力图存入缓存。
- 启动接收端 :在另一终端运行 receiver 脚本(如 receiver_top_p.sh Qwen3-1.7B 0.7 1 ./examples/weights/Qwen3-8B_to_Qwen3-1.7B/hotpotqa ),加载预校准的映射权重,命中前缀哈希后走复用路径。
- 跑评测验证 :按需运行精度( accuracy/hotpotqa.sh )、TTFT( ttft/hotpotqa.sh )、端到端吞吐( e2e/multi_rounds_window_correct_log.sh )、三模型工作流或 RULER-20K 长上下文脚本,并用 extract_ttft.py 等工具解析日志结果。
- 按场景调参 :短上下文用默认 top-p=0.7,长上下文按 README 参数表调高(0.85~0.92),换路由阈值时修改 e2e 脚本中的 trace 文件路径即可。
MapFlow的核心优势
- 跨模型复用上下文计算 :突破传统前缀缓存只能同模型使用的限制,让不同规模、不同架构的模型共享已计算出的 token 依赖关系。
- 状态选择更聪明 :以注意力图替代与模型权重强耦合的 KV Cache,注意力结构比隐藏表示更具跨模型可迁移性。
- 开销极小 :仅训练 simplex 约束的线性映射权重,两个大模型全程冻结,校准一次长期受益。
- 质量与速度兼顾 :部分重计算保精度、线性映射保结构,实验中 prefill 延迟降 15%–20% 而生成质量不降。
- 显存可控 :块级 top-p 稀疏压缩将 O(L²) 的注意力图压成块稀疏格式,12K token 后内存占用趋于平稳,可实际用于长上下文。
- 工程上真正省时 :融合 GPU 内核在片上完成跨头加权与 Value 乘加,不物化稠密中间张量,缓存取回与前几层重计算重叠,隐藏传输延迟。
- 系统收益实在 :多轮路由场景相同 P90 延迟约束下吞吐最高提升 25%,且主要削减长尾 TTFT,在线体验更稳定。
MapFlow的项目地址
- GitHub仓库 :https://github.com/PKU-DAIR/MapFlow
- arXiv技术论文 :https://arxiv.org/pdf/2610.14688
MapFlow的同类竞品对比
对比维度 | MapFlow(北大 PKU-DAIR) | RedKnot(小红书/北大/华为云)
| 对比维度 | MapFlow(北大 PKU-DAIR) | RedKnot(小红书/北大/华为云) |
|---|---|---|
| 要解决的问题 | 多模型路由/Agent 工作流中,模型切换后长上下文重复 prefill | 长上下文 RAG 中,同一文档片段跨请求、非前缀位置出现时重复 prefill |
| 复用范围 | 跨模型(不同层数/头数/维度的模型对) | 同模型内、跨请求(位置无关缓存,PIC) |
| 复用状态 | 注意力图(token 间依赖结构) | KV Cache(但按头维度解耦管理) |
| 核心机制 | 部分重计算 + 层/头线性映射 + 块稀疏 top-p 压缩 + 融合检索内核 | 离线头分类(全局头重算/局部头复用)+ RoPE 位置对齐 + SegPagedAttention 按头分页 + 稀疏 FFN/MoE |
| 是否需要训练 | 需要:离线校准线性映射权重(< 接收模型参数 0.001%,冻结两个 LLM) | 不需要训练:needle-in-a-haystack 离线画像分类注意力头,在线零开销 |
| 质量保障 | 前 r 层重算保精度,注意力图结构跨模型可迁移 | 头级恢复优于 token 级恢复,EM 指标优于 CacheBlend/ProphetKV(如 Llama-3.3-70B HotpotQA 上 EM 0.60→0.80) |
| 延迟/算力收益 | TTFT 降 15%–20%,多轮路由吞吐最高 +25% | Prefill 计算量降 3.9–4.3×(16K–24K),64K 时 QPS/GPU 约 4× 于全量重算 |
| 推理框架 | 集成 vLLM(Triton 融合内核) | 初建基于 SGLang,现默认分支转向 DeepInfer;vLLM 侧集成在推进 |
| 开源情况 | GitHub 开源,附四组模型对预校准权重 | GitHub 开源(Apache-2.0),DeepSeek-V4-Flash 有一键复现配置,其余模型为实验性入口 |
| 适用场景 | 多模型路由、级联推理、多 Agent 工作流(数据库助手、text-to-SQL 等前缀密集负载) | 同一份长文档被反复查询的 RAG 服务、超长上下文(128K+)高并发场景 |
| 主要局限 | 要求共享 tokenizer;收益受 prefill 占端到端延迟比例限制 | 只对同模型生效,不解决跨模型交接;短上下文收益有限,部分模型集成尚处实验阶段 |
MapFlow的应用场景
- 多模型路由助手 :复杂查询路由给大模型、简单查询路由给小模型的系统中,小模型接手大模型的长对话历史时复用其注意力图,避免重复 prefill。
- 级联推理(Cascade) :先由大模型处理、不满意再升级或小模型先试错的级联架构中,模型间交接共享同一份上下文计算结果。
- 多 Agent 工作流 :如14B 规划 → 8B 细化 → 3B 总结的流水线中,多个下游模型共享上游大模型产生的注意力状态,每轮节省 0.48–0.73 秒。
- 数据库与 text-to-SQL 助手 :反复携带相同数据库 schema、系统约束的长前缀场景,模型切换后免重算,直接命中缓存复用。
相关工具
与本文相关的 AI 工具