首页/ 资讯/ PhysisServe 逆矩阵联合智源开源的物理 AI 推理框架

PhysisServe 逆矩阵联合智源开源的物理 AI 推理框架

拆宝 2026-11-22 6 阅读

PhysisServe是什么

PhysisServe 是逆矩阵联合智源研究院、vLLM、北京大学推出的物理 AI 推理框架,首个兼顾模型智能与高频吞吐的自回归去噪推理系统。PhysisServe 将世界模型按去噪步 × Transformer block细粒度切分为 stage 并流水线化,通过时分复用和虚拟 rank 联合调度共享算力,使 33B 模型以 4.1ms 延迟输出,较已有方案快一到两个数量级,且输出延迟不随参数量增长,实现模型规模与输出频率兼得。

PhysisServe

PhysisServe的主要功能

  • 高频实时输出 :支持百亿参数级世界模型以毫秒级延迟持续输出 chunk,33B 模型实测 4.1ms,让输出频率不再被参数量拖累。

  • 参数量与输出频率兼得 :模型扩展到百亿、千亿乃至万亿参数时,只要算力充足,能以任务所需频率稳定输出,打破智能要大模型、实时要小模型的取舍。

  • 单路低延迟服务 :通过细粒度流水线把单路输出延迟压缩到最慢 stage 的计算时间,五个模型最短延迟为 1.9–7.6ms。

  • 算力高效复用 :在放宽延迟要求时,用更少 GPU 满足单路 SLO;GPU 空闲时间片可被其他任务填充。

  • 多路并发服务 :多路请求共享整个 GPU 池,在固定算力和每路 SLO 约束下最大化并发路数,24 卡下多数模型并发能力提升 1.7–3.3 倍。

PhysisServe的技术原理

  • Stage-wise 流水线 :将模型按去噪步 × Transformer block」细粒度切分为 stage,每 stage 独占一张 GPU;相邻 chunk 借助带噪 KV cache 错开重叠、沿对角线流水推进,输出延迟收敛到最慢 stage 的计算时间,增加模型深度只增加流水线级数。

  • 时分复用 :stage 与物理 GPU 解耦,一张卡在不同时间片轮流执行多个 stage,回收负载不均的空隙;同一 block 上来自不同 chunk、不同去噪步的任务合并为 batch 执行,摊薄权重加载与 kernel 调度开销,用更少卡满足单路 SLO。

  • 虚拟 rank 联合调度 :把每路流在各 stage 上的任务与 KV cache 封装为虚拟 rank 再映射到物理卡,多路请求共享卡池并跨路合批;采用 Best-Fit + LDS 放置,整路可容纳且满足 SLO 才接纳、已运行流不迁移,在固定算力下最大化并发路数。

如何使用PhysisServe

  • 获取代码 :从 GitHub 仓库克隆 PhysisServe 源码。

  • 准备模型 :选用支持自回归去噪的 backbone,加载未经剪枝/量化的原始权重,带噪 KV cache 场景需使用经 Rolling Forcing 类方法微调的权重。

  • 搭建算力环境 :准备 GPU 集群极限延迟需每 stage 独占一卡,即「去噪步数 × block 数」张卡;放宽 SLO 可少量复用。

  • 配置切分与调度 :将模型按去噪步 × block拆分为 stage,根据目标 SLO 选择静态一卡一 stage 或时分复用模式。

  • 启动服务 :运行调度器,由它完成虚拟 rank 到物理 GPU 的映射与跨 chunk/跨路合批。

  • 接入请求 :用流的形式提交观测/动作条件或连续观测,调度器在整路可放下且满足 SLO 时接纳。

  • 验证输出指标 :确认稳定态 chunk 输出延迟满足任务频率要求后投入持续服务。

PhysisServe的核心优势

  • 模型规模与输出频率兼得 :通过 stage 级细粒度流水编排,让百亿乃至万亿参数模型在算力充足时仍能以任务所需频率实时输出,打破智能要大模型、实时要小模型的两难。

  • 输出频率跨代际领先 :33B MiniMax H3 实现 4.1ms chunk 延迟,比现有前沿世界模型快一到两个数量级,且延迟不随参数量单调增长。

  • 单路延迟逼近物理极限 :输出延迟收敛到单个 stage 的计算时间,增加模型深度只增加流水线深度而不再拖慢输出。

  • 算力利用率高 :时分复用与合批机制回收 GPU 空闲时间片、摊薄权重加载等固定开销,用更少卡可满足 SLO。

  • 多路并发能力强 :虚拟 rank 联合调度让多路请求共享卡池、跨路合批,24 卡下多数模型并发路数提升 1.7–3.3 倍。

  • 服务稳定可靠 :接纳-only-if-fits 与不迁移策略保证已运行流的 SLO 不受新请求影响,适合长期持续的多智能体交互服务。

PhysisServe的项目地址

  • 项目官网 :https://physis-ai.com/blog/physisserve

  • GitHub仓库 :https://github.com/Physis-AI/PhysisServe

PhysisServe的同类竞品对比

对比维度

PhysisServe

MAGI-1

参数量

33B(另支持 1.3B–33B 五种 backbone,可扩展至千亿/万亿)

24B

系统形态

通用推理框架,可适配任意自回归去噪模型

单一模型 + 配套生成方案,无独立服务系统

输出延迟

4.083ms/chunk(200 卡,DiT 计时)

约 980ms/chunk(24 张高端 GPU)

输出频率

约 245 chunks/s,按 ACWM 口径约 980 帧/s

约 24 FPS

频率差距

—

PhysisServe 快约 40 倍(一个数量级以上)

频率与规模关系

解耦:延迟不随参数量单调增长(33B 快于 1.3B)

频率随模型规模和生成步数增大而下降

算力扩展性

去噪步 × block 两维流水,GPU 数可自由扩展

并行度受架构与切分粒度限制,堆卡收益有限

多路并发

虚拟 rank 联合调度,24 卡支持多路共享

无公开的多路服务与资源共享机制

权重处理

无需剪枝、压缩或量化,原始权重直接运行

未公开剪枝量化细节

计时口径

仅 DiT 去噪,不含 VAE 解码

约 0.98s 生成 24 帧 chunk

PhysisServe的应用场景

  • 高频仿真训练(人形机器人/接触密集型任务) :物理仿真需数千 Hz 才能准确模拟接触动力学,PhysisServe 让 ACWM 以千帧/秒充当训练环境,支撑大规模并行强化学习与策略评估。

  • 机器人底层实时控制(WAM 策略执行) :动作与伺服层需要数百 Hz 的控制更新,PhysisServe 支持大参数 WAM 直接输出关节级指令(如 LingBot-VA 口径下 3900 控制步/秒),摆脱大模型只能做慢速规划的限制。

  • 多智能体并发交互服务 :工业产线、仓储物流等场景需同时服务大量机器人或仿真实例,联合调度让 24 卡承载数十路高频流,摊薄每路成本。

  • 工业过程预测与仿真 :面向材料、设备、工况持续变化的工厂环境,提供毫秒级刷新的数字孪生预测,用于产线调试、参数优化与故障预演。

相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐