checkpoint-engine推理侧中间件

checkpoint-engine 开源：LLM 推理端“就地权重更新”，把 RL 训练-上线周期压到秒级

面向 RL 与大规模 LLM 推理的需求，checkpoint-engine 作为轻量中间件，实现“in-place 就地权重更新”，支持 broadcast 同步与 P2P 动态路由，结合通信与拷贝重叠优化。在数千 GPU 集群上，1T 模型权重更新可在约 20 秒内完成，帮助 RL 策略快速闭环...