checkpoint-engine 开源:LLM 推理端“就地权重更新”,把 RL 训练-上线周期压到秒级 面向 RL 与大规模 LLM 推理的需求,checkpoint-engine 作为轻量中间件,实现“in-place 就地权重更新”,支持 broadcast 同步与 P2P 动态路由,结合通信与拷贝重叠优化。在数千 GPU 集群上,1T 模型权重更新可在约 20 秒内完成,帮助 RL 策略快速闭环... Ai开源 • Admin • 2025/9/12 101