checkpoint-engine オンライン推論ホットアップデート

checkpoint-engine オープンソース: LLM 推論側の「インプレース ウェイト更新」により、RL トレーニングと起動のサイクルを 2 番目のレベルに短縮

RL と大規模な LLM 推論のニーズに合わせて、checkpoint-engine は「インプレース重み更新」を実装し、ブロードキャスト同期と P2P 動的ルーティングをサポートし、通信とコピーの重複の最適化を組み合わせた軽量ミドルウェアです。 何千ものGPUクラスターで、1Tモデルの重みの更新を...