checkpoint-engine 온라인 추론 핫 업데이트

checkpoint-engine 오픈 소스: LLM 추론 측의 "인플레이스 가중치 업데이트"로 RL 훈련-시작 주기를 두 번째 수준으로 단축

RL 및 대규모 LLM 추론의 요구에 맞게 checkpoint-engine은 "인플레이스 가중치 업데이트"를 구현하고 브로드캐스트 동기화 및 P2P 동적 라우팅을 지원하며 통신 및 복사 중복 최적화를 결합하는 경량 미들웨어입니다. 수천 개의 GPU 클러스터에서 1T 모...