Thinking Machines Lab은 11월 13일 공식 블로그에서 엔드투엔드 4비트 학습 레시피를 공개했다. NVIDIA GB300에서 NVFP4를 사용해 사전 학습부터 강화학습까지 전 과정을 돌리면 사전 학습은 8%, 강화학습은 20% 빨라지고, 계산 효율 손실은 약 2%에 그친다. 핵심은 '엔드투엔드'다. 학습이 끝난 뒤 고정밀 가중치를 4비트로 압축하는 것이 아니라, 첫날부터 4비트를 전제로 설계한다. 594B 파라미터의 Inkling 2 Small은 이 방식으로 전 과정을 학습한 것으로 알려진 가장 큰 모델이다.
NVFP4는 GB300에서 어떻게 돌아가나
레시피는 세 가지 정밀도를 섞어 쓴다. 순전파에서는 MoE 전문가 층에 NVFP4를 사용해 값당 평균 4.5비트로 GB300에서 15 PFLOPS를 내는데, 이는 MXFP8의 3배, BF16의 6배다. 역전파는 확률적 반올림을 곁들인 MXFP8으로 기울기 편향을 억제하고, 마지막 16.6%의 층은 4비트로 내리지 않고 MXFP8에 둔다. MoE 층 사이의 통신도 압축해 무작위 아다마르 변환으로 S2F6 형식으로 만든다. Thinking Machines Lab에 따르면 이 레시피는 가장 큰 작업에서도 매개변수 조정 없이 지도 미세 조정부터 강화학습까지 그대로 통한다.
속도 향상의 대가와 한계
대가는 약 2%의 계산 효율 손실로, 같은 손실 값에 도달하는 데 계산이 조금 더 들지만 보상 지표에는 눈에 띄는 영향이 없다. 다만 이 숫자는 모두 연구소 자체 발표로, 코드나 설정이 공개되지 않았고 제3자의 재현도 아직 없다. 수혜 범위도 좁다. 레시피는 GB300급 Blackwell 칩에 묶여 있어 대규모 클러스터를 가진 연구소만 쓸 수 있고, 일반 개발자나 소비자용 GPU는 해당하지 않는다.
다음에 볼 것은 두 가지다. Thinking Machines Lab이 학습 코드와 설정을 공개하는지, 그리고 다른 연구소가 GB300에서 비슷한 속도 향상을 재현하는지다. 재현이 성립하면 4비트 학습은 한 연구소의 기술에서 업계 기본값으로 바뀌고, 최첨단 모델의 학습 비용도 다시 계산된다. 실패하면 잘 쓴 블로그 글로 남는다.