ToolNavs 便利なAIツールを発見
ツール投稿 ログイン
戻るAI情報
Thinking Machines Lab、エンドツーエンドの4ビット学習を公開:事前学習8%高速化、強化学習20%高速化

Thinking Machines Lab、エンドツーエンドの4ビット学習を公開:事前学習8%高速化、強化学習20%高速化

AI情報 • Admin • • 23 回閲覧

Thinking Machines Labは11月13日、公式ブログでエンドツーエンドの4ビット学習レシピを公開した。NVIDIA GB300上でNVFP4を使い、事前学習から強化学習まで全工程を通すと、事前学習が8%、強化学習が20%高速化し、計算効率の損失は約2%にとどまる。肝は「エンドツーエンド」だ。学習後に高精度の重みを4ビットへ圧縮するのではなく、初日から4ビット前提で設計する。594BパラメータのInkling 2 Smallは、この方法で全工程を学習した最大のモデルとして知られている。

NVFP4はGB300でどう動くか

レシピは3種の精度を使い分ける。順伝播ではMoEのエキスパート層にNVFP4を使い、1値あたり平均4.5ビットでGB300上15 PFLOPSを出す。これはMXFP8の3倍、BF16の6倍にあたる。逆伝播はMXFP8に確率的丸めを組み合わせて勾配の偏りを抑え、最後の16.6%の層は4ビットに落とさずMXFP8に残す。MoE層間の通信も圧縮し、ランダムアダマール変換でS2F6形式に落とす。Thinking Machines Labによれば、このレシピは最大規模のジョブでもパラメータ調整なしに使え、教師あり微調整から強化学習まで通して通用するという。

高速化の代償と限界

代償は約2%の計算効率の損失で、同じ損失値に到達するのにもう少し計算が必要になるが、報酬指標への影響は見られない。ただし数字はすべて同研究所の自己申告で、コードも設定も公開されておらず、第三者による再現もまだない。恩恵の範囲も狭い。レシピはGB300級のBlackwellチップに結びついており、大規模クラスタを持つ研究所だけが使える。一般の開発者や民生GPUは対象外だ。

次に見るべきは2点だ。Thinking Machines Labが学習コードと設定を公開するかどうか、そして他の研究所がGB300上で同程度の高速化を再現できるかどうか。再現が成立すれば、4ビット学習は一研究所の職人芸から業界の既定路線になり、最先端モデルの学習コストも見直される。失敗すれば、よく書けたブログ記事に終わる。

おすすめツール

もっと見る