Together Compilerは11月4日に公開された。Together AIは推論の最適化をエージェント群に委ね、GPUカーネルを一晩で書き換えて繰り返し速度を測り、検証に通ったものだけを本番環境に送り込む。公式によると、NVIDIAのBlackwellチップ上で4つのオープンモデルを24時間コンパイルした結果、スループットは従来の最良のオープンエンジンの最大3倍に達した。注目すべきは数字の大きさだけではなく、推論デプロイの調整方法そのものが変わったことだ。研究者が数週間かけて手作業で調整する方式から、エージェントがトラフィックとハードウェアに合わせて継続的に再調整する方式へと移っている。
エージェントによるカーネル書き換え、「検証済みだけを通す」仕組み
Togetherはこの手法をポリモーフィック推論と呼び、Together Compilerはその最初の実装である。エージェント群はモデルのフォワードパス全体を対象にカーネルの変更案を出し、常駐エンジンがホットリロードで候補を素早く切り替えながら、速度を測るとともに元のエンジンと照らして正しさを検証する。勝ち残ったカーネルは共有レジストリに記録され、次のモデルやチップはゼロからではなく蓄積された経験から出発できる。モデル、ハードウェア、トラフィックのいずれかが変われば、最適化をもう一度回すことができ、研究者の手が空くのを待つ必要はない。このチームは以前FlashAttentionとThunderKittensを手がけており、今回はカーネル研究の力を製品化した形だ。
数字は鮮やかだが、測定条件を確認すべきだ
公式ページにはいくつかの数字が示されている。ユーザーあたりの速度を同じ条件にそろえた場合、Blackwell上では4モデルでGPUあたりのトークンスループットが最大2.6倍、AMD MI355X上のGLMで最大3.7倍、AWS Trainium2上のMiniMax M3で最大2.7倍となった。Llama-3.2-1BはH100とB200で専門家が手書きした巨大カーネルを上回った。顧客事例では、音声企業のPhonicが初回音声までの中央値の遅延が一晩でほぼ半分になったとしている。これらはいずれもTogether自身のベンチマークによる結果で、比較対象は「最良のオープンエンジン」や「最良の公開ベンチマーク」であり、すべてのデプロイに共通する高速化ではない。実際の効果はモデル、トラフィックの形状、ハードウェアの組み合わせに左右される。コンパイル済みカーネルはすでに一部のサーバーレスモデルで既定で使われており、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flashなどが対象で、価格は変わらない。専用エンドポイントは限定ベータへの申請が必要で、セルフサービス最適化は今後提供される。Togetherは以前、Claude CodeとCodexをオープンモデルに切り替えられるTogether Linkも公開しており、2つの動きを合わせると、オープンモデルの「使いやすさ」を接続層から実行層へ押し広げていることがわかる。オープンモデルでサービスを運用するチームにとって、次に注目すべきは、セルフサービス最適化の公開後に中小規模のデプロイでも同程度の効果が得られるか、そしてハードウェアをまたいだ安定性が実際のトラフィックに耐えられるかだ。
