OpenHandsのエージェントは、訓練フレームワークを再構築しなくても、自分の設定をそのまま使ってモデルを訓練できるようになった。OpenHandsとSnowflake AI Researchは11月3日の公式ブログで後訓練の手法を公開した。開発者はAgent SDKにある既存のプロンプト、ツール、スキルを使い続け、Harbor形式でタスクを定義すれば、オープンウェイトモデルを強化学習で後訓練でき、GPUの計算資源はCortex Trainingが提供する。訓練とデプロイが同じ設定を共有する点に価値がある。
鍵となるのは、訓練に使うものがデプロイで使うものとまったく同じだという点だ。各rolloutはエージェントの実際の実行であり、プロンプト、ツール、スキル、ターン数の上限は設定として渡され、別の強化学習フレームワークの中で作り直されることはない。プロキシ層は、モデルが各ターンで実際に生成したトークンだけを訓練データとして記録し、プロンプトとツールの結果は損失に含めない。タスクはHarbor形式で記述し、テストスクリプトのスコアが報酬信号となり、rolloutはCortexサンドボックスで実行される。付属のcortex-training-rlスキルはOpenHands/extensionsにあり、開発者が一文で目標を説明すれば、エージェントがランチャー、GPU、タスク、報酬曲線を担当し、終了時にリソースを解放する。ローカルではCPU上のrolloutだけを実行し、訓練とサンプリングはCortex TrainingのGPU上で行われ、既定ではH200が4基使われる。
実測：Qwen3.5-4Bが25ステップでコードの特定を学ぶ
この手法はコード特定タスクでエンドツーエンドに検証された。エージェントはPythonリポジトリのGitHub issueを受け取り、SWE-smithデータセットの中から変更すべきファイル、モジュール、関数を見つけなければならない。設定に使ったのは特定専用のプロンプト、ターミナルツール、回答を提出するlocalization_finishツールだけで、上限は10ターン、報酬は3つのレベルのF1の合計で満点は3.0だった。Qwen3.5-4Bは25ステップ、各ステップ64回のrolloutを経て、専用に構築された強化学習の実装と同等の結果に達し、全体で数時間しかかからなかった。横に見ると、GDPxエージェントベンチマークで最強のモデルでも12%しか取れておらず、汎用ベンチマークは実際のワークフローからまだ遠い。自分の設定で訓練する意義はまさにその隔たりを埋めることにある。
すぐに試せるのは誰か、まず制限を見るべきなのは誰か
この手法は、すでにOpenHandsでエージェントを構築し、手元にHarborタスクがあるチームを対象としており、Cortex Trainingを有効化したSnowflakeアカウントも必要だ。制限もはっきり見ておく必要がある。訓練中、エージェントはターミナル経由でしかファイルを変更できず、file_editorツールは当面使えない。各コマンドは新しいシェルで実行され、環境変数とバックグラウンドプロセスは保持されない。GPUは既定でHopperアーキテクチャを対象とする。条件がそろったチームはcortex-training-rlスキルから直接始められる。そうでなければ、まずタスクをHarbor形式で書き、設定をSDKに集約する方が先だ。
