Mit OpenHands können Agenten auch ohne ein neu aufgebautes Trainings-Framework direkt mit ihrer eigenen Konfiguration trainiert werden. OpenHands und Snowflake AI Research haben am 3. November in einem offiziellen Blogbeitrag ein Post-Training-Verfahren vorgestellt: Entwickler verwenden die vorhandenen Prompts, Werkzeuge und Skills aus dem Agent SDK, definieren Aufgaben im Harbor-Format und können so Open-Weight-Modelle mit Reinforcement Learning nachtrainieren; die GPU-Rechenleistung liefert Cortex Training. Der Wert liegt darin, dass Training und Deployment dieselbe Konfiguration teilen.
Der Kernpunkt ist, dass für das Training genau das verwendet wird, was auch im Deployment läuft: Jeder Rollout führt den Agenten tatsächlich einmal aus, Prompt, Werkzeuge, Skills und Rundenlimit werden gemäß Konfiguration übergeben und nicht in einem weiteren Framework neu aufgebaut; eine Proxy-Schicht speichert nur die Token, die das Modell in jeder Runde tatsächlich erzeugt, als Trainingsdaten, während Prompts und Werkzeugergebnisse nicht in den Verlust eingehen. Aufgaben werden im Harbor-Format beschrieben, die Punktzahl des Testskripts ist das Belohnungssignal, und Rollouts laufen in Cortex-Sandboxes. Der begleitende Skill cortex-training-rl liegt in OpenHands/extensions: Der Entwickler beschreibt das Ziel in einem Satz, der Agent kümmert sich um Launcher, GPU, Aufgaben und Belohnungskurve und gibt die Ressourcen am Ende frei; lokal laufen nur die CPU-Rollouts, Training und Sampling finden auf Cortex-Training-GPUs statt, standardmäßig vier H200.
Im Test: Qwen3.5-4B lernt in 25 Schritten, Code zu lokalisieren
Geprüft wurde das Verfahren mit einer Code-Lokalisierungsaufgabe: Der Agent erhält ein GitHub-Issue aus einem Python-Repository und muss im SWE-smith-Datensatz die zu ändernden Dateien, Module und Funktionen finden. Die Konfiguration bestand nur aus einem Lokalisierungs-Prompt, einem Terminal-Werkzeug und dem Werkzeug localization_finish zum Einreichen der Antwort, mit einem Limit von 10 Runden; die Belohnung war die Summe der F1-Werte auf drei Ebenen, maximal 3,0. Qwen3.5-4B wurde 25 Schritte lang mit jeweils 64 Rollouts trainiert und erreichte Ergebnisse, die mit einer eigens gebauten Reinforcement-Learning-Implementierung vergleichbar sind; der gesamte Durchlauf dauerte nur wenige Stunden. Im Quervergleich erreichte das stärkste Modell im GDPx-Agenten-Benchmark nur 12 % – allgemeine Benchmarks sind von echten Arbeitsabläufen noch weit entfernt, und genau diese Lücke soll Training mit der eigenen Konfiguration schließen.
Wer sofort loslegen kann – und wer zuerst die Grenzen prüfen sollte
Das Verfahren richtet sich an Teams, die OpenHands bereits nutzen und Harbor-Aufgaben zur Hand haben; außerdem wird ein Snowflake-Konto mit freigeschaltetem Cortex Training benötigt. Auch die Grenzen sollten klar sein: Während des Trainings kann der Agent Dateien nur über das Terminal ändern, das Werkzeug file_editor ist vorerst nicht verfügbar, jeder Befehl läuft in einer neuen Shell, Umgebungsvariablen und Hintergrundprozesse werden nicht beibehalten; die GPUs sind standardmäßig auf Hopper ausgerichtet. Wer die Voraussetzungen erfüllt, kann direkt mit dem Skill cortex-training-rl starten; andernfalls lohnt es sich, zuerst Aufgaben im Harbor-Format zu schreiben und die Konfiguration ins SDK zu überführen.
