Les agents OpenHands peuvent désormais entraîner un modèle directement avec leur propre configuration, sans reconstruire un cadre d'entraînement. OpenHands et Snowflake AI Research ont dévoilé une approche de post-entraînement dans un article de blog officiel le 3 novembre : les développeurs conservent les prompts, outils et compétences déjà présents dans l'Agent SDK, définissent les tâches au format Harbor, et peuvent post-entraîner des modèles à poids ouverts par apprentissage par renforcement, la puissance GPU étant fournie par Cortex Training. L'intérêt est que l'entraînement et le déploiement partagent une même configuration.
Le point clé est que l'entraînement utilise exactement ce que le déploiement utilise : chaque rollout est une exécution réelle de l'agent, avec le prompt, les outils, les compétences et la limite de tours transmis en configuration plutôt que reconstruits dans un autre cadre ; une couche proxy n'enregistre comme données d'entraînement que les tokens réellement générés par le modèle à chaque tour, tandis que les prompts et les résultats d'outils sont exclus de la perte. Les tâches sont décrites au format Harbor, le score du script de test sert de signal de récompense, et les rollouts tournent dans des bacs à sable Cortex. La compétence associée cortex-training-rl se trouve dans OpenHands/extensions : le développeur décrit l'objectif en une phrase, l'agent s'occupe du lanceur, des GPU, des tâches et de la courbe de récompense, puis libère les ressources ; en local, seuls les rollouts CPU tournent, l'entraînement et l'échantillonnage ayant lieu sur les GPU de Cortex Training, quatre H200 par défaut.
À l'essai : Qwen3.5-4B apprend la localisation de code en 25 étapes
L'approche a été validée de bout en bout sur une tâche de localisation de code : l'agent reçoit une issue GitHub d'un dépôt Python et doit retrouver, dans le jeu de données SWE-smith, les fichiers, modules et fonctions à modifier. La configuration n'utilisait qu'un prompt de localisation, un outil terminal et l'outil localization_finish pour soumettre la réponse, avec une limite de 10 tours ; la récompense était la somme des scores F1 sur les trois niveaux, sur 3,0. Après 25 étapes de 64 rollouts chacune, Qwen3.5-4B a égalé une implémentation d'apprentissage par renforcement construite sur mesure, et l'ensemble n'a pris que quelques heures. À titre de comparaison, le meilleur modèle du benchmark d'agents GDPx n'a obtenu que 12 % — les benchmarks généralistes restent loin des flux de travail réels, et c'est précisément l'écart que l'entraînement avec sa propre configuration doit combler.
Qui peut essayer tout de suite, et qui doit d'abord regarder les limites
L'approche s'adresse aux équipes qui construisent déjà des agents avec OpenHands et disposent de tâches Harbor, ainsi qu'à celles qui possèdent un compte Snowflake avec Cortex Training activé. Les limites méritent aussi un regard lucide : pendant l'entraînement, l'agent ne peut modifier les fichiers que via le terminal, l'outil file_editor est indisponible pour l'instant, chaque commande s'exécute dans un nouveau shell, et les variables d'environnement comme les processus d'arrière-plan ne sont pas conservés ; les GPU visent par défaut l'architecture Hopper. Les équipes qui remplissent les conditions peuvent démarrer directement avec la compétence cortex-training-rl ; sinon, mieux vaut d'abord écrire les tâches au format Harbor et regrouper la configuration dans le SDK.
