OpenHands 에이전트는 훈련 프레임워크를 다시 만들지 않고도 자신의 설정으로 바로 모델을 훈련할 수 있게 됐다. OpenHands와 Snowflake AI Research는 11월 3일 공식 블로그에서 후훈련 방식을 공개했다. 개발자는 Agent SDK에 이미 있는 프롬프트, 도구, 스킬 설정을 그대로 쓰고 Harbor 형식으로 작업을 정의하면 개방 가중치 모델을 강화학습으로 후훈련할 수 있으며, GPU 연산은 Cortex Training이 제공한다. 훈련과 배포가 같은 설정을 공유한다는 점에 가치가 있다.
핵심은 훈련에 쓰는 것이 배포에 쓰는 것과 정확히 같다는 점이다. 각 rollout은 에이전트의 실제 실행이며, 프롬프트, 도구, 스킬, 턴 수 상한은 다른 강화학습 프레임워크 안에서 다시 만드는 대신 설정으로 전달된다. 프록시 계층은 모델이 매 턴 실제로 생성한 토큰만을 훈련 데이터로 기록하고, 프롬프트와 도구 결과는 손실에 포함하지 않는다. 작업은 Harbor 형식으로 기술하고 테스트 스크립트 점수가 보상 신호가 되며, rollout은 Cortex 샌드박스에서 실행된다. 함께 제공되는 cortex-training-rl 스킬은 OpenHands/extensions에 있다. 개발자가 한 문장으로 목표를 설명하면 에이전트가 실행기, GPU, 작업, 보상 곡선을 맡고 종료 시 리소스를 해제한다. 로컬에서는 CPU rollout만 실행하고, 훈련과 샘플링은 Cortex Training GPU에서 이뤄지며 기본값은 H200 4개다.
실측: Qwen3.5-4B가 25단계 만에 코드 위치 찾기를 배웠다
이 방식은 코드 위치 찾기 작업으로 종단 간 검증됐다. 에이전트는 Python 저장소의 GitHub 이슈를 받아 SWE-smith 데이터셋에서 바꿔야 할 파일, 모듈, 함수를 찾아야 한다. 설정에는 위치 찾기 전용 프롬프트, 터미널 도구, 답을 제출하는 localization_finish 도구만 쓰였고, 상한은 10턴, 보상은 세 수준의 F1 합계로 만점은 3.0이었다. Qwen3.5-4B는 25단계, 단계당 64회 rollout을 거쳐 전용 강화학습 구현과 대등한 결과를 냈고, 전체 과정은 몇 시간밖에 걸리지 않았다. 나란히 보면 GDPx 에이전트 벤치마크에서 최강 모델도 12%밖에 얻지 못해, 범용 벤치마크는 실제 워크플로와 여전히 거리가 멀다. 자기 설정으로 훈련하는 의미가 바로 그 간극을 메우는 데 있다.
바로 시도할 수 있는 팀과 제한부터 봐야 할 팀
이 방식은 이미 OpenHands로 에이전트를 만들고 Harbor 작업을 손에 쥔 팀을 대상으로 하며, Cortex Training이 활성화된 Snowflake 계정도 필요하다. 제한도 분명히 봐야 한다. 훈련 중에는 에이전트가 터미널로만 파일을 수정할 수 있고 file_editor 도구는 당분간 쓸 수 없으며, 모든 명령은 새 셸에서 실행되고 환경 변수와 백그라운드 프로세스는 유지되지 않는다. GPU 기본값은 Hopper 아키텍처다. 조건이 갖춰진 팀은 cortex-training-rl 스킬에서 바로 시작할 수 있고, 그렇지 않다면 작업을 Harbor 형식으로 먼저 쓰고 설정을 SDK로 모으는 것이 우선이다.
