Together Compiler가 11월 4일 출시됐다. Together AI는 추론 최적화를 에이전트 무리에 맡겼다. 에이전트들은 하룻밤 사이에 GPU 커널을 다시 쓰고 속도를 반복 측정해 검증에 통과한 버전만 프로덕션에 투입한다. 회사에 따르면 NVIDIA Blackwell 칩에서 4개 오픈 모델을 24시간 컴파일한 결과 처리량이 기존 최고 오픈 엔진의 최대 3배에 달했다. 중요한 것은 숫자의 크기만이 아니라 추론 배포를 조정하는 방식 자체가 바뀌었다는 점이다. 연구원이 몇 주씩 손으로 조정하던 방식에서 에이전트가 트래픽과 하드웨어 변화에 맞춰 계속 다시 조정하는 방식으로 이동하고 있다.
에이전트의 커널 다시 쓰기, 검증된 버전만 투입되는 구조
Together는 이 방식을 다형 추론(polymorphic inference)이라 부르며, Together Compiler는 그 첫 번째 상용 구현이다. 에이전트 무리는 모델의 전체 포워드 패스를 대상으로 커널 변경안을 제안하고, 상주 엔진이 핫 리로딩으로 후보를 빠르게 교체하면서 속도를 측정하고 기존 엔진과 대조해 정확성을 검증한다. 승리한 커널은 공유 레지스트리에 기록돼 다음 모델이나 칩은 처음부터가 아니라 축적된 경험에서 출발할 수 있다. 모델, 하드웨어, 워크로드 중 무엇이 바뀌든 최적화를 다시 돌릴 수 있어 연구원의 시간이 날 때까지 기다릴 필요가 없다. 이 팀은 이전에 FlashAttention과 ThunderKittens를 만들었고, 이번에는 커널 연구 역량을 제품화한 셈이다.
숫자는 인상적이지만 측정 조건을 확인해야 한다
공식 페이지에는 몇 가지 수치가 나와 있다. 사용자당 속도를 동일하게 맞췄을 때 Blackwell에서 4개 모델은 GPU당 토큰 처리량이 최대 2.6배, AMD MI355X의 GLM은 최대 3.7배, AWS Trainium2의 MiniMax M3는 최대 2.7배를 기록했다. Llama-3.2-1B는 H100과 B200에서 전문가가 손으로 쓴 메가커널을 앞질렀다. 고객 사례에서 음성 기업 Phonic은 첫 음성까지의 중간값 지연이 하룻밤 만에 거의 절반으로 줄었다고 밝혔다. 이는 모두 Together 자체 벤치마크 결과로, 비교 대상은 “최고의 오픈 엔진”이나 “최고의 공개 벤치마크”이며 모든 배포에 공통된 속도 향상이 아니다. 실제 효과는 모델, 트래픽 형태, 하드웨어 조합에 따라 달라진다. 컴파일된 커널은 이미 일부 서버리스 모델에서 기본 적용되고 있으며 GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 등이 대상이고 가격은 동일하다. 전용 엔드포인트는 제한적 베타 신청이 필요하고 셀프서비스 최적화는 추후 제공된다. Together는 이전에 Claude Code와 Codex를 오픈 모델로 전환할 수 있는 Together Link도 출시했는데, 두 움직임을 합치면 오픈 모델의 “편리함”을 접속 계층에서 실행 계층으로 밀어 올리고 있음을 알 수 있다. 오픈 모델로 서비스를 운영하는 팀에게 다음 관전 포인트는 셀프서비스 최적화 공개 후 중소 규모 배포에서도 비슷한 효과를 얻을 수 있는지, 그리고 하드웨어를 넘나드는 안정성이 실제 트래픽을 견딜 수 있는지다.
