Inworld의 실시간 추론 서비스 Realtime Inference가 2026년 10월 14일 Business Wire 발표를 통해 출시됐다. 소비자용 실시간 AI로 알려진 이 회사가 자체 추론 서비스를 시작하며, 최적화된 오픈 모델, 캐시 인식 라우팅, 모델별 디코딩 조정을 OpenAI 호환 API 하나로 묶었고 Realtime Router를 통해 100개가 넘는 타사 모델과 조합할 수도 있다. 발표가 겨루는 것은 파라미터가 아니라 대량 소비자 앱에서 대화 한 번의 지연, 안정성, 비용이다.
소비자 앱의 요청 모양에 맞춘 설계
소비자 트래픽은 기업 배치 처리와 전혀 다르다. 사용자 입력은 짧아도 시스템 지시, 기억, 안전 규칙, 긴 대화 기록 때문에 입력이 출력보다 훨씬 길어진다. 화면의 답 한 번 뒤에는 의도 판정, 안전 검사, 검색, 순위, 기억, 음성 등 여러 번의 모델 호출이 붙을 수 있고 트래픽은 예고 없이 튄다. Inworld는 '완료된 상호작용'을 단위로 최적화한다. Gemma, DeepSeek, GLM, Qwen, MiMo 등 오픈 모델군을 조정해 호스팅하고 반복 맥락에는 캐시 가격을 적용하며, 언어, 요금제, 의도, 세션 깊이로 라우팅하고 장애 전환, 트래픽 분할, 요청 단위 관측 데이터까지 제공한다. 이는 생성 원리 자체를 빠르게 하는 투기적 디코딩 ({LINK['ko']})과 상호 보완적이다. 하나는 토큰을 내는 방식을, 다른 하나는 서빙 체인 전체의 구성 방식을 바꾼다.
업체 숫자는 정의부터 읽어야 한다
발표는 근거를 운영 관측, 트래픽 재생, 장애 테스트, 개별 벤치마크로 나눠 제시하고 개발자에게 자체 트래픽으로 다시 시험하라고 권한다. 숫자는 세 가지다. Gemma 4 26B의 7일 운영 비교에서 서빙 인스턴스당 요청이 2.6에서 4.6으로 늘었고 첫 토큰 지연 중앙값은 178밀리초에서 161밀리초로 줄었다. GLM 5.3 Flash의 운영 요청 5,000건 재생에서는 캐시 인식 라우팅으로 캐시 적중률이 25%에서 47%로 올랐다. 또 다른 30일 구간에서 이 모델은 2,000만 건 넘게 처리했고 집계된 실패는 98건, 완료율 99.9995%였다. 실패의 정의는 서버 오류, 시간 초과, 용량 거절만이며 클라이언트 오류와 취소는 제외된다. 모두 업체 자체 측정으로 조건 표기는 비교적 신중하지만 다른 팀의 부하에 그대로 대입할 수는 없다.
Status 사례가 노리는 시장을 보여 준다
발표가 지목한 고객 Status는 AI 소셜 시뮬레이션 제품으로 프로토타입에서 이용자 100만 명까지 19일 만에 도달했다. 이 회사 CEO는 Inworld의 모델과 라우팅 인프라로 비용이 20분의 1 이하로 줄었다고 말하지만, 발표 자체도 이 수치에는 프롬프트 설계, 모델 선정, 평가, 부하 테스트 같은 앱 측 작업이 포함돼 토큰 단가만의 비교로 읽어서는 안 된다고 단서를 단다. CEO Kylan Gibbs는 비용이 소비자 앱 개발자 앞의 첫 번째 장벽이며 그래서 가장 먼저 허무는 대상이라고 말한다. 게임 NPC와 실시간 음성으로 알려진 이 회사는 기존 음성 합성, 음성 인식 모듈과 함께 소비자 앱의 추론 계층을 맡는 쪽으로 자리를 옮기고 있다. 작은 팀에게는 서빙 전담 인력을 두지 않아도 되는 매력이 있지만 핵심 경로를 신생 기업에 맡기는 위험도 있어, 자사의 가장 긴 대화 패턴으로 부하 시험을 한 뒤 이전 깊이를 정하는 편이 안전하다.
