Inworld のリアルタイム推論サービス「Realtime Inference」は、2026 年 10 月 14 日に Business Wire の発表で提供が始まった。消費者向けリアルタイム AI で知られる同社が自営の推論サービスに乗り出し、最適化したオープンソースモデル、キャッシュを意識したルーティング、モデルごとに調整したデコーディングを、OpenAI 互換 API にまとめた。Realtime Router 経由で 100 以上の他社モデルと組み合わせることもできる。発表が競うのはパラメータではなく、大量の消費者向けアプリにおける会話 1 回ごとの遅延、安定性、コストだ。
消費者アプリの「リクエストの形」に合わせた設計
消費者向けのトラフィックは企業のバッチ処理と全く違う。利用者の入力は短くても、システム指示、記憶、安全ルール、長い会話履歴で入力は出力よりはるかに長くなる。画面上の返信 1 回の裏で、意図判定、安全確認、検索、順位付け、記憶、音声と複数回のモデル呼び出しが走ることもあり、流量は突発的に跳ねる。Inworld は「完了したやり取り」を単位に最適化する。Gemma、DeepSeek、GLM、Qwen、MiMo などのオープンモデル群を調整して托管し、繰り返し文脈にはキャッシュ価格を適用、言語、料金プラン、意図、会話の深さで振り分け、障害時の切り替えや流量分割、リクエスト単位の観測データも備える。これは生成の仕組み自体を速くする投機的デコーディング ({LINK['ja']})とは補完関係にあり、一方はトークンの出し方、もう一方は配信チェーン全体の組み立て方を変える。
発表の数字は定義から読む
発表は証拠を本番観測、トラフィック再生、障害テスト、個別ベンチマークに分けて示し、自社のトラフィックで再検証するよう促している。数字は 3 つある。Gemma 4 26B の 7 日間の本番比較では、配信インスタンスあたりのリクエストが 2.6 から 4.6 に増え、初回トークン遅延の中央値は 178 ミリ秒から 161 ミリ秒に改善した。GLM 5.3 Flash の本番リクエスト 5000 件の再生では、キャッシュ対応ルーティングでヒット率が 25% から 47% に上がった。別の 30 日間では同モデルが 2000 万件超を処理し、数えられた失敗は 98 件、完了率 99.9995% だった。失敗の定義はサーバーエラー、タイムアウト、容量不足による拒否のみで、クライアント側のエラーやキャンセルは含まない。いずれも同社自身の測定で、条件の書き方は比較的慎重だが、他社の負荷にそのまま当てはめることはできない。
Status の事例が狙いを示す
発表が名指しする顧客 Status は AI ソーシャルシミュレーションで、試作品から利用者 100 万人まで 19 日で到達した。その CEO は Inworld のモデルとルーティング基盤でコストが 20 分の 1 以下になったと述べる一方、発表自体も、この数字にはプロンプト設計、モデル選定、評価、負荷テストといったアプリ側の作業が含まれ、トークン単価だけの比較ではないと断っている。CEO の Kylan Gibbs は、コストこそが消費者アプリ開発者の最初の壁であり、最初に取り除く対象だと語る。ゲームの NPC やリアルタイム音声で知られた同社は、既存の音声合成・認識モジュールと並び、消費者アプリの推論レイヤーを担う位置取りへ移りつつある。小規模チームには配信基盤の専任を持たずに済む魅力がある反面、要の経路を新興企業に委ねる危うさもあり、自社の最長の会話パターンで負荷試験をしてから移行の深さを決めるべきだ。
