Le service d'inférence en temps réel d'Inworld, Realtime Inference, a été lancé le 14 octobre 2026 par un communiqué Business Wire : l'entreprise, connue pour l'IA temps réel des produits grand public, exploite désormais son propre service d'inférence, qui réunit des modèles ouverts optimisés, un routage sensible au cache et un décodage ajusté par modèle dans une API compatible OpenAI, combinable avec plus de 100 modèles tiers via son Realtime Router. Le communiqué ne rivalise pas sur les paramètres ; il tient un autre compte, celui de la latence, de la stabilité et du coût de chaque conversation dans une application grand public à fort volume.
Pensé pour la forme des requêtes grand public
Le trafic grand public ne ressemble en rien aux traitements par lots d'entreprise. Les saisies des utilisateurs sont courtes, mais consignes système, mémoire, règles de sécurité et longs historiques rendent l'entrée bien plus longue que la sortie ; une réponse visible peut exiger plusieurs appels de modèle pour l'intention, la sécurité, la recherche, le classement, la mémoire et la voix, et la charge bondit sans prévenir. Inworld optimise à l'échelle de l'interaction terminée : versions hébergées et réglées de familles de modèles ouverts comme Gemma, DeepSeek, GLM, Qwen et MiMo, tarifs cache pour le contexte répété, routage selon la langue, l'offre, l'intention ou la profondeur de session, plus bascule en cas de panne, répartition du trafic et observabilité par requête. Cela complète des approches comme le décodage spéculatif, qui accélère la génération elle-même ({LINK['fr']}) : l'un change la façon d'émettre les jetons, l'autre l'organisation de toute la chaîne de service.
Trois chiffres du fournisseur, définitions d'abord
Le communiqué sépare délibérément ses preuves en observations de production, rejeux de trafic, tests de panne et mesures isolées, et invite les développeurs à revérifier avec leur propre trafic. Dans une comparaison de production de sept jours pour Gemma 4 26B, les requêtes par instance de service sont passées de 2,6 à 4,6 et le temps médian avant le premier jeton de 178 à 161 millisecondes. Dans un rejeu de 5 000 requêtes de production pour GLM 5.3 Flash, le routage sensible au cache a porté le taux de succès du cache de 25 à 47 %. Sur une fenêtre de 30 jours, ce modèle a traité plus de 20 millions de requêtes avec 98 échecs comptés, soit un taux d'achèvement de 99,9995 % — les échecs comptés étant uniquement les erreurs serveur, les dépassements de délai et les refus de capacité, hors erreurs client et annulations. Ce sont des mesures de l'éditeur, aux frontières énoncées avec un soin inhabituel, mais qui ne se transposent pas telles quelles à une autre charge.
Le cas Status montre la cible
Le client cité, Status, produit de simulation sociale par IA, est passé du prototype à un million d'utilisateurs en 19 jours ; son dirigeant attribue à l'infrastructure de modèles et de routage d'Inworld une réduction de coût de plus de vingt fois, tout en notant, comme le fait le communiqué lui-même, que ce chiffre englobe un travail applicatif — conception des invites, choix des modèles, évaluations et tests de charge — et ne doit pas se lire comme une simple comparaison de prix au jeton. Le PDG Kylan Gibbs résume l'offre : le coût est le premier obstacle de ces développeurs, donc le premier que l'entreprise attaque. Longtemps connue pour les personnages de jeux et la voix en temps réel, Inworld se repositionne en couche d'inférence des applications grand public, aux côtés de ses modules de synthèse et de reconnaissance vocales. Pour une petite équipe, l'attrait est de ne pas salarier une équipe de service ; le risque reste de confier un chemin critique à une jeune entreprise, d'où un test de charge sur ses propres conversations les plus longues avant tout engagement profond.
