Le 2 novembre, UBTech a publié Thinker-Sim, une plateforme de simulation pour l'IA incarnée, qui vise la partie la plus coûteuse et la plus longue de l'entraînement des robots : collecter des données réelles coûte cher, construire des environnements de simulation est difficile et valider des algorithmes prend du temps. Sa méthode consiste à transposer rapidement le monde réel dans la simulation, à entraîner d'abord le robot à fond dans l'ordinateur, puis à le valider sur du matériel réel, de sorte que l'entraînement et l'évaluation n'aient plus à reconstruire l'environnement à partir de zéro à chaque fois.
La plateforme repose sur un cadre Real2Sim2Real et couvre trois choses en un seul endroit : la numérisation de scènes réelles, la génération de données de simulation à grande échelle et l'évaluation des capacités des robots. La reconstruction des scènes utilise l'algorithme haute fidélité Thinker-GS, développé en interne par UBTech, combiné à la génération automatisée d'actifs SimReady, pour passer efficacement de la capture de scènes réelles à la reconstruction 3D puis à la génération d'actifs de simulation. En prenant l'exemple d'une véritable ligne de production en usine, la plateforme peut restituer l'agencement de l'usine, la structure de l'environnement et les détails visuels, puis charger avec souplesse des actifs de premier plan tels que robots, équipements de production et personnel, selon que la tâche relève de l'entraînement, de la collecte de données ou de l'évaluation d'algorithmes. Les scénarios de services commerciaux peuvent aussi générer rapidement des environnements jumeaux numériques au rendu visuel réaliste, pour l'entraînement et la validation du déploiement.
Jusqu'où les modèles et les agents abaissent la barrière
La plateforme intègre un riche ensemble de modèles standardisés de tâches de simulation couvrant les scénarios d'entraînement, de synthèse de données et d'évaluation dont les robots ont couramment besoin. Les utilisateurs n'ont pas à construire un environnement de simulation à partir de zéro ; choisir un modèle et régler les paramètres suffit pour lancer rapidement une tâche de simulation, avec diffusion vidéo en temps réel, suivi de l'état des tâches et retour sur les résultats pendant la simulation, de sorte qu'un problème peut vite être attribué à un échec de tâche, à une anomalie du modèle ou à une erreur de configuration de l'environnement. Les modules de scène, de robot, de tâche, d'algorithme et d'évaluation se configurent avec souplesse, et UBTech affirme que la plateforme peut s'adapter à plus de 90 % des scénarios de simulation visés.
Plus important encore est le mode d'interaction : fondée sur l'Ulab-Agent développé en interne, la plateforme prend le langage naturel comme point d'entrée unique, comprend les besoins de l'utilisateur, puis appelle de manière autonome des compétences atomiques de bas niveau telles que la création de scènes, la configuration d'environnements, la randomisation, l'orchestration des tâches et l'exécution de la planification, pour accomplir l'intégralité du flux de simulation. Même une personne incapable d'écrire du code de simulation peut confier une tâche en une phrase.
Thinker-Sim n'entre pas sur un marché vide ; les outils de simulation Isaac de NVIDIA sont utilisés depuis de nombreuses années. La différence d'UBTech réside dans l'évaluation et dans le flux tout-en-un, mais la couverture existante ne dit rien de l'ouverture de la plateforme, de sa tarification ni des données de déploiement de clients réels. Aussi réaliste soit une simulation, ce qui compte en fin de compte, c'est la performance sur du matériel réel, et la prochaine série de cas de déploiement rendus publics sera le véritable test.
