1. Abstract
HY World 1.5 (WorldPlay) est un framework de modèles en temps réel open source développé par l’équipe Hunyuan de Tencent, avec un modèle de diffusion vidéo qui prend en charge la génération de streaming au cœur de sa carrière. Le système génère et met à jour des mondes 3D interactifs en temps réel basés sur le texte ou l’image, permettant aux utilisateurs de marcher, observer et manipuler librement à la première ou à la troisième personne. L’objectif est de répondre au compromis entre la vitesse de génération, la cohérence à long terme et la mémoire contextuelle dans les modèles actuels du monde.
2. Fonctionnalités principales
- Génération de streaming en temps réel : Prend en charge la génération vidéo de longue durée à 24 FPS, adaptée à l’exploration et à l’interaction continues.
- Cohérence géométrique à long terme : grâce au mécanisme de mémoire de contexte reconstituée, le contexte est reconstruit dynamiquement à partir de cadres historiques, atténuant ainsi le problème de la dégradation de la mémoire.
- Contrôle robuste de l’interaction : La représentation à double action offre une réponse plus stable et prévisible aux entrées clavier et souris.
- Monde multi-perspective et extensible : Il supporte à la fois la première et la troisième personne, qui peuvent être utilisées pour l’expansion infinie du monde et le déclenchement d’événements.
3. Installation
- Préparation de l’environnement : Python et environnements d’apprentissage profond doivent être configurés, et les dépendances spécifiques sont soumises à la description du dépôt.
- Récupérer le code : cloner le dépôt HY-WorldPlay depuis GitHub.
- Poids modèles : Téléchargez les poids correspondants via Hugging Face et chargez-les selon les instructions.
- Exécuter un exemple : Référez-vous au script fourni par le dépôt pour lancer une démonstration locale ou interactive.
4. Cas d’usage typiques
- Génération interactive de scènes 3D : Construire rapidement des environnements explorables via du texte ou des images.
- Prototypes de jeux et de mondes virtuels : vérifier la génération des mondes, la navigation et la logique d’interaction.
- Simulation et formation : utilisées pour la modélisation environnementale de robots, de conduite autonome ou d’agents.
- Création et affichage de contenu : Générer des scènes virtuelles itinérantes pour affichage ou présentation.
5. Écologie et produits concurrents
- Écologie : Le projet a fourni une expérience en ligne, du code open source, des poids de modèles et des rapports techniques pour faciliter la recherche et le développement secondaire.
- Comparaison des produits concurrents : Comparé aux modèles mondiaux générés hors ligne ou courtes, WorldPlay met l’accent sur la cohérence en temps réel et à long terme. L’avantage par rapport aux moteurs 3D traditionnels est la modélisation générative plutôt que la création manuelle d’assets. L’effet spécifique doit encore être évalué en combinaison avec les scénarios réels.
6. Limitations et précautions
- La génération en temps réel nécessite une grande puissance de calcul et des ressources GPU stables pour un fonctionnement à long terme.
- L’interaction entre la géométrie complexe et la physique fine reste limitée par les capacités du modèle.
- Le contenu généré peut être instable ou dériver, et il est recommandé de le contraindre et de le vérifier dans des applications clés.
- Actuellement, il est plus adapté aux phases de recherche et de prototype, et les applications de niveau production doivent encore être conçues et optimisées.
7. Adresse
du projet https ://github.com/Tencent-Hunyuan/HY-WorldPlay
8. FAQ
Q : HY WorldPlay supporte-t-il l’interaction en temps réel et 24 FPS ?
R : L’introduction officielle supporte le streaming et l’interaction de longue date à environ 24 FPS ; Les taux d’images par seconde réels seront affectés par le matériel et la configuration.
Q : Quelles méthodes d’entrée (texte/images) HY WorldPlay prend-il en charge ?
R : Soutenir l’utilisation du texte ou des images comme entrées conditionnelles pour générer et explorer le monde.
Q : HY WorldPlay prend-il en place les vues à la première et à la troisième personne ?
R : Oui, les instructions officielles couvrent à la fois la première et la troisième personne afin de s’adapter aux différentes interactions et formulaires de candidature.
Q : Quel est le principal mécanisme de la « cohérence géométrique à long terme » de HY WorldPlay ?
R : Reconstruire dynamiquement les contextes à partir de cadres historiques via le mécanisme de Mémoire de Contexte Reconstitué afin d’atténuer la décroissance et les problèmes de cohérence de la mémoire lors de la génération à long terme.
Q : Comment HY WorldPlay gère-t-il les commandes clavier et souris ?
R : Utilisez la représentation à double action pour représenter et répondre aux actions interactives, améliorant ainsi la robustesse et le contrôle des entrées clavier/souris.
