Matrix-Game 2.0 est un modèle de monde génératif open-source publié par Skywork AI, et son principal point fort est qu’il peut générer des scènes de jeu interactives de niveau minute en temps réel à une résolution d’environ 640×352 à environ 640352 avec seulement 1,8 B de paramètres, et prend en charge le contrôle via les opérations de clavier WASD. Cette réalisation a fait passer le monde généré par l’IA de la théorie à la jouabilité.
1. Principaux avantages de Matrix-Game 2.0
- Léger et efficace : Le nombre de paramètres n’est que de 1,8 B, mais grâce à la technologie de diffusion auto-régressive en quelques étapes, il atteint une sortie stable de 25 images par seconde et prend en charge la génération continue en quelques minutes.
- Forte interactivité : Mécanisme d’injection d’action clavier/souris intégré, le fonctionnement en temps réel de l’utilisateur affectera chaque image générée ensuite.
- Données d’entraînement enrichies : générez environ 1 200 heures de vidéos interactives de haute qualité basées sur Unreal Engine et des moteurs de jeu tels que GTA5 pour l’entraînement des modèles.
2. Les performances de Matrix-Game 2.0
- Dans le benchmark GameWorld Score, la qualité de l’image, la cohérence du timing, la précision de la réponse à l’action et d’autres indicateurs sont meilleurs que le modèle open-source similaire Oasis.
- La faible latence de fonctionnement et le retour d’interaction fluide le rendent adapté à la démonstration et à l’étude du potentiel des modèles du monde en temps réel.
3. Limitations et lacunes actuelles
- Faible résolution : La résolution officielle de la vidéo de démonstration est de 640×352, ce qui est plus proche de la texture de l’image des moniteurs CRT rétro.
- Exigences d’exécution élevées : FlashAttention et NVIDIA Apex sont nécessaires pour un rendu fluide, et les GPU haut de gamme sont mieux adaptés à l’exécution.
4. Pourquoi il vaut la peine de prêter attention à Matrix-Game 2.0
- est entièrement open source : il fournit des poids de modèle et du code, une licence MIT et convient à la recherche scientifique et au développement secondaire.
- Mise en œuvre solide : la combinaison de modèles de monde génératifs avec une interaction contrôlable en temps réel montre des voies possibles pour les futurs jeux d’IA et les mondes virtuels.
Q
: Matrix-Game 2.0 peut-il être commercialisé directement ?
R : Le modèle est sous licence Open Source du MIT et peut être disponible dans le commerce dans le cadre de l’accord, mais une attention particulière doit être portée à la conformité du contenu généré.
Q : La résolution peut-elle être améliorée ?
R : Cela peut théoriquement être réalisé grâce à un entraînement à plus haute résolution ou à un post-traitement à super-résolution, mais cela augmente les coûts de calcul.
Q : Dans quels autres scénarios peut-il être utilisé en dehors des jeux ?
R : Il peut être utilisé dans des environnements de formation virtuels, des simulations de robots, des recherches visuelles et d’autres scénarios nécessitant la génération en temps réel d’images dynamiques.
Adresse open source :
https://huggingface.co/Skywork/Matrix-Game-2.0
