HY World 1.5 (WorldPlay) Open-Source-Veröffentlichung: Ein interaktives Weltmodell für Live-Streaming-Video-Diffusion

1. Abstract

HY World 1.5 (WorldPlay) ist ein Open-Source-Echtzeit-Weltmodell-Framework, entwickelt vom Hunyuan-Team von Tencent, mit einem Videodiffusionsmodell, das die Streaming-Generierung im Kern unterstützt. Das System erzeugt und aktualisiert interaktive 3D-Welten in Echtzeit basierend auf Text- oder Bildeingaben, sodass Nutzer frei aus der Ich- oder Dritte-Person-Perspektive gehen, beobachten und manipulieren können. Das Ziel ist es, den Kompromiss zwischen Generationsgeschwindigkeit, langfristiger Konsistenz und kontextuellen Speicher in aktuellen Weltmodellen zu adressieren.

2. Kernfunktionen

1. Echtzeit-Streaming-Generierung: Unterstützt langjährige Videogenerierung mit 24 FPS, geeignet für kontinuierliche Erkundung und Interaktion.
2. Langfristige geometrische Konsistenz: Durch den Rekonstituierten Kontextspeichermechanismus wird der Kontext dynamisch aus historischen Rahmen rekonstruiert, was das Problem des Gedächtnisverfalls lindert.
3. Robuste Interaktionssteuerung: Dual Action Representation bietet eine stabilere und vorhersehbarere Reaktion auf Tastatur- und Mauseingaben.
4. Multiperspektive und erweiterbare Welt: Es unterstützt sowohl Ego- als auch Third-Person-Perspektiven, die für unendliche Welterweiterung und Ereignisauslösung genutzt werden können.

3. Installation

1. Umgebungsvorbereitung: Python- und Deep-Learning-Umgebungen müssen konfiguriert werden, und die spezifischen Abhängigkeiten unterliegen der Beschreibung des Repositorys.
2. Den Code abrufen: Das HY-WorldPlay-Repository von GitHub klonen.
3. Modellgewichte: Laden Sie die entsprechenden Modellgewichte über Hugging Face herunter und laden Sie sie gemäß den Anweisungen ein.
4. Beispiel ausführen: Beziehen Sie sich auf das vom Repository bereitgestellte Skript, um eine lokale oder interaktive Demonstration zu starten.

4. Typische Anwendungsfälle

1. Interaktive 3D-Szenengenerierung: Erstellen Sie schnell erkundbare Umgebungen durch Text oder Bilder.
2. Spiel- und virtuelle Welt-Prototypen: Überprüfen Sie die Logik der Weltgenerierung, Navigation und Interaktion.
3. Simulation und Training: verwendet für Umweltmodellierung von Robotern, autonomem Fahren oder Agenten.
4. Inhaltserstellung und -darstellung: Erstellen Sie freizügige virtuelle Szenen für Anzeige oder Präsentation.

5. Ökologie und konkurrierende Produkte

1. Ökologie: Das Projekt hat Online-Erfahrungen, Open-Source-Code, Modellgewichte und technische Berichte bereitgestellt, um Forschung und Sekundärentwicklung zu erleichtern.
2. Vergleich konkurrierender Produkte: Im Vergleich zu Weltmodellen, die offline oder kurze Sequenzen generiert werden, legt WorldPlay großen Wert auf Echtzeit- und Langzeitkonsistenz. Der Vorteil gegenüber traditionellen 3D-Engines liegt in generativem Modellieren statt manuellem Asset-Aufbau. Der spezifische Effekt muss weiterhin in Kombination mit tatsächlichen Szenarien bewertet werden.

6. Einschränkungen und Vorsichtsmaßnahmen

1. Die Echtzeiterzeugung erfordert hohe Rechenleistung und stabile GPU-Ressourcen für den langfristigen Betrieb.
2. Die Wechselwirkung zwischen komplexer Geometrie und feiner Physik ist weiterhin durch die Fähigkeiten des Modells begrenzt.
3. Der generierte Inhalt kann instabil oder driftend sein, und es wird empfohlen, ihn in Schlüsselanwendungen zu beschränken und zu verifizieren.
4. Derzeit ist es besser für Forschungs- und Prototypenphasen geeignet, und Anwendungen auf Produktionsniveau müssen noch entwickelt und optimiert werden.

7. Projektadresse

 https://github.com/Tencent-Hunyuan/HY-WorldPlay

8. FAQ

F: Unterstützt HY WorldPlay Echtzeitinteraktion und 24 FPS?

A: Die offizielle Einführung unterstützt langjähriges Streaming und Interaktion mit etwa 24 FPS; Die tatsächlichen Bildraten werden von Hardware und Konfiguration beeinflusst.

F: Welche Eingabemethoden (Text/Bilder) unterstützt HY WorldPlay?

A: Unterstützung für die Verwendung von Text oder Bildern als bedingte Eingaben, um die Welt zu generieren und zu erkunden.

F: Unterstützt HY WorldPlay Ego- und Third-Person-Ansichten?

A: Ja, die offiziellen Anweisungen decken sowohl die Ich-Perspektive als auch die Third-Person-Perspektive ab, um sich an verschiedene Interaktionen und Bewerbungsformulare anzupassen.

F: Was ist der Hauptmechanismus für die "langfristige geometrische Konsistenz" von HY WorldPlay?

A: Dynamische Rekonstruktion von Kontexten aus historischen Rahmen durch den Rekonstituierten Kontextspeichermechanismus, um Gedächtnisverfall und Konsistenzprobleme während der Langzeitgenerierung zu lindern.

F: Wie handhabt HY WorldPlay die Eingaben von Tastatur und Maus?

A: Verwenden Sie Dual Action Representation, um interaktive Aktionen darzustellen und darauf zu reagieren, wodurch die Robustheit und Kontrolle von Tastatur-/Mauseingaben verbessert wird.