1. 추상
HY World 1.5 (WorldPlay)는 텐센트의 훈위안 팀이 개발한 오픈 소스 실시간 세계 모델 프레임워크로, 스트리밍 생성을 지원하는 비디오 확산 모델을 핵심으로 합니다. 이 시스템은 텍스트나 이미지 입력을 기반으로 실시간으로 상호작용하는 3D 세계를 생성하고 업데이트하여, 사용자가 1인칭 또는 3인칭 시점에서 자유롭게 걷고, 관찰하며, 조작할 수 있게 합니다. 목표는 현재 세계 모델에서 세대 속도, 장기적 일관성, 맥락적 기억 간의 절충관계를 해결하는 것입니다.
2. 핵심 기능
- 실시간 스트리밍 생성: 24 FPS로 장시간 비디오 생성을 지원하여 지속적인 탐색과 상호작용에 적합합니다.
- 장기 기하학적 일관성: 재구성된 맥락 기억 메커니즘을 통해 맥락이 역사적 프레임에서 동적으로 재구성되어 기억 쇠퇴 문제를 완화합니다.
- 견고한 상호작용 제어: 이중 동작 표현은 키보드와 마우스 입력에 대해 보다 안정적이고 예측 가능한 응답을 제공합니다.
- 다중 시점 및 확장 가능한 세계: 1인칭과 3인칭 시점 모두를 지원하여 무한 세계 확장과 이벤트 트리거에 사용할 수 있습니다.
3. 설치
- 환경 준비: 파이썬 및 딥러닝 실행 환경은 구성되어야 하며, 특정 의존성은 저장소 설명에 따라 결정됩니다.
- 코드 획득: GitHub에서 HY-WorldPlay 저장소를 복제합니다.
- 모델 가중치: Hugging Face를 통해 해당 모델 가중치를 다운로드하고 설명서에 따라 불러오세요.
- 예제 실행: 저장소에서 제공하는 스크립트를 참고하여 로컬 또는 인터랙티브 시연을 시작하세요.
4. 일반적인 사용 사례
- 인터랙티브 3D 장면 생성: 텍스트나 이미지를 통해 탐색 가능한 환경을 빠르게 구축할 수 있습니다.
- 게임 및 가상 세계 프로토타입: 세계 생성, 내비게이션 및 상호작용 논리를 검증합니다.
- 시뮬레이션 및 훈련: 로봇, 자율주행 또는 에이전트의 환경 모델링에 사용됩니다.
- 콘텐츠 제작 및 디스플레이: 전시 또는 프레젠테이션을 위한 이동 가능한 가상 장면을 생성합니다.
5. 생태학 및 경쟁 제품
- 생태학: 이 프로젝트는 연구 및 2차 개발을 촉진하기 위해 온라인 경험, 오픈 소스 코드, 모델 가중치, 기술 보고서를 제공하였습니다.
- 경쟁 제품 비교: 오프라인 또는 단기 시퀀스에서 생성된 월드 모델과 비교할 때, WorldPlay는 실시간과 장기적인 일관성을 강조합니다. 전통적인 3D 엔진에 비해 장점은 수동 자산 구축이 아닌 생성형 모델링입니다. 구체적인 효과는 실제 시나리오와 함께 평가해야 합니다.
6. 제한 및 주의사항
- 실시간 생성은 높은 연산 능력을 필요로 하며, 장기 작동을 위해서는 안정적인 GPU 자원이 필요합니다.
- 복잡한 기하학과 미세 물리 간의 상호작용은 여전히 모델의 능력에 의해 제한됩니다.
- 생성된 콘텐츠가 불안정하거나 이동할 수 있으므로, 주요 응용 프로그램에서 이를 제한하고 검증하는 것이 권장됩니다.
- 현재로서는 연구 및 프로토타입 단계에 더 적합하며, 생산 수준의 응용은 여전히 설계되고 최적화되어야 합니다.
7. 프로젝트 주소
https://github.com/Tencent-Hunyuan/HY-WorldPlay
8. FAQ
Q: HY WorldPlay가 실시간 상호작용과 24FPS를 지원하나요?
A: 공식 도입부는 약 24 FPS의 장시간 스트리밍과 상호작용을 지원합니다. 실제 프레임 속도는 하드웨어와 설정에 의해 영향을 받습니다.
Q: HY WorldPlay가 지원하는 입력 방식(텍스트/이미지)은 무엇인가요?
A: 텍스트나 이미지를 조건부 입력으로 사용하여 세계를 생성하고 탐험하는 것을 지원합니다.
Q: HY WorldPlay가 1인칭 및 3인칭 시점을 지원하나요?
A: 네, 공식 지침에는 1인칭과 3인칭 시점 모두를 포함해 다양한 상호작용과 신청서에 적응할 수 있도록 되어 있습니다.
Q: HY WorldPlay의 '장기적 기하학적 일관성'의 주요 메커니즘은 무엇인가요?
A: 재구성된 맥락 기억 메커니즘을 통해 역사적 프레임에서 맥락을 동적으로 재구성하여 장기 생성 과정에서 기억 감소와 일관성 문제를 완화합니다.
Q: HY WorldPlay는 키보드와 마우스 입력을 어떻게 처리하나요?
A: 이중 행동 표현(Dual Action Representation)을 사용하여 상호작용 동작을 표현하고 응답하여 키보드/마우스 입력의 견고함과 제어성을 향상시킵니다.
