1. 초록
HY-Motion 1.0은 Tencent Hunyuan에서 개발한 일련의 텍스트-모션 모델로, 확산 변환기(DiT)와 플로우 매칭을 기반으로 하며, 자연어 설명을 기반으로 한 골격 기반 3D 캐릭터 애니메이션 시퀀스를 생성하고, 이를 일반적인 DCC/엔진 애니메이션 파이프라인과 연결하여 리디렉션과 자산화를 수행할 수 있습니다. 이 프로젝트는 표준(약 1.0B 파라미터)과 경량 버전(약 0.46B 파라미터)을 모두 제공하며, 의미적 정렬과 물리적 자연성을 향상시키기 위한 훈련에 "사전 학습 → 고품질 미세 조정 → 강화 학습" 전체 링크를 사용합니다.
2. 핵심 특징
1. 10억 규모 DiT + 플로우 매칭: DiT 스타일 플로우 매칭 생성 프레임워크를 10억 매개변수로 확장하여 더 강력한 명령어 이해와 액션 품질을 목표로 합니다.
2. 모든 단계에서 폐쇄 루프 훈련: 대규모 사전 학습은 일반적인 행동 사전에 학습한 후, 고품질 데이터로 세부 사항과 부드러움을 세밀하게 조정하며, 마지막으로 인간 피드백과 보상 모델과 관련된 강화 학습을 통해 텍스트 의미론과 행동의 자연성을 더욱 정렬합니다.
3. 풍부한 카테고리 커버리지: 데이터 파이프라인을 정리하고 주석을 달면 6개의 카테고리와 200+ 액션 카테고리를 커버하여 보다 '사용적인' 액션 라이브러리를 쉽게 구축할 수 있습니다.
4. 엔지니어링 추론 및 선택적 프롬프트 향상: 로컬 배치 추론 스크립트와 Gradio 인터페이스를 제공; 또한 선택적으로 "지속 시간 예측 및 프롬프트 재작성" 모듈을 지원하며(활성화하지 않으면 관련 매개변수를 명시적으로 꺼야 합니다).
3. 설치
- PyTorch 설치 (공식 가이드라인에 따라 CUDA/CPU 버전 선택).
2. 코드 풀 및 의존성 설치: 저장소를 git clone 후 디렉터리에서 pip install -r requirements.txt을 실행합니다.
3. 가중치 다운로드: 저장소 ckpts/README.md의 지침에 따라 지정된 디렉터리(표준 버전 또는 라이트 버전)에 모델 가중치를 배치합니다.
4. 추론 실행: 로컬 배치 생성에 local_infer.py를 사용하세요(해당 가중치 디렉터리를 --model_path 통해 가리키세요).
5. 시각화 시작: gradio_app.py를 실행하여 로컬 웹 인터페이스를 열어 인터랙티브 미리보기와 테스트를 진행합니다.
4. 일반적인 사용 사례
- 게임 및 애니메이션 프리패브레이션: 자연어를 사용해 액션 초안을 빠르게 생성하여 스토리보드에서 액션 라이브러리까지의 반복 주기를 단축합니다.
- 디지털 인간/가상 앵커 액션 라이브러리: 스타일, 리듬, 감정 명령에 따라 자료를 묶음으로 생성한 후, 뼈 방향 전환과 청소를 통합적으로 수행합니다.
- DCC/엔진 파이프라인 접근: 생성된 스켈레톤 액션을 Blender/Maya 또는 Unity/Unreal에 가져오고, IK, 리디렉션, 커브 편집을 통해 재사용 가능한 자산으로 구현합니다.
- 데이터 향상 및 검색 지원: 액션 생성기로서 롱테일 액션 설명의 범위를 확장하거나, "텍스트-액션" 정렬을 위한 검색 및 주석 처리 프로세스를 구축하는 데 사용됩니다(수동 무작위 검사 필요).
5. 생태와 경쟁 제품
- 생태학적 위치: HY-Motion 1.0은 "텍스트 → 3D 인간 움직임" 링크에 맞춰져 있으며, SMPL/SMPLH 관련 인간 표현, DCC 툴체인, 프롬프트 엔지니어링 모듈과 결합하여 "생산 가능한" 액션 자산 프로세스를 형성할 수 있습니다.
- 오픈 소스 경쟁사 참고 자료: MDM(인간 움직임 확산 모델), T2M-GPT, 초기 텍스트-모션 베이스라인 및 HumanML3D 데이터/벤치마크가 커뮤니티에서 널리 사용되고 있습니다. HY-Motion 1.0의 주요 차이점은 1B 척도와 더 완전한 훈련 폐쇄 루프입니다. 여전히 신속한 배치, 캐릭터 골격, 그리고 착륙 파이프라인에 따라 실제 장단점을 비교하고 평가하는 것이 권장됩니다.
6. 제한 및 주의사항
- 연산 능력과 지연 시간: 10억 매개변수 추론은 비디오 메모리와 처리량에 대한 요구가 더 높으며, 자원이 제한된 시나리오에서는 라이트 버전을 우선시할 수 있습니다.
- 골격과 캐릭터의 차이점: 생성되는 것은 골격 주도의 동작이며, 특정 캐릭터에 착지하려면 보통 방향 전환, 골길이 적응, 발바닥 슬라이딩 스텝 보정, 그리고 간간이 보정이 필요합니다.
- 프롬프트 재작성/지속 시간 예측 의존성: 관련 모듈이 활성화되어 있다면, 사용 가능한 서비스 주소나 로컬 모델을 구성해야 합니다. 그렇지 않으면 해당 매개변수를 꺼서 오류를 피해야 합니다.
- 카테고리 및 데이터 편향: 200+ 클래스 커버리지가 "어떤 설명도 안정적"이라는 의미는 아니며, 복잡한 상호작용, 소품, 다수 인물 상황에서는 추가 제약 조건이나 후처리가 필요할 수 있습니다.
- 라이선스 및 준수: 가중치와 코드는 특정 커뮤니티에서 라이선스를 부여하며, 상업화/배포 전에 약관을 꼼꼼히 확인해야 하며, 생성된 콘텐츠에 대해 저작권 및 보안 검토를 실시해야 합니다.
7. 프로젝트 주소
https://github.com/Tencent-Hunyuan/HY-Motion-1.0
8. 자주 묻는 질문
Q: HY-Motion 1.0 설치 후 local_infer.py 실행 시 duration_est/재작성 관련 오류를 어떻게 처리하나요?
A: 프롬프트 오버라이드/지속 시간 예측 모듈의 서비스 주소나 로컬 가중치를 설정하지 않으면, 추론 매개변수의 해당 기능(예: duration_est 비활성화 및 재작성)을 끄거나 저장소 지침에 따라 모듈을 올바르게 설정해야 합니다.
Q: HY-Motion-1.0과 HY-Motion-1.0-Lite 중에서 어떻게 선택하나요?
A: 더 높은 동작 품질과 강력한 명령어 추종을 추구할 때 표준 버전을 선택하고, 충분한 연산 능력을 갖추어야 합니다; 자원 사용량을 줄이거나 반복 속도가 빨라질 때는 먼저 Lite를 사용하고 그 다음 표준 에디션으로 키 조각을 복제하세요.
Q: HY-Motion 1.0의 출력물이 Blender/UE/Unity 애니메이션 파이프라인과 어떻게 연결되나요?
A: 일반적인 과정은 생성된 스켈레톤 액션을 툴체인에서 읽을 수 있는 형식으로 내보내거나 변환한 후, 본을 대상 캐릭터 리그로 리디렉션한 뒤, IK, 솔 락킹, 곡선 스무딩 같은 후처리를 수행하는 것입니다. 프로젝트 프레임워크 표준마다 다르며, 안정적인 리디렉션 템플릿을 구축해야 합니다.
Q: HY-Motion 1.0이 '소품/멀티플레이어/복잡한 장면이 있는 액션'에 적합한가요?
A: 주로 싱글 플레이어 3D 인간 모션 생성을 목표로 합니다; 복잡한 상호작용은 종종 더 강력한 조건부 입력, 후처리, 또는 전문 데이터 지원이 필요하므로, 소규모 검증을 먼저 수행하고 수동 수정 준비를 하는 것이 권장됩니다.
