I. Résumé
Hunyuan3D-Part est une solution open source de génération et de décomposition de formes 3D au niveau composant, développée par Tencent Hunyuan. Elle comprend P3-SAM (segmentation native de pièces 3D) et X-Part (génération de pièces contrôlables). Son apprentissage ne repose pas sur SAM 2D. Basée sur environ 3,7 millions de formes et des annotations de pièces claires, elle permet une segmentation 3D automatisée et la génération de pièces diffuses. L'article présente des résultats de pointe obtenus lors de plusieurs tests de performance. L'intégralité des fonctionnalités est disponible dans Hunyuan3D Studio, et des versions allégées de P3-SAM et X-Part sont disponibles dans le référentiel.
2. Fonctionnalités principales
1. Segmentation 3D native : P3-SAM effectue la détection de pièces et la segmentation d'instances directement en 3D, prenant en charge l'indication de points et les processus entièrement automatiques.
2. Génération de composants contrôlables : X-Part utilise des boîtes englobantes comme contraintes, intègre des fonctionnalités sémantiques et géométriques et génère de manière diffuse des composants structurellement cohérents.
3. Formation de données 3D pures : supprime la dépendance au SAM 2D et s'appuie sur des données d'annotation 3D/composants à grande échelle pour améliorer la robustesse.
4. Pipeline de bout en bout : divisé d'abord puis généré, modifiable, remplaçable et réutilisable.
5. Versions légères et lourdes parallèles : version légère open source ; toutes les fonctionnalités peuvent être expérimentées dans Studio.
3. Installation
1. Clonez le référentiel : git clone https://github.com/Tencent-Hunyuan/Hunyuan3D-Part.
2. Préparation de l'environnement : Installez les dépendances et PyTorch/CUDA selon les exigences des sous-répertoires P3-SAM/ et XPart/.
- Téléchargez les poids : récupérez les points de contrôle correspondants à partir de la page du modèle Hugging Face et placez-les dans les chemins spécifiés de chaque sous-module.
- Expérience rapide : exécutez le script de segmentation P3-SAM pour obtenir des pièces et des cadres de délimitation, puis appelez X-Part pour générer des pièces terminées ; ou utilisez directement Hugging Face Space pour une démonstration légère.
Cas d'utilisation typiques
1. Réutilisation et édition des ressources : segmentez automatiquement les maillages numérisés ou générés et remplacez les composants individuels.
2. Assistance à la modélisation au niveau de la production : maintenir la cohérence structurelle et faciliter la reconstruction de la topologie et le déploiement UV.
3. Itération de conception : explorez rapidement la forme et l'assemblage des composants à l'aide de contraintes de boîte englobante.
4. Impression et fabrication : Production de pièces indépendantes pour s'adapter aux matériaux et aux procédés.
5. Écosystème et produits compétitifs
- Écosystème : connectez la série Hunyuan3D et Studio ; fournissez des modèles et des démonstrations de visages câlins.
Concurrents : SAMPart3D, PartField et PartGen s'appuient fortement sur des solutions de distillation 2D/3D ou multi-vues. Hunyuan3D-Part se distingue par son pipeline intégré de segmentation 3D native et de génération de diffusion contrôlée . Les avantages et inconvénients spécifiques de Hunyuan3D-Part seront déterminés sur la base de benchmarks publics et de vérifications de scénarios.
VI. Limitations et précautions
- La version open source est la version légère de X-Part, et toutes les fonctionnalités sont dans Studio ; l'interface et les indicateurs peuvent évoluer avec chaque version.
- Les formes à longue traîne et les grilles de bruit doivent encore être revues manuellement.
- L'entraînement/l'inférence nécessite de la mémoire vidéo, et des GPU modernes sont recommandés. La qualité du maillage affecte la segmentation et la stabilité de la génération.
- Veuillez respecter la licence et les conditions respectives des ensembles de données tiers.
7. Adresse du projet
https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
8. Questions fréquemment posées
Q : Hunyuan3D-Part dépend-il de 2D SAM ?
R : Non. P3-SAM est un modèle de segmentation 3D natif, et la formation et l’inférence sont effectuées dans l’espace 3D.
Q : Quelle est l’échelle et la source des données ?
R : Le document indique qu'environ 3,7 millions de formes et de pièces propres ont été utilisées pour l'annotation (la composition spécifique dépend du document et de la carte modèle).
Q : Des suggestions pour les grilles de saisie ?
R : P3-SAM est robuste en entrée, mais X-Part est plus adapté à la numérisation ou à la génération de maillage de haute qualité.
Q : Quelle est la différence entre la version Lite et Studio ?
R : La version légère est pratique pour la reproduction et la recherche locales ; Studio offre des fonctions de niveau production plus complètes et plus stables ainsi qu'une prise en charge de la puissance de calcul.
Q : Existe-t-il une expérience en ligne ?
R : Vous pouvez utiliser Hugging Face pour une démonstration simplifiée. Pour une utilisation complète, rendez-vous sur Hunyuan3D Studio.
