1. Résumé
HY3D-Bench est un écosystème unifié de données d’actifs 3D open source, développé par l’équipe Hunyuan de Tencent, dans le but d’atténuer les points de douleur courants comme la « rareté des données, le bruit élevé et l’évaluation incohérente » dans le domaine de la génération 3D. Le projet publie simultanément trois types de sous-ensembles de données complémentaires : Plein niveau (252K+ objets complets), Part-level (décomposition structurelle au niveau des composants 240K+) et Synthétique (125K+ catégories AIGC synthétique à longue traîne), et fournit un modèle de base léger et reproductible, Hunyuan3D-Shape-v2-1 Small (0,8B).
2. Caractéristiques principales
- Qualité prête à l’entraînement : La maille est nettoyée, normalisée et étanche/traitée pour réduire le bruit d’entraînement tel que le non-collecteur ou le cassage de trous.
- Format et métadonnées unifiés : Différents sous-ensembles sont plus cohérents dans l’organisation des fichiers et les champs, ce qui facilite la construction de pipelines de données et de processus d’évaluation.
- Objets complets de niveau complet : y compris des maillages étanches, des rendus multi-vues et des points d’échantillonnage, adaptés à la vue unique à la 3D, à la reconstruction et à la formation générationnelle.
- Décomposition au niveau des composants au niveau des pièces : Fournir des étiquettes de composants, des maillages indépendants des composants et le rendu des assemblages de composants, et soutenir la génération contrôlable fine, l’édition de structure et la recherche liée aux opérations robotiques.
- Complétion synthétique à longue queue : Couvre 1 252 sous-classes fines, ciblant le déséquilibre des catégories et la généralisation à longue traîne, adapté à l’augmentation des données et à la supplémentation d’évaluation zéro tir.
- Référence légère : Fournit une base de forme DiT à l’échelle 0,8B (version 2048/4096 jetons) pour abaisser le seuil des expériences de reproductibilité.
3. Installation
- Préparation de l’environnement : Il est recommandé d’utiliser Linux + Python (avec PyTorch/piles d’apprentissage profond courantes) et de réserver suffisamment de disques (Complet environ 11 To, Partie environ 5 To, Synthétique environ 6,5 To).
2. Obtenir des données (recommandé) : Après avoir installé la CLI Hugging Face, utilisez hf download pour extraire la totalité ou télécharger par sous-ensembles.
- Reproduction de base : cloner le dépôt, installer les dépendances selon la description du répertoire de baselines, et configurer le chemin des données pour lancer le script d’entraînement/évaluation.
4. Cas d’usage typiques
- 3D ensemble d’entraînement de génération : une source unifiée de données d’entraînement pour les modèles de génération 3D tels que diffusion/GAN/autorégression.
- Vue unique/multi-vue vers 3D : Reconstruction et évaluation avec perspective de rendu standardisée et supervision géométrique.
- Édition contrôlable et cohérence structurelle : utiliser des grilles et des étiquettes au niveau des composants pour « générer/remplacer/réassembler par pièce ».
- Bibliothèque robotique et d’actifs de simulation : support de l’apprentissage par accessibilité financière, planification de saisie et simulation interactive avec décomposition de composants.
- Équilibre de longue traîne et de catégorie : utiliser des actifs synthétiques pour compléter des catégories rares afin d’améliorer la robustesse et l’explicabilité des expériences de comparaison de généralisation.
5. Écologie et produits concurrents
- Écologie : GitHub fournit des descriptions de données et du code de référence ; Hugging Face offre l’hébergement de jeux de données et des téléchargements de poids de base pour une reproductibilité facile dans la communauté.
- Produits/contrôles concurrents : les bibliothèques d’actifs 3D courantes ou les jeux de données 3D à grande échelle sont suffisants en termes d’échelle, mais il peut y avoir des problèmes tels que du bruit, une granularité structurelle insuffisante et des calibres d’évaluation différents. La différence entre HY3D-Bench réside dans la combinaison de « nettoyage prêt à l’entraînement + structure au niveau des composants + complétion synthétique à longue traîne + référence légère reproductible ». Les avantages et inconvénients réels sont toujours recommandés en fonction de vos indicateurs de tâche et de vos expériences d’ablation.
6. Limitations et précautions
- Coûts élevés de stockage et de bande passante : Le volume total de données est important, il est donc recommandé de télécharger et d’entraîner par étapes par sous-ensemble/à la demande.
- Licences et conformité : Les données peuvent provenir d’un traitement et d’une redistribution multi-sources, il faut donc lire le fichier de licence du dépôt ainsi que les instructions source/distribution pour chaque sous-ensemble afin de confirmer les frontières entre l’utilisation commerciale et la redistribution.
- Champ d’application de l’étiquetage des composants : la définition et la granularité des composants peuvent varier selon les catégories, et les indicateurs de conception doivent être soigneusement conçus lors de la généralisation inter-classes ou de l’évaluation de la cohérence structurelle.
- Biais des données synthétiques : les actifs de l’AIGC peuvent provoquer des changements de distribution de style, et il est recommandé de les ablaire avec des ratios de mélange de données réels et des stratégies de rééchantillonnage par catégorie.
7. Adresse du projet
https://github.com/Tencent-Hunyuan/HY3D-Bench
8. Questions fréquemment posées
Q : Quels sous-ensembles (niveau complet/niveau partiel/synthétique) sont inclus dans l’ensemble de données HY3D-Bench ?
R : Le niveau plein fournit 252K+ objets étanches complets avec des points de rendu/échantillonnage ; Le niveau partie fournit 240K+ de décomposition et de rendu d’assemblage au niveau des pièces ; Synthétique propose 125 000+ actifs synthétiques répartis dans 1 252 sous-classes fines.
Q : Comment puis-je télécharger HY3D-Bench pour gagner de l’espace ?
R : Préfèrent utiliser la méthode d’inclusion par chemin de Hugging Face pour ne tirer que full/**, part/** ou synthetic/**, et commencer par un petit sous-ensemble ou un ensemble de validation.
Q : Quelle est la relation entre la référence Hunyuan3D-2.1-Small / Hunyuan3D-Shape-v2-1 Small ?
R : L’article mentionne l’utilisation de Hunyuan3D-2.1-Small pour la vérification empirique ; La page de données fournit également un poids de référence de forme légère (0,8B) basé sur l’entraînement de niveau complet. Il est recommandé de choisir les paramètres de l’expérience de reproduction en fonction de la description des bases du dépôt.
Q : Les données au niveau des parties peuvent-elles être « générées/éditées par pièce » ?
R : Elle peut servir de référence de supervision et d’évaluation de formation (étiquette de pièce + maillage de pièce + rendu d’assemblage), mais la différence de définition et de catégorie de pièce affectera l’effet contrôlable, et elle doit être coordonnée avec la conception de la tâche et les indicateurs.
Q : Le sous-ensemble synthétique convient-il aux ensembles d’entraînement directs master ?
R : L’usage le plus courant est de remplir la longue traîne et d’améliorer les données ; S’il est utilisé comme ensemble principal d’entraînement, il est recommandé de prêter attention au biais de distribution et de le mélanger avec le sous-ensemble réel pour les expériences témoins.
