Selon Meta, SAM 3D est la dernière addition à la collection Segment Anything, spécifiquement destinée à la compréhension 3D d’une seule image 2D. SAM 3D se compose de deux modèles : SAM 3D Objects pour la reconstruction 3D d’objets et de scènes, qui peuvent restaurer des meubles, des architectures et des objets du quotidien sous forme d’images statiques en modèles 3D rotatifs et détaillés ; SAM 3D Body est responsable de l’estimation 3D de la posture et de la forme, de l’inférence de la posture squelettique et de la forme du corps humain à partir d’une seule photo, et du maintien d’une performance stable sous l’occlusion, les poses extrêmes et les perspectives complexes. Meta affirme que les deux atteignent ou actualisent les niveaux actuels des benchmarks publics, et SAM 3D Objects surpasse largement les méthodes existantes sur plusieurs tâches de reconstruction 3D. Le
communiqué officiel indique également que SAM 3D a ouvert une expérience en ligne au public sur le Segment Anything Playground, où les utilisateurs peuvent télécharger des images pour voir la reconstitution 3D. Les chercheurs et les développeurs peuvent obtenir des points de contrôle des modèles et du code d’inférence et les évaluer en utilisant le nouveau jeu de données de benchmark 3D de Meta ; Les conditions d’utilisation spécifiques et les licences sont soumises à la description de Meta dans le dépôt AI Blog and Model Repository. Dans l’ensemble, la copie fournie par l’utilisateur résume fidèlement le positionnement de SAM 3D et les fonctions principales des deux sous-modèles, sans exagérer ni distorsion significatives.
FAQ
Q : Cette section « Présentation de SAM 3D, la dernière addition à la collection SAM... » C’est vrai?
R : C’est vrai. La même copie est apparue sur les comptes officiels de Meta AI Threads, X, LinkedIn et d’autres, et a été confirmée dans le communiqué de presse SAM 3 / SAM 3D de Meta Newsroom, qui est un communiqué officiel de Meta.
Q : Quels modèles sont inclus dans SAM 3D ?
R : SAM 3D se compose de deux modèles : SAM 3D Objects pour la reconstruction 3D des objets et de la scène globale, et SAM 3D Body pour l’estimation de la pose 3D et de la forme du corps humain, qui peuvent tous deux générer des résultats 3D visualisés à partir d’une seule image statique.
Q : En quoi SAM 3D diffère-t-il des précédents Segment Anything ?
R : Les premiers SAM se concentraient sur la « segmentation des pixels d’objets à partir d’images », principalement la segmentation et le suivi 2D ; SAM 3D complète en outre la reconstruction géométrique 3D sur cette base, permettant au modèle non seulement de « faire le tour » de l’objet, mais aussi d’en déduire la forme et la posture dans l’espace réel.
Q : Pour quels scénarios les SAM 3D Objects et SAM 3D Body sont-ils adaptés ?
R : SAM 3D Objects est plus adapté à la reconstruction d’objets et de scènes intérieures, et peut être utilisé pour la génération d’assets AR/VR, le placement virtuel, la saisie de robots, etc. SAM 3D Body cible la pose et la forme du personnage, et peut également être utilisé pour l’analyse sportive, la capture de mouvement, la conduite d’avatar et la recherche médicale.
Q : SAM 3D est-il open source ? Comment puis-je l’utiliser pour les développeurs ordinaires ?
R : Meta a déclaré dans un communiqué de presse que SAM 3D fournira des points de contrôle des modèles et du code d’inférence, ainsi que le nouveau jeu de données de benchmark 3D ; Les utilisateurs peuvent actuellement l’expérimenter directement en ligne via le Segment Anything Playground, et les développeurs peuvent suivre le blog Meta AI et les dépôts de modèles associés pour s’intégrer aux instructions d’utilisation et aux termes de licence.
