Dessins animés : téléchargez vos dessins et pilotez-les instantanément, parfait pour l'art et l'éducation

1. Informations de base

Animated Drawings est un projet open source de démonstration en ligne lancé par Meta FAIR. Il utilise la reconnaissance par IA, le rigging squelettique et une bibliothèque d'actions pour générer rapidement des animations telles que la marche, la gesticulation et le saut à partir de personnages statiques dessinés à la main. Les utilisateurs téléchargent le dessin d'un personnage humanoïde sur une page web. Le système le segmente ensuite, localise les points clés, adapte le squelette et transfère les mouvements, produisant ainsi un résultat animé prévisualisable et téléchargeable. Le projet fournit également du code de recherche et des jeux de données à des fins pédagogiques et de R&D.

2. Présentation du produit

Animated Drawings s'adresse aux professionnels de l'animation amateurs souhaitant animer des « gribouillis d'enfants » ou des personnages similaires dessinés à la main avec un minimum d'effort manuel. Le produit comprend l'anatomie du personnage et adapte sa forme à la forme humaine. Il vérifie automatiquement ou semi-automatiquement la connectivité du torse et des membres, effectue le skinning, puis associe un squelette standardisé à une bibliothèque de mouvements intégrée. Ce système met l'accent sur la résistance aux formes irréalistes, exagérées et irrégulières, ce qui le rend idéal pour les présentations en classe, les ateliers créatifs et les projets familiaux.

3. Fonctions principales

1. Fonctions principales

1. Téléchargement et prétraitement des dessins à la main : permet le téléchargement de l'image humanoïde dessinée à la main d'un seul personnage. Il est recommandé de ne pas trop chevaucher les membres et le corps afin de faciliter la segmentation et la reconnaissance automatiques par le système.
2. Automatisation des points clés et du squelette : détectez automatiquement les points clés de la tête, du torse, des membres supérieurs et des membres inférieurs, générez un squelette standard et terminez le skinning et la liaison de l'image.
3. Bibliothèque d'actions pilotée : actions communes intégrées telles que faire signe, marcher, sauter, danser, etc., qui peuvent être appliquées en un clic et prévisualisées en temps réel.
4. Correction interactive : permet des ajustements mineurs aux points d'articulation et aux contours pour améliorer la stabilité de l'animation et la gestion de l'occlusion.
5. Exporter et partager : les résultats générés peuvent être lus en ligne et exportés sous forme de formats vidéo ou d'images animées courants pour une présentation en classe et un partage social.

2. Caractéristiques techniques

1. Reconnaissance robuste non réaliste : en ciblant la diversité structurelle des dessins à la main et des dessins amateurs des enfants, nous combinons la détection, l'estimation de la pose et la segmentation d'images pour améliorer les taux de reconnaissance.
2. Pipeline de rigging léger : automatise le processus du contour au squelette jusqu'à l'habillage côté navigateur, réduisant ainsi la dépendance aux logiciels d'animation professionnels.
3. Cartographie squelettique standard : grâce à des spécifications squelettiques unifiées, diverses formes sont mappées vers une bibliothèque d'actions réutilisables, permettant ainsi une « reconnaissance unique, une réutilisation de plusieurs actions ».
4. Open source et support de données : fournit du code de recherche et des ensembles de données dessinés à la main à grande échelle pour soutenir le développement secondaire, les expériences d'enseignement et la reproduction d'algorithmes.

4. Prix et versions

Dessins Animés est mis gratuitement à disposition du public à titre de démonstration de recherche et de projet open source. Les fonctionnalités et la bibliothèque d'actions disponibles dans la démonstration en ligne sont susceptibles d'être modifiées au fil du temps ; le dépôt open source contient les algorithmes de base et des exemples de ressources. En raison des politiques de service pouvant varier selon la région et l'heure, veuillez consulter le site web officiel et la description du projet pour plus de détails.

5. Scénarios applicables et public cible

1. Scénario pédagogique : Démontrer le processus interdisciplinaire « du dessin à la main à l'animation » dans les cours d'art et de technologie de l'information pour stimuler l'intérêt créatif des étudiants.
2. Création familiale et parent-enfant : Transformez rapidement les dessins des enfants en œuvres dynamiques partageables pour améliorer l'interaction et le sentiment d'accomplissement.
3. Créateurs et ateliers : utilisés pour la vérification rapide de prototypes créatifs et d'appareils interactifs, et pour réaliser des actions de personnages avec un seuil bas.
4. Recherche et développement : sert de données et de code de base pour l'enseignement et la recherche en vision par ordinateur, en graphisme et en interaction homme-machine.

6. Questions fréquemment posées

Q : Quelles sont les exigences de base pour télécharger des œuvres sur Animated Drawings ?

R : Nous recommandons d'utiliser une image dessinée à la main d'un personnage humanoïde unique, avec une structure de base telle qu'une tête, un torse, des bras et des jambes. Les membres doivent être séparés du corps autant que possible afin de faciliter la segmentation et la reconnaissance automatiques.

Q : Quelles actions et quels formats les dessins animés peuvent-ils exporter ?

R : La démonstration en ligne propose diverses actions courantes (comme saluer, marcher, sauter, etc.). Les résultats générés peuvent être prévisualisés en ligne et exportés sous forme d'images animées ou de vidéos pour un partage facile. Les options spécifiques sont soumises à la page actuelle.

Q : Ce projet est-il open source ? Peut-il être utilisé pour l’enseignement et la recherche ?

R : Le projet fournit du code source ouvert et des jeux de données adaptés à l'enseignement, à la reproduction expérimentale et au développement secondaire. Les exigences spécifiques en matière de licences, d'utilisation des données et d'attribution sont soumises à la description du projet.

Q : Comment gérer une reconnaissance instable ou une occlusion sévère ?

R : Vous pouvez affiner les points et les contours des articulations dans l'interface interactive afin de garantir que les membres soient clairement définis et ne chevauchent pas de grandes parties du corps. Cela peut améliorer considérablement les effets de liaison et de mouvement.

Q : Est-il compatible avec les personnages non humanoïdes ou plusieurs personnages ?

R : Le système est principalement conçu pour les personnages uniques à structure humanoïde. L'efficacité des scènes non humanoïdes ou à personnages multiples est incertaine et dépendra des résultats de reconnaissance réels.