Animierte Zeichnungen: Laden Sie Ihre Zeichnungen hoch und steuern Sie sie sofort, perfekt für Kunst und Bildung

1. Grundlegende Informationen

Animated Drawings ist ein Online-Demonstrations- und Open-Source-Projekt von Meta FAIR. Es nutzt KI-Erkennung, Skelett-Rigging und eine Aktionsbibliothek, um schnell Animationen wie Gehen, Winken und Springen aus statischen, handgezeichneten Figuren zu generieren. Nutzer laden eine handgezeichnete Zeichnung einer einzelnen humanoiden Figur auf eine Webseite hoch. Das System segmentiert sie anschließend, lokalisiert Schlüsselpunkte, gleicht das Skelett ab und überträgt die Bewegungen. So entsteht ein animiertes Ergebnis, das in der Vorschau angezeigt und heruntergeladen werden kann. Das Projekt bietet außerdem Forschungscode und Datensätze für Bildungs- und Forschungs- und Entwicklungszwecke.

2. Produktübersicht

Animated Drawings richtet sich an nicht-professionelle Animationsprofis, die mit minimalem manuellem Aufwand Kinderkritzeleien oder ähnliche handgezeichnete Figuren animieren möchten. Das Produkt erkennt die Anatomie der Figur und passt ihre Form an die menschliche Gestalt an. Es prüft automatisch oder halbautomatisch die Konnektivität von Rumpf und Gliedmaßen, führt Skinning durch und gleicht anschließend ein standardisiertes Skelett mit einer integrierten Bewegungsbibliothek ab. Das System ist besonders robust gegenüber unrealistischen, übertriebenen und unregelmäßig gezeichneten Formen und eignet sich daher für Präsentationen im Klassenzimmer, Kreativworkshops und Familienprojekte.

3. Kernfunktionen

1. Hauptfunktionen

1. Hochladen und Vorverarbeiten von Handzeichnungen: Unterstützt das Hochladen eines einzelnen handgezeichneten humanoiden Bildes einer Figur. Es wird empfohlen, dass sich Gliedmaßen und Körper nicht wesentlich überlappen, um die automatische Segmentierung und Erkennung durch das System zu erleichtern.
2. Automatisierung von Schlüsselpunkten und Skeletten: Erkennen Sie automatisch Schlüsselpunkte von Kopf, Rumpf, oberen und unteren Gliedmaßen, generieren Sie ein Standardskelett und führen Sie die Bild-Skinning- und -Bindung durch.
3. Aktionsbibliotheksgesteuert: Integrierte gängige Aktionen wie Winken, Gehen, Springen, Tanzen usw., die mit einem Klick angewendet und in Echtzeit in der Vorschau angezeigt werden können.
4. Interaktive Korrektur: Ermöglicht kleinere Anpassungen an Verbindungspunkten und Umrissen, um die Animationsstabilität und Okklusionsbehandlung zu verbessern.
5. Exportieren und teilen: Die generierten Ergebnisse können online abgespielt und als gängige Video- oder animierte Bildformate für Präsentationen im Klassenzimmer und zum Teilen in sozialen Netzwerken exportiert werden.

2. Technische Eigenschaften

1. Nicht-realistische, robuste Erkennung: Wir zielen auf die strukturelle Vielfalt handgezeichneter und amateurhafter Strichzeichnungen von Kindern ab und kombinieren Erkennung, Posenschätzung und Bildsegmentierung, um die Erkennungsraten zu verbessern.
2. Leichtgewichtige Rigging-Pipeline: Automatisiert den Prozess vom Entwurf über das Skelett bis hin zum Skinning auf der Browserseite und reduziert so die Abhängigkeit von professioneller Animationssoftware.
3. Standard-Skelett-Mapping: Durch einheitliche Skelett-Spezifikationen werden verschiedene Formen einer wiederverwendbaren Aktionsbibliothek zugeordnet, um eine „einmalige Erkennung, mehrfache Aktionswiederverwendung“ zu erreichen.
4. Open Source und Datenunterstützung: Bietet Forschungscode und große handgezeichnete Datensätze zur Unterstützung der Sekundärentwicklung, Lehrexperimente und Algorithmusreproduktion.

4. Preise und Versionen

Animated Drawings wird der Öffentlichkeit als Forschungsdemonstration und Open-Source-Projekt kostenlos zur Verfügung gestellt. Die in der Online-Demo verfügbaren Funktionen und die Aktionsbibliothek können im Laufe der Zeit angepasst werden; das Open-Source-Repository enthält die Kernalgorithmen und Beispielressourcen. Aufgrund regional und tageszeitlich unterschiedlicher Servicerichtlinien finden Sie weitere Informationen auf der offiziellen Website und in der Projektbeschreibung.

5. Anwendbare Szenarien und Zielgruppe

1. Bildungsszenario: Demonstrieren Sie den interdisziplinären Prozess „Von der Handzeichnung zur Animation“ in Kunst- und Informationstechnologiekursen, um das kreative Interesse der Schüler zu wecken.
2. Familien- und Eltern-Kind-Kreation: Verwandeln Sie Kinderzeichnungen schnell in gemeinsam nutzbare dynamische Werke, um die Interaktion und das Erfolgserlebnis zu verbessern.
3. Maker und Workshops: Wird zur schnellen Überprüfung kreativer Prototypen und interaktiver Geräte sowie zum Erreichen niedrigschwelliger Charakteraktionen verwendet.
4. Forschung und Entwicklung: Dient als Daten- und Basiscode für Lehre und Forschung in den Bereichen Computer Vision, Grafik und Mensch-Computer-Interaktion.

6. Häufig gestellte Fragen

F: Was sind die Grundvoraussetzungen für das Hochladen von Werken zu Animated Drawings?

A: Wir empfehlen die Verwendung eines handgezeichneten Bildes einer einzelnen humanoiden Figur mit einer Grundstruktur wie Kopf, Rumpf, Armen und Beinen. Die Gliedmaßen sollten so weit wie möglich vom Körper getrennt sein, um die automatische Segmentierung und Erkennung zu erleichtern.

F: Welche Aktionen und Formate können animierte Zeichnungen exportieren?

A: Die Online-Demonstration bietet eine Vielzahl gängiger Aktionen (wie Winken, Gehen, Springen usw.). Die generierten Ergebnisse können online in der Vorschau angezeigt und als animierte Bilder oder Videos exportiert werden, um sie einfach zu teilen. Spezifische Optionen unterliegen der aktuellen Seite.

F: Ist dieses Projekt Open Source? Kann es für Lehre und Forschung verwendet werden?

A: Das Projekt stellt Open Source-Code und Datensätze bereit, die für die Lehrveranstaltung, experimentelle Reproduktion und Weiterentwicklung geeignet sind. Spezifische Lizenzierungs-, Datennutzungs- und Zuordnungsanforderungen unterliegen der Projektbeschreibung.

F: Wie gehe ich mit instabiler Erkennung oder starker Okklusion um?

A: Sie können die Gelenkpunkte und Umrisse in der interaktiven Benutzeroberfläche feinabstimmen, um sicherzustellen, dass die Gliedmaßen klar umrissen sind und sich nicht mit großen Körperteilen überschneiden. Dies kann die Bindungs- und Bewegungseffekte deutlich verbessern.

F: Werden nicht-humanoide Charaktere oder mehrere Charaktere unterstützt?

A: Das System ist in erster Linie für einzelne Charaktere mit humanoider Struktur konzipiert. Die Effektivität bei nicht-humanoiden Szenen oder Szenen mit mehreren Charakteren ist ungewiss und hängt von den tatsächlichen Erkennungsergebnissen ab.