1. 基本情報
Animated Drawingsは、Meta FAIRが立ち上げたオンラインデモ兼オープンソースプロジェクトです。AI認識、スケルタルリギング、アクションライブラリを用いて、静止した手描きキャラクターから歩行、手を振る、ジャンプといったアニメーションを迅速に生成します。ユーザーは、ウェブページにヒューマノイドキャラクターの手描きイラストをアップロードします。システムはそれをセグメント化し、キーポイントを特定し、スケルトンとマッチングさせ、モーションを転送することで、プレビューとダウンロードが可能なアニメーションを生成します。また、このプロジェクトでは、教育および研究開発用の研究用コードとデータセットも提供しています。
2. 製品概要
Animated Drawingsは、プロのアニメーション制作者ではない方を対象としており、「子供の落書き」のような手描きのキャラクターを最小限の手作業でアニメーション化することを目的としています。この製品はキャラクターの解剖学的構造を理解し、その形状を人間の体型に合わせて調整します。胴体と手足の連結性を自動または半自動でチェックし、スキニングを実行した後、標準化されたスケルトンと内蔵のモーションライブラリをマッチングさせます。このシステムは、非現実的、誇張された、不規則に描かれた形状に対する堅牢性を重視しており、教室でのプレゼンテーション、クリエイティブワークショップ、家族でのプロジェクトなどに最適です。
3. コア機能
1. 主な機能
- 手描き画像のアップロードと前処理：ヒューマノイドキャラクター1体の手描き画像のアップロードをサポートします。システムによる自動セグメンテーションと認識を容易にするため、手足と胴体が大きく重ならないようにすることをお勧めします。
- キーポイントとスケルトンの自動化: 頭部、胴体、上肢、下肢のキーポイントを自動的に検出し、標準のスケルトンを生成し、画像のスキニングとバインディングを完了します。
- アクション ライブラリ駆動: 手を振る、歩く、ジャンプする、踊るなどの一般的なアクションが組み込まれており、ワンクリックで適用してリアルタイムでプレビューできます。
- インタラクティブ修正: 関節ポイントとアウトラインを微調整して、アニメーションの安定性とオクルージョン処理を改善できます。
- エクスポートと共有: 生成された結果はオンラインで再生でき、教室でのプレゼンテーションやソーシャルでの共有に使用できる一般的なビデオまたはアニメーション画像形式としてエクスポートできます。
2. 技術的特徴
- 非現実的な堅牢な認識: 子供の手描きやアマチュアの線画の構造的多様性をターゲットにして、検出、ポーズ推定、画像セグメンテーションを組み合わせて認識率を向上させます。
- 軽量リギング パイプライン: アウトラインからスケルトン、スキニングまでのプロセスをブラウザー側で自動化し、プロのアニメーション ソフトウェアへの依存を軽減します。
- 標準スケルトン マッピング: 統一されたスケルトン仕様により、さまざまな形状が再利用可能なアクション ライブラリにマッピングされ、「1 回の認識、複数のアクションの再利用」を実現します。
- オープンソースとデータのサポート: 二次開発、教育実験、アルゴリズムの再現をサポートするために、研究コードと大規模な手描きデータセットを提供します。
4. 価格とバージョン
Animated Drawingsは、研究デモンストレーションおよびオープンソースプロジェクトとして、一般向けに無料で提供されています。オンラインデモで利用可能な機能とアクションライブラリは、今後変更される可能性があります。オープンソースリポジトリには、コアアルゴリズムとサンプルリソースが含まれています。サービスポリシーは地域や時間帯によって異なる場合があるため、詳細は公式ウェブサイトとプロジェクトの説明をご覧ください。
5. 適用可能なシナリオと対象者
- 教育シナリオ: 美術と情報技術のコースで「手描きからアニメーションまで」の学際的なプロセスを実演し、学生の創造的な興味を刺激します。
- 家族や親子の創作: 子どもたちの絵を共有可能なダイナミックな作品に素早く変換し、相互作用と達成感を高めます。
- メーカーとワークショップ: クリエイティブなプロトタイプやインタラクティブ デバイスの迅速な検証、低い敷居でのキャラクター アクションの実現に使用されます。
- 研究開発: コンピューター ビジョン、グラフィックス、および人間とコンピューターの相互作用に関する教育と研究のためのデータおよびベースライン コードとして機能します。
6. よくある質問
Q: Animated Drawings に作品をアップロードするための基本要件は何ですか?
A: 頭、胴体、腕、脚といった基本的な構造を持つ、手描きのヒューマノイドキャラクター1体の画像を使用することをお勧めします。自動セグメンテーションと認識を容易にするため、手足は胴体からできるだけ離してください。
Q: Animated Drawings はどのようなアクションと形式でエクスポートできますか?
A: オンラインデモでは、様々な一般的な動作（手を振る、歩く、ジャンプなど）を体験できます。生成された結果はオンラインでプレビューでき、アニメーション画像または動画形式でエクスポートして簡単に共有できます。具体的なオプションについては、現在のページをご覧ください。
Q: このプロジェクトはオープンソースですか？教育や研究に利用できますか？
A: 本プロジェクトは、授業、実験の再現、二次開発に適したオープンソースコードとデータセットを提供します。具体的なライセンス、データの使用、帰属表示の要件については、プロジェクトの説明をご覧ください。
Q: 認識が不安定になったり、閉塞がひどい場合はどうすればいいですか?
A: インタラクティブインターフェースで関節ポイントとアウトラインを微調整することで、手足の輪郭が明瞭になり、体の大部分と重ならないようにすることができます。これにより、拘束感と動きの表現力が大幅に向上します。
Q: 非ヒューマノイドキャラクターや複数のキャラクターをサポートしていますか?
A: このシステムは主にヒューマノイド構造を持つ単一のキャラクター向けに設計されています。非ヒューマノイドや複数のキャラクターが登場するシーンでの有効性は不確実であり、実際の認識結果に依存します。
