文生图とは、文章を入力すると画像が出力される AI の能力です。「赤いマフラーを巻いた猫が窓辺に座っている」と書けば、その説明に合った新しい画像が生成されます。ネットから画像を探して切り貼りするのでも、テンプレートをなぞるのでもなく、テキストの条件から現実には存在しない画像をゼロから計算します。まず境界をはっきりさせましょう。文生图とは「タスク」そのものの名前であり、拡散モデルはそれを実現する一つの方法にすぎません。両者を同一視すると、学ぶほど混乱します。
モデルの内部で実際に何が起きているのか
現在の主流の文生图モデルは、ほとんどが拡散モデル方式で、大きく三つのステップに分かれます。第一に、テキストエンコーダーがプロンプトを意味ベクトルに変換し、猫、赤いマフラー、窓辺がそれぞれ何で、どう関係するかをモデルが把握します。第二に、純粋なノイズ画像から出発し、少しずつノイズを除去していきます。各ステップでテキストの条件と照らし合わせながら画面を修正し、ノイズが認識できる画像になるまで続けます。第三に、デコーダーが結果をピクセルに戻します。鍵は第二のステップです。モデルはあなたが求めた画像を一度も「見た」ことがありません。大量の画像とテキストのペアから対応関係を学んだのであり、生成とは学んだ法則に従って組み立て直すことです。
| 能力 | 入力 | 出力 | 代表的な用途 |
|---|---|---|---|
| 文生图 | テキストのみ | まったく新しい画像 | ポスター、イラスト、コンセプトアート |
| 画像生成・編集 | テキストと参照画像 | 編集された画像 | 背景の変更、スタイル変換、レタッチ |
| 画像理解 | 画像と質問 | テキストの答え | 画像への質問応答、表の読み取り、物体認識 |
よくある四つの誤解
第一に、プロンプトは長いほどよい、という誤解。違います。重要な情報を明確に、優先順位をつけて伝えることが、言葉を積み重ねるより大切です。言葉が多すぎると、モデルは要点を見失います。第二に、一回で完璧な画像が出る、という誤解。文生图はくじ引きに近く、構図や細部、手の描写は三回から五回の修正を経てようやく使えるものになります。「一文で完成品」と期待するとがっかりします。第三に、生成画像は自由に商用利用できる、という誤解。商用利用できるかどうかはプラットフォームの規約と用途次第で、実在の人物やブランドの商標、著作権のある作風が絡む場合は特に注意が必要です。第四に、モデルは画像を本当に「理解している」という誤解。モデルが学んだのは画像とテキストの統計的な対応関係であり、「それらしく見える」画像を描けることと、画像の中のものが現実に何であるかを知っていることは別です。
どんなときに使うのが一番お得でしょうか。アイデア出し、挿絵、コンセプトの検証、スタイルの試行錯誤——こうした場面では速くて安いです。逆に、事実の正確さが求められる図解や実在の人物の肖像、小さな文字の入った正式な資料は、これだけに頼ってはいけません。小さな文字は誤字になりやすく、手や顔の細部もよく崩れるので、出力後は必ず人の目で確認してください。生成の仕組みを詳しく知りたい方は拡散モデルの解説を、モデルの「画像を見る」と「画像を描く」の違いについては視覚言語モデルの解説をどうぞ。