マルチモーダルモデルとは結局何なのか？「見えること」と「分かること」は別物だ

マルチモーダルモデルとは、テキスト・画像・音声など複数の情報形態を同時に処理できるAIモデルのことだ。画像や音声、短い文章を渡せば、それらをまとめて理解して応答できる。ただ、最初に線を引いておきたい。「マルチモーダル」は「万能」とは違う。入出力のチャネルが増えただけで、人間のような理解力が自動で備わるわけではない。写真の中の人数や何をしているかは説明できるのに、誰が冗談を言っているのかは見分けられない。

よくある3つの形態：理解型・生成型・統合型

3つの区別は簡単だが、この混同こそ誤解の源だ。理解型はテキストを「脳」に、「目と耳」を外付けしたものだ。GPT-4oが典型で、画像や音声はいったん特徴量にエンコードされ、テキストと一緒に推論に参加する。得意なのは画像についての質疑応答で、弱点は細部が落ちやすいこと。生成型はその逆で、テキストを入力し、他のモダリティを出力する。DALL-EやTTS音声モデルがここに入り、「無からの創造」は得意だが理解力は弱い。統合型は、ひとつのモデルですべてのモダリティをネイティブに扱おうとするもので、学習が最も難しく、本当に成熟した製品はまだ少ない。簡単に区別すると、理解型は「分かって見る」、生成型は「描ける・話せる」、統合型は「全部入り」を目指している。

できないこと

ひとつ目は精密な知覚だ。画像の中の豆を正確に数える、密集した表の小さな文字を読むといった仕事では、数え間違いや見落としがよく起きる。ふたつ目は因果関係と意図の把握だ。「2人が口論している」とは説明できるが、なぜ言い争っているのかは常識からの当てずっぽうに頼るしかない。みっつ目は専門的な判断だ。レントゲン写真や設計図面を読むといった仕事では、「〜のように見える」という回答しか出せず、補助には使えても結論には使えない。よっつ目は、「よく見えなかった」と決して認めないことだ。画像がぼやけていると、もっともらしい答えをでっち上げるほうを選ぶ。重要な判断に使うなら、クロスチェックは欠かせない。

混同されがちな3つの概念

クロスモーダル検索（テキストで画像を探すなど）は「マッチング」をする。テキストと画像を同じ空間に写像して、一番似たものを探す。「見つける」だけで、「考え」はしない。マルチモーダルモデルは「推論」をする。内容を理解したうえで答え、判断する。ひとつは探す係、もうひとつは考える係だ。画像対応をうたうツールの多くは、実態はOCRや画像説明APIをつないだだけで、画像をテキスト化してテキスト専用モデルに投げている。こうした「パイプラインの継ぎはぎ」は、画像と言語の統合的な推論が要る問いには通用しない。「このミームのどこが面白いのか」と聞けば、画面の要素を復唱するだけで、笑いのツボは外す。本物のマルチモーダルモデルでは、視覚情報が統一的な推論プロセスに参加する。

広く流布する2つの誤解

見えることは分かることとイコールではない。モデルが画像を説明できるのは、学習時に大量の画像・テキストペアを見てきたからで、本質はパターンマッチングだ。「ソファに猫がいる」と言えるのは、似た画像を1万枚見てきたからで、猫を本当に理解しているからではない。ユーモア、皮肉、文化的なネタが絡むと、その「理解」はたいてい当てずっぽうだ。モダリティが多いほど強いわけでもない。モダリティがひとつ増えるごとに学習は難しくなり、画像・テキストに磨きをかけた中規模モデルが「何でも少しずつ」の巨人モデルに勝つことは多い。選ぶときは、対応入力の数ではなく、ベンチマークと実際の検証を見よう。

使うべき場面・使う必要のない場面

判断基準はひとつだけだ。その問いにうまく答えるために「2種類以上の情報を同時に理解すること」がどうしても必要かどうか。必要なら使う。説明書を撮影して「この手順は何を意味するのか」と聞く、グラフを読ませて傾向をまとめさせる、音声のカスタマーサポート、視覚障害者のために周囲の様子を説明する。マルチモーダルが省くのは、「自分で画像を言葉に翻訳する」という中間ステップだ。必要なければ使わない。ただのテキストの雑談ならテキスト専用モデルのほうが安い。医療画像の一次スクリーニングや工業検査のような高精度の仕事では、汎用モデルの「だいたい見る」では足りない。画像を「理解」ではなく「探す」だけでいいなら、クロスモーダル検索のほうが速い。