マルチモーダルモデル

マルチモーダルモデルは推論の途中でテキスト・画像・音声・動画を同時に扱い、図や音声を無理に文字化してから読ませることはしない。異なる由来の情報を連動させるため、スクショのトラブル診断、表の認識、契約書ページの理解、商品画像の分析で特に力を発揮し、VLMは「視覚＋言語」に絞った枝である。複雑な图表推理、長尺動画の時系列、正確な数字が必要な場面では人手の確認が残るという境界がある。