Un modèle multimodal est un modèle d'IA capable de traiter simultanément plusieurs formes d'information — texte, images, audio : on lui donne une photo, un message vocal ou quelques lignes de texte, et il les comprend ensemble pour répondre. Mais posons d'abord une limite claire : « multimodal » ne veut pas dire « omnipotent ». Le modèle a simplement gagné des canaux d'entrée et de sortie supplémentaires, sans acquérir pour autant une compréhension humaine. Il peut décrire combien de personnes figurent sur une photo et ce qu'elles font, mais pas distinguer qui plaisante.
Trois grandes familles : modèles de compréhension, de génération et unifiés
Les trois catégories sont faciles à distinguer, et pourtant les confondre est à l'origine de bien des malentendus. Les modèles de compréhension utilisent le texte comme « cerveau » auquel on greffe des « yeux et des oreilles » — GPT-4o en est un exemple typique : images et audio sont d'abord encodés en caractéristiques, puis raisonnés ensemble avec le texte. Leur point fort : répondre à des questions sur des images. Leur point faible : les détails fins s'y perdent facilement. Les modèles de génération fonctionnent à l'inverse — du texte en entrée, d'autres modalités en sortie — comme DALL-E et les modèles TTS vocaux : ils excellent à « créer à partir de rien », mais leur compréhension est faible. Les modèles unifiés tentent de traiter nativement toutes les modalités dans un seul modèle ; ce sont les plus difficiles à entraîner, et les produits vraiment aboutis restent rares. Pour faire simple : les modèles de compréhension « voient avec discernement », les génératifs « dessinent et parlent », les unifiés veulent « tout à la fois ».
Ce qu'il ne sait pas faire
Premièrement, la perception fine : compter exactement les grains sur une image ou lire du texte minuscule dans un tableau dense — le modèle s'y trompe ou passe à côté fréquemment. Deuxièmement, la causalité et l'intention : il peut décrire « deux personnes qui se disputent », mais pourquoi elles se disputent ne relève que de conjectures tirées du bon sens. Troisièmement, le jugement expert : lire des radiographies ou des plans d'ingénierie n'obtient que des réponses en « on dirait que » — utile comme assistant, pas comme verdict. Quatrièmement, il n'avoue jamais qu'il « n'a pas bien vu » : face à une image floue, il préfère inventer une réponse plausible. Pour des décisions importantes, la vérification croisée est indispensable.
Trois notions souvent confondues
La recherche cross-modale (par ex. chercher des images avec du texte) fait du « matching » — elle projette texte et images dans un même espace pour trouver le résultat le plus proche. Elle « trouve » seulement, elle ne « pense » pas. Un modèle multimodal fait du « raisonnement » — il répond et juge sur la base d'un contenu compris. L'un cherche, l'autre réfléchit. Beaucoup d'outils vantent la prise en charge des images mais se contentent de brancher de l'OCR ou une API de description d'image, convertissant l'image en texte pour un modèle texte seul. Ce « bricolage en pipeline » échoue dès qu'une question exige un raisonnement conjoint image-texte — demandez « qu'est-ce qui est drôle dans ce mème » et il ne fera que répéter les éléments visibles, passant à côté de la blague. Dans un vrai modèle multimodal, l'information visuelle participe au processus de raisonnement unifié.
Deux idées reçues très répandues
Voir n'est pas comprendre : si un modèle peut décrire des images, c'est grâce aux immenses paires image-texte vues à l'entraînement — au fond, de la reconnaissance de motifs. Il peut dire « il y a un chat sur le canapé » parce qu'il a vu dix mille images semblables, pas parce qu'il comprend vraiment les chats. Avec l'humour, le sarcasme ou les références culturelles, sa « compréhension » n'est souvent qu'un coup de chance. Plus de modalités ne veut pas dire plus fort non plus : chaque modalité ajoutée accroît la difficulté d'entraînement, et un modèle de taille moyenne affûté sur l'image-texte battra souvent un géant « touche-à-tout ». Pour choisir, regardez les benchmarks et les tests réels, pas le nombre de formats d'entrée.
Quand l'utiliser — et quand s'en passer
Il n'y a qu'un seul critère : la question ne peut-elle bien se répondre qu'en comprenant « deux types d'information ou plus » à la fois ? Si oui, utilisez-le : photographier une notice pour demander « que veut dire cette étape ? », faire lire des graphiques au modèle pour en dégager les tendances, un service client en dialogue vocal, décrire l'environnement à des personnes malvoyantes — le modèle multimodal supprime l'étape intermédiaire qui consiste à « traduire d'abord soi-même l'image en mots ». Si non, passez votre chemin : pour discuter en texte seul, un modèle texte coûte moins cher ; pour des tâches de haute précision comme le dépistage sur imagerie médicale ou le contrôle industriel, le « coup d'œil approximatif » d'un modèle généraliste ne suffit pas ; et quand il suffit de « trouver » des images plutôt que de les « comprendre », la recherche cross-modale est plus rapide.
Questions fréquentes
Q : Quel est le rapport entre modèles multimodaux et grands modèles de langage ?
R : Les grands modèles de langage sont le socle : au cœur des modèles multimodaux dominants, un grand modèle de langage se charge de « penser », auquel s'ajoutent des encodeurs visuels et vocaux pour « voir » et « entendre ».
Q : Envoyer mes photos à un modèle multimodal présente-t-il un risque pour ma vie privée ?
R : Oui. Les images téléversées atterrissent sur les serveurs du fournisseur, et certains services peuvent même les réutiliser pour continuer l'entraînement. N'envoyez jamais directement pièces d'identité, dossiers médicaux ou photos privées. Si c'est indispensable, floutez d'abord, puis désactivez les options du type « utiliser mes données pour améliorer le modèle ».
