Modèles multimodaux
Décortique le fonctionnement des modèles qui lisent en même temps images, tableurs, audio et vidéo, et où ils servent vraiment pour le débuggage de captures, la compréhension de documents et la question-réponse visuelle.
Les modèles multimodaux traitent texte, images, audio et vidéo dans une même passe d'inférence, au lieu de forcer images ou parole en texte. En reliant les sources, ils excellent dans le débuggage de captures, la reconnaissance de tableurs, la compréhension de pages de contrat et l'analyse d'images produit. Les limites apparaissent dans le raisonnement sur diagrammes complexes, les timelines vidéo longues et les cas exigeant des chiffres exacts, où la relecture humaine reste nécessaire.
