Matériel IA et IA embarquée
L'IA quitte le cloud pour les appareils : puces d'inférence dédiées, matériel IA de poche, modèles embarqués dans téléphones et PC, et ce que l'inférence hors ligne apporte en confidentialité et latence.
À mesure que les modèles rétrécissent, le matériel se dispute ce nouveau terrain. D'un côté, des appareils de poche qui veulent déplacer l'entrée conversationnelle hors du téléphone. De l'autre, l'inférence embarquée dans téléphones et PC, où des puces dédiées ramènent la latence à quelques dizaines de millisecondes et gardent les données locales. Thermique, batterie et bande passante décident de la taille réelle du modèle, d'où des promesses souvent exagérées. Les produits réels sont à suivre.
