Les petits modèles de langage, ou SLM, deviennent un concept à haute fréquence aussi bien dans les scénarios d’IA en end-side qu’en local. Par le passé, tout le monde faisait plus attention à « la solidité du grand modèle », mais à mesure que les téléphones portables, les PC, les systèmes embarqués et les dispositifs périphériques commencent à véritablement implémenter l’IA, l’industrie a constaté que toutes les tâches ne nécessitent pas de modèles à paramètres ultra-grands. Bien souvent, la vitesse, le coût, la confidentialité et l’opérabilité locale sont plus importants que l’échelle des paramètres, c’est pourquoi les petits modèles de langage deviennent de plus en plus importants.
La clé du SLM n’est pas « petite », mais « assez petite pour être déployée, assez rapide pour répondre, assez forte pour accomplir la mission ». Il est souvent utilisé avec des techniques telles que la distillation, la quantification et l’élagage afin de maintenir le modèle aussi performant que possible dans un volume plus restreint, notamment pour les scénarios hors ligne, local et à faible latence.
Pourquoi cela devient de plus en plus important dans l’IA end-side
La puissance de calcul et la mémoire de l’appareil côté appareil sont limitées, et il est impossible d’exécuter un modèle super-grand à tout moment. De petits modèles de langage peuvent être facilement placés dans des téléphones mobiles, des ordinateurs ou des voitures, réduisant ainsi la dépendance au cloud et éliminant le besoin de téléchargements fréquents de données privées. Une fois maturée, cette capacité fera évoluer l’IA de « appels en réseau » à une « capacité native de l’appareil ».
Ce n’est pas juste une version d’entrée de gamme d’un modèle de taille
Beaucoup pensent que le SLM n’est qu’une version réduite du LLM, mais en réalité, c’est plutôt un modèle optimisé pour un environnement spécifique. Ce n’est peut-être pas le plus solide dans toutes les tâches, mais il présente souvent des avantages en termes de coût, de réactivité et de flexibilité en déploiement.
Quels scénarios sont les mieux adaptés au SLM
- Assistant local et séance de questions-réponses hors ligne
- Recherche intégrée, résumé et génération légère
- Applications particulièrement sensibles à la confidentialité et à la latence
- Capacités de l’IA sur le matériel mobile et en périphérie
Par conséquent, la valeur des petits modèles de langage n’est pas de remplacer tous les grands modèles, mais de faire en sorte que davantage d’appareils « fonctionnent réellement avec l’IA ». Elle gagne en popularité aujourd’hui car l’IA passe des capacités cloud aux capacités de fin d’appareil.
