L’annotation de données transforme un matériau brut en matériau d’entraînement assorti de réponses : un avis reçoit l’étiquette positive ou négative, les voitures et les piétons d’une photo de rue sont encadrés un par un, et deux réponses d’IA sont classées selon leur qualité. Ce qu’un modèle étudie en boucle pendant l’entraînement, ce sont précisément ces exemples annotés, et le jugement qu’il apprend est, dans une large mesure, la copie de celui des annotateurs.
Ce qui est réellement annoté : cinq types de tâches courants
Le premier est la classification : étiqueter un élément entier, par exemple dire si un e-mail est un spam ou si une actualité relève de l’économie ou du sport. Le deuxième est l’encadrement et la segmentation, qui indiquent où se trouvent les cibles dans une image ; les cadres de véhicules, de voies et de piétons dans les données d’entraînement de conduite autonome sont produits ainsi. Le troisième est la transcription alignée : convertir des enregistrements en texte en notant qui dit quoi et à partir de quelle seconde. Le quatrième est l’extraction, qui sort les montants, les dates et les noms des parties d’un contrat vers des champs séparés. Le cinquième est le classement de préférences : au lieu d’écrire une réponse de référence, on montre deux réponses du modèle aux annotateurs, qui choisissent la plus utile et la plus honnête — un matériau clé pour aligner les modèles de dialogue sur les préférences humaines en fin d’entraînement.
Comment un lot d’annotations est produit
Le processus commence en général par un document de consignes : ce qui compte comme un avis positif, dans quelle classe ranger le sarcasme, à quel point un cadre doit épouser sa cible — le tout en règles exécutables, avec exemples positifs et négatifs. Suit un tour d’essai où plusieurs personnes annotent indépendamment le même petit échantillon ; les désaccords les plus marqués sont discutés et les consignes révisées avant la production en volume. Pendant la production, des contrôles de cohérence s’intercalent : les mêmes échantillons passent chez différents annotateurs, et si le taux de désaccord est trop élevé, tout le lot est retravaillé ; les cas que personne ne tranche vont à un arbitre plus expérimenté. Le coût réel de l’annotation n’est donc jamais la vitesse de clic, mais tout cet appareil de contrôle qualité fait de consignes, de formation, de contrôles par sondage et d’arbitrage.
Deux malentendus fréquents
Le premier consiste à prendre l’annotation pour une fuite des réponses d’examen au profit du modèle. Les étiquettes d’entraînement et les corrigés d’évaluation forment deux ensembles distincts : l’un est le manuel, l’autre une copie d’examen sous scellés. Si des données d’évaluation glissent dans l’entraînement, les scores gonflent artificiellement, ce que le domaine traite comme un accident, pas comme un raccourci. Le second suppose que l’étiquetage automatique rend les humains inutiles. Faire étiqueter de nouvelles données par un modèle existant est rapide, mais recopie ses erreurs systématiques dans le jeu de données, proprement et à grande échelle. Le schéma courant met la machine en premier et les humains sur les échantillons à faible confiance et à haut risque ; ils passent au contrôle et à l’arbitrage plutôt que de disparaître.
Pourquoi les utilisateurs ordinaires sont concernés
Vous n’annoterez peut-être jamais de données vous-même, mais vous en croisez sans cesse les effets : l’ajustement fin d’un modèle sectoriel repose sur des paires de questions-réponses annotées ; la crédibilité d’un classement de modèles dépend de la propreté d’annotation de son jeu d’évaluation ; et, dans l’alignement de sécurité, ce sont des humains qui tracent d’abord la frontière entre réponses à refuser et refus excessifs, avant que cela entre dans l’entraînement. Quand un fournisseur vante des données triées sur le volet et une annotation experte, trois questions valent la peine : les consignes sont-elles publiques, comment la cohérence est-elle vérifiée, et qui arbitre les litiges ? Sans réponse à ces trois points, la qualité d’annotation tient très probablement du langage marketing.
