NVIDIA et le laboratoire AI4Bharat de l'IIT Madras ont présenté le 16 octobre 2026 un corpus de pré-entraînement baptisé Nemotron-pretraining-Indic-v1 : environ 2 800 milliards de jetons couvrant les 22 langues inscrites dans la Constitution indienne, publié avec la chaîne de génération ouverte qui l'a produit. Pour les équipes qui construisent des modèles multilingues, l'enjeu n'est pas un jeu de données de plus. Les langues peu dotées manquent précisément de ce que cette publication apporte : un matériau d'entraînement massif, traçable et contrôlé en qualité — et ici, la méthode de production fait partie du lot.
Comment se composent les 2 800 milliards de jetons
Commençons par la répartition publiée sur le blog de Hugging Face. Environ 2 601 milliards de jetons sont écrits dans les écritures locales, et environ 224,6 milliards en transcription latine, soit 34 combinaisons langue-écriture. Les 22 langues sont la première langue d'environ 97 % des Indiens, près de 1,2 milliard de personnes au recensement de 2011. Les sources ne sont pas des pages web indiennes collectées au hasard : l'équipe a sélectionné des contenus anglais issus de 15 sous-ensembles de Nemotron-CC-v2 de NVIDIA — textes web, questions-réponses, mathématiques et code — puis les a traduits document par document dans chaque langue cible. Chaque enregistrement conserve l'identifiant de son document source, chaque sortie est vérifiée par rapport à son entrée, et tout texte généré peut être retracé jusqu'à l'original.
Mitesh Khapra, qui dirige AI4Bharat, formule le goulot d'étranglement du secteur sans détour : la technologie des langues indiennes accuse du retard sur l'anglais faute de données. Ce corpus comble ce manque, mais pas par le seul volume.
Traduire, noter, et renvoyer les échecs en réparation
La chaîne suit deux routes. Douze langues empruntent la route complète : Gemma-4-31B-it traduit les documents entiers en préservant code, formules et mise en forme, puis le même modèle note chaque traduction selon une grille inspirée du cadre Multidimensional Quality Metrics — sens, fluidité, terminologie, style et format — avec un seuil de réussite à 75 sur 100. Les échecs sont réparés à l'aide des retours de notation puis renotés ; cette boucle de réparation a à elle seule récupéré environ 438,4 milliards de jetons. Une partie des données acceptées en écriture locale est ensuite convertie en transcription latine, car les usagers indiens écrivent couramment leurs langues en caractères latins. Les dix autres langues, où les données sont encore plus rares, partent du modèle de traduction documentaire spécialisé Indic Translate et affrontent le même seuil de 75 points, sans la boucle de réparation. L'ensemble tourne sur NeMo Data Designer, l'outil ouvert de NVIDIA, et les invites comme la configuration du module de traduction sont publiques : d'autres équipes peuvent y brancher leurs propres documents sources et générer des données pour d'autres langues selon la même méthode.
Le corpus dispose déjà d'un premier élément d'usage : Nemotron 3.5 Super VL, publié précédemment par NVIDIA, a intégré 10 milliards de jetons indiens — tirés d'un sous-ensemble de douze langues, plus du texte naturel — dans sa phase de pré-entraînement continu, avec un gain d'environ 5 à 9,8 points sur cinq tests de connaissances et de raisonnement en langues indiennes.
Les parties non prouvées sont affichées
Les réserves viennent des auteurs eux-mêmes. Premièrement, le corpus est pour l'essentiel constitué de données synthétiques traduites, et le blog précise qu'il ne remplace pas les textes écrits à l'origine en langues indiennes ; les savoirs locaux et le contexte culturel exigent toujours des corpus naturels. Deuxièmement, les gains mesurés proviennent d'une seule phase de pré-entraînement continu utilisant un mélange de données synthétiques et naturelles ; ils ne peuvent donc pas être attribués à ce seul corpus, et le corpus complet — données réparées et dix langues restantes incluses — n'a pas encore fait l'objet d'une évaluation contrôlée. Troisièmement, le corpus lui-même est encore annoncé comme « à paraître prochainement » : la chaîne de génération est ouverte, les données ne sont pas encore entièrement disponibles.
Le signal n'en est pas moins net : la compétition multilingue se déplace de la taille des modèles vers la possession de données de langue produisibles à grande échelle et auditables. Pour les autres écosystèmes non anglophones, l'actif transposable n'est pas le chiffre de 2 800 milliards, mais la chaîne qui fait de la traduction, de la notation, de la réparation et de la traçabilité un processus standard.
