NVIDIA und das AI4Bharat-Labor des IIT Madras stellten am 16. Oktober 2026 den Pretraining-Korpus Nemotron-pretraining-Indic-v1 vor: rund 2,8 Billionen Token in den 22 Sprachen der indischen Verfassung, veröffentlicht zusammen mit der offenen Pipeline, die ihn erzeugt hat. Für Teams, die mehrsprachige Modelle bauen, ist der Punkt nicht ein weiterer Datensatz. Ressourcenarmen Sprachen fehlt genau das, was diese Veröffentlichung liefert: Trainingsmaterial, das groß, rückverfolgbar und qualitätsgeprüft ist – und hier gehört die Produktionsmethode zum Paket.
Wie sich die 2,8 Billionen Token zusammensetzen
Zuerst die Aufschlüsselung aus dem Hugging-Face-Blog. Rund 2,601 Billionen Token liegen in einheimischen Schriften vor, etwa 224,6 Milliarden in romanisierter Schreibung, verteilt auf 34 Kombinationen aus Sprache und Schrift. Die 22 Sprachen sind die Erstsprachen von rund 97 Prozent der Inderinnen und Inder, nach der Volkszählung von 2011 fast 1,2 Milliarden Menschen. Die Quellen sind keine zusammengekratzten indischen Webtexte: Das Team wählte englisches Material aus 15 Teilmengen von NVIDIAs Nemotron-CC-v2 – Webtext, Frage-Antwort-Inhalte, Mathematik und Code – und übersetzte es dokumentenweise in jede Zielsprache. Jeder Datensatz behält die Kennung seines Quelldokuments, jede Ausgabe wird mit ihrer Eingabe abgeglichen, und jeder erzeugte Text lässt sich zum Original zurückverfolgen.
Mitesh Khapra, Leiter von AI4Bharat, benennt den Engpass der Branche unumwunden: Indische Sprachtechnologie hinkt dem Englischen hinterher, weil es an Daten fehlt. Dieser Korpus schließt die Lücke, aber nicht mit bloßer Menge.
Übersetzen, bewerten, Fehler zur Nacharbeit zurückschicken
Die Pipeline läuft über zwei Routen. Zwölf Sprachen nehmen die volle Route: Gemma-4-31B-it übersetzt ganze Dokumente und bewahrt dabei Code, Formeln und Formatierung; dasselbe Modell bewertet jede Übersetzung anschließend nach einem Raster, das sich am Rahmenwerk der Multidimensional Quality Metrics orientiert – Bedeutung, Flüssigkeit, Terminologie, Stil und Format –, mit 75 von 100 Punkten als Bestehensgrenze. Was durchfällt, wird anhand der Bewertungsrückmeldung repariert und erneut bewertet; allein diese Nacharbeit rettete rund 438,4 Milliarden Token. Ein Teil der akzeptierten Daten in einheimischer Schrift wird zusätzlich romanisiert, weil viele Menschen in Indien ihre Sprachen im Alltag mit lateinischen Buchstaben schreiben. Die übrigen zehn Sprachen, bei denen Daten noch knapper sind, starten mit dem spezialisierten Dokumentenübersetzer Indic Translate und müssen dieselbe 75-Punkte-Hürde nehmen, nur ohne die Reparaturschleife. Alles läuft auf NVIDIAs offenem NeMo Data Designer, und Prompts wie Konfiguration des Übersetzungs-Plugins sind öffentlich, sodass andere Teams eigene Quelldokumente einspeisen und nach derselben Methode Daten für weitere Sprachen erzeugen können.
Ein erster Nutzungsnachweis liegt bereits vor: Das zuvor veröffentlichte Nemotron 3.5 Super VL mischte in seiner Phase des fortgesetzten Pretrainings 10 Milliarden indische Token – aus einer Zwölf-Sprachen-Teilmenge plus natürlichem Text – und gewann auf fünf indischen Wissens- und Schlussfolgerungs-Benchmarks rund 5 bis 9,8 Prozentpunkte.
Die unbewiesenen Teile stehen offen dabei
Die Einschränkungen formulieren die Autoren selbst. Erstens besteht der Korpus überwiegend aus übersetzten synthetischen Daten, und der Blog stellt klar, dass er Texte, die ursprünglich in indischen Sprachen geschrieben wurden, nicht ersetzt; lokales Wissen und kultureller Kontext brauchen weiterhin natürliche Korpora. Zweitens stammen die gemessenen Gewinne aus einer einzigen Phase fortgesetzten Pretrainings mit einer Mischung aus synthetischen und natürlichen Daten, sie lassen sich also nicht allein diesem Korpus zuschreiben; der vollständige Korpus einschließlich der reparierten Daten und der übrigen zehn Sprachen ist noch nicht kontrolliert ausgewertet. Drittens ist der Korpus selbst bislang als „erscheint in Kürze“ markiert – die Pipeline ist offen, die Daten noch nicht vollständig da.
Das Signal ist trotzdem klar: Der mehrsprachige Wettbewerb verlagert sich von der Frage, wessen Modell mehr Parameter hat, hin zu der Frage, wer Sprachdaten besitzt, die sich in großem Maßstab erzeugen und prüfen lassen. Für andere nicht-englische Ökosysteme ist das Übertragbare nicht die Zahl 2,8 Billionen, sondern die Pipeline, die Übersetzung, Bewertung, Nacharbeit und Herkunftsnachweis zu einem Standardprozess macht.
