NVIDIAとインド工科大学マドラス校のAI4Bharat研究所は2026年10月16日、事前学習コーパス「Nemotron-pretraining-Indic-v1」を発表した。規模は約2.8兆トークン、インド憲法に列挙された22言語をカバーし、生成に使ったオープンなデータ生成パイプラインもあわせて提供される。多言語モデルを作る側にとって今回の要点は、データセットが1つ増えたことではない。低リソース言語に最も欠けているもの——大規模で、追跡可能で、品質検査済みの学習材料——について、その生産方法までが公開された点にある。
2.8兆トークンはどう構成されるか
まず数字を分解する。Hugging Faceブログで公表された構成では、全体のうち約2.601兆トークンが現地の文字で書かれたデータ、約2246億トークンがローマ字表記のデータで、合計34通りの「言語×文字」の組み合わせになる。22言語はインド人口の約97%の第一言語であり、2011年の国勢調査で約12億人に相当する。素材はネットから集めたインド言語のウェブ文書ではない。NVIDIAのNemotron-CC-v2の15のサブセットから、ウェブテキスト、質問応答、数学、コードなどの英語素材を選び、文書単位で各言語に翻訳したものだ。各レコードには出典文書の識別子が保持され、出力は入力と照合され、生成結果は原文までたどれる。
AI4Bharatを率いるミテシュ・カプラは業界の課題を率直に述べている。インドの言語技術が英語に後れを取る核心的な理由は、データが足りないことだ。このコーパスはその溝を埋めるが、量だけに頼るやり方ではない。
翻訳し、採点し、不合格なら作り直す
パイプラインは2ルートに分かれる。12言語はフルルートを通る。まずGemma-4-31B-itがコード、数式、書式を保ちながら文書全体を翻訳し、次に同じモデルが多次元品質指標の枠組みを参考にした基準で、意味、流暢さ、用語、文体、書式の5観点から採点する。合格ラインは100点満点で75点。不合格分は採点フィードバックを使って修正し再採点され、この作り直しの工程だけで約4384億トークンが回収された。合格した現地文字データの一部はローマ字表記にも変換される。インドの利用者が日常的にラテン文字で母語を書くためだ。データがさらに乏しい残り10言語は、専用のIndic Translate文書翻訳モデルを土台にし、同じ75点の基準を課すが、フィードバックによる作り直しは省かれている。全工程はNVIDIAのオープンなNeMo Data Designer上で動き、翻訳プラグインのプロンプトと設定も公開されているため、他のチームも自分の素材を持ち込んで同じ方法で他言語のデータを生成できる。
このコーパスにはすでに最初の利用実績がある。NVIDIAが先に公開したNemotron 3.5 Super VLは、継続事前学習の段階でインド言語データ100億トークン（12言語のサブセットと自然テキスト）を混ぜ、5つのインド言語の知識・推論ベンチマークで約5〜9.8ポイント向上した。
まだ証明されていない部分も明記されている
冷静な留保は、発表側自身が先に述べている。第1に、このコーパスの主体は翻訳による合成データであり、ブログはインドの言語で元々書かれたテキストの代わりにはならないと明言している。地域の知識や文化的文脈は自然コーパスで補う必要がある。第2に、効果の証拠は継続事前学習という1段階の比較から得られたもので、合成データと自然データの混合による結果であり、上昇幅をこのコーパスだけの功績にはできない。完全なコーパス（作り直し分と残り10言語を含む）の統制評価はまだ終わっていない。第3に、コーパス本体は現時点で「近日公開」であり、パイプラインはすでにオープンだが、データの正式リリースはこれからだ。
それでも信号は明確だ。多言語競争の軸は「誰のモデルが大きいか」から「誰が、監査可能な言語データを量産できるか」へ移りつつある。他の非英語言語圏にとって参考になるのは2.8兆という数字ではなく、翻訳、採点、作り直し、来歴管理を標準工程にしたパイプラインのほうである。
