NVIDIA와 인도공과대학 마드라스 캠퍼스의 AI4Bharat 연구소는 2026년 10월 16일 사전학습 코퍼스 Nemotron-pretraining-Indic-v1을 공개했다. 규모는 약 2.8조 토큰, 인도 헌법에 명시된 22개 언어를 포괄하며, 이 코퍼스를 만든 오픈 데이터 생성 파이프라인도 함께 제공된다. 다국어 모델을 만드는 쪽에서 이번 발표의 핵심은 데이터셋이 하나 늘었다는 데 있지 않다. 저자원 언어가 가장 부족해하는 것, 즉 대규모이면서 추적 가능하고 품질 검사를 거친 학습 재료에 대해 생산 방법까지 공개됐다는 점이다.
2.8조 토큰은 어떻게 구성됐나
먼저 숫자를 뜯어 보자. 양측이 Hugging Face 블로그에 공개한 구성에 따르면 전체 중 약 2.601조 토큰은 현지 문자로 쓰인 데이터, 약 2246억 토큰은 로마자 표기 데이터로, 모두 34가지 '언어-문자' 조합에 이른다. 22개 언어는 인도 인구 약 97%의 모국어 범위로, 2011년 인구조사 기준 약 12억 명에 해당한다. 원재료는 인터넷에서 긁어 모은 인도어 웹 문서가 아니다. NVIDIA의 Nemotron-CC-v2 15개 하위 집합에서 웹 텍스트, 질의응답, 수학, 코드 등 영어 자료를 골라 문서 단위로 각 목표 언어로 번역한 것이다. 모든 기록에는 출처 문서 식별자가 남아 있고, 출력은 입력과 대조되며, 생성 결과를 원문까지 거슬러 확인할 수 있다.
AI4Bharat 책임자 미테시 카프라가 짚은 업계의 병목은 직접적이다. 인도 언어 기술이 영어에 뒤처지는 핵심 이유는 데이터 부족이다. 이 코퍼스는 바로 그 간극을 메우지만, 양만으로 승부하는 방식은 아니다.
번역하고, 채점하고, 불합격이면 다시 만든다
파이프라인은 두 경로로 나뉜다. 12개 언어는 전체 경로를 거친다. 먼저 Gemma-4-31B-it이 코드와 수식, 서식을 유지하며 문서 전체를 번역하고, 이어 같은 모델이 다차원 품질 측정 프레임워크를 참고한 기준으로 의미, 유창성, 용어, 문체, 서식 다섯 관점에서 채점한다. 합격선은 100점 만점에 75점이다. 불합격분은 채점 피드백을 반영해 고친 뒤 다시 채점하는데, 이 재작업 단계에서만 약 4384억 토큰이 회수됐다. 합격한 현지 문자 데이터 일부는 로마자 표기로도 변환된다. 인도 사용자들이 일상적으로 라틴 문자로 모국어를 쓰기 때문이다. 데이터가 더 부족한 나머지 10개 언어는 전용 Indic Translate 문서 번역 모델을 기반으로 삼아 같은 75점 기준을 적용하되 피드백 재작업은 생략한다. 전 과정은 NVIDIA의 오픈 프레임워크 NeMo Data Designer 위에서 돌고, 번역 플러그인의 프롬프트와 설정이 공개돼 있어 다른 팀도 자기 원본 문서를 넣어 같은 방식으로 다른 언어 데이터를 만들 수 있다.
이 코퍼스에는 이미 첫 사용 증거가 있다. NVIDIA가 앞서 공개한 Nemotron 3.5 Super VL은 계속 사전학습 단계에서 인도어 데이터 100억 토큰(12개 언어 하위 집합과 자연 텍스트)을 섞어, 다섯 가지 인도어 지식·추론 벤치마크에서 약 5~9.8포인트 향상을 기록했다.
아직 증명되지 않은 부분도 명시돼 있다
찬물은 발표 측이 먼저 끼얹었다. 첫째, 이 코퍼스의 주체는 번역 합성 데이터이며, 블로그는 이것이 인도 언어로 원래 쓰인 텍스트를 대체할 수 없다고 명시한다. 지역 지식과 문화적 맥락은 자연 코퍼스로 보완해야 한다. 둘째, 효과 증거는 계속 사전학습이라는 한 단계의 비교에서 나왔고 합성 데이터와 자연 데이터를 섞은 결과라서, 상승 폭 전부를 이 코퍼스 덕으로 돌릴 수 없다. 재작업분과 나머지 10개 언어를 포함한 전체 코퍼스의 통제 평가는 아직 끝나지 않았다. 셋째, 코퍼스 본체는 현재 '곧 공개' 상태로, 파이프라인은 이미 열려 있지만 데이터 정식 출시는 남아 있다.
그럼에도 신호는 분명하다. 다국어 경쟁의 축이 '누구 모델이 더 큰가'에서 '누가 감사 가능한 언어 데이터를 양산할 수 있는가'로 이동하고 있다. 다른 비영어권 생태계가 빌려 올 것은 2.8조라는 숫자가 아니라, 번역과 채점, 재작업과 출처 관리를 표준 공정으로 만든 그 파이프라인이다.
