MAI-Base-2의 사전 학습이 끝났다. 2026년 10월 15일 Microsoft AI는 공식 글 "Frontier Pre-training at Microsoft AI"에서 이 기반 모델의 세부 내용을 공개했다. 전문가 혼합 구조로 전체 파라미터는 2.8조 개이며 추론 때마다 약 800억 개만 활성화된다. 마이크로소프트 자체 홀드아웃 평가에서 바이트당 비트 수는 테스트한 모든 오픈 웨이트 모델보다 낮았다.
효율 수치는 기준부터 확인해야 한다
가장 주목받는 숫자는 효율이다. 마이크로소프트는 스케일링 법칙 피팅을 근거로, DeepSeek-V4-Pro-Base와 같은 평가 수준에 도달하는 데 자사 레시피는 약 4분의 1에서 12분의 1의 연산량만 필요하다고 추정한다. 다만 이는 같은 연산 예산으로 맞붙인 결과가 아니라 스케일링 곡선에서 역산한 레시피 효율이며, 비교 대상 일부는 사후 학습 체크포인트만 있었다는 점도 회사 스스로 밝힌다. 이 숫자가 말하는 것은 한 번의 벤치마크 승부보다 학습 방법의 진보다.
GPU 1만 6천 장, 38일이 만든 레시피
학습은 2026년 8월부터 9월까지 GB200 1만 6천 장으로 38일간 진행됐고, 평균 연산 활용률은 21%, 유효 학습 시간 비율은 89%였다. 이를 뒷받침한 것은 세 가지다. 작은 실험으로 큰 모델을 예측하는 소스 스케일링 기반 스케일링 래더, 모든 층에 전문가 혼합을 적용하고 드롭리스 라우팅으로 전문가 층 활용률을 24%에서 35%로 높인 것, 그리고 AdamW 대신 Muon 옵티마이저를 쓴 것이다. 학습 데이터는 출처를 추적할 수 있는 자체 유기 데이터이며 다른 모델의 증류는 쓰지 않았다고 회사는 강조한다.
왜 자체 파이프라인을 만들려는 걸까
MAI-Base-2는 현재 사후 학습 단계에 있으며 사용자용 출시나 전체 성적은 아직 공개되지 않았다. 마이크로소프트가 제시한 상용화 경로는 Foundry를 통해 신뢰할 수 있는 파트너에게 가중치를 라이선스하는 것이다. 고객에게 파는 것은 파라미터 수만이 아니라 데이터 출처의 추적 가능성과 학습·서빙 인프라를 같은 주체가 최적화한다는 점이다. 관건은 사후 학습 버전이 사전 학습 단계의 효율 우위를 실제 작업 성능으로 바꿀 수 있느냐다.
