Baseten 의사결정 모델은 2026년 10월 21일 Baseten의 연구 조직 Base Labs가 공개했다. mammoth-1(27B)과 elephant-1(9B)은 글을 생성하지 않고, 각 후보 답안에 확률을 반환하며 모든 점수의 합은 1이다. 두 모델 모두 Hugging Face에 오픈소스로 공개됐고, Baseten 모델 API에서 일주일간 무료로 써볼 수 있으며 기본값은 데이터 무보관이다.
답하는 것은 세 가지 좁은 질문뿐
의사결정 모델이 맡는 일은 세 가지뿐이다. 목록에서 하나를 고르는 선택, 예를 들어 이 티켓이 인프라·청구·보안·지원 중 어디로 가야 하는지, 척도로 매기는 점수, 예를 들어 이 메일의 긴급도가 높은지 낮은지, 그리고 예·아니오 판단, 예를 들어 이 메일이 피싱인지 여부다. 단순해 보이지만 운영 시스템에서 물량이 가장 많은 요청이기도 하다. 그동안 팀들은 생성형 대형 모델로 이런 판단을 해왔는데, 답을 한 단어씩 써내야 해서 연산 비용이 크고 느리며, 글만 봐서는 모델이 얼마나 확신하는지 알 수 없었다.
진짜 상품은 신뢰도다
mammoth-1은 Jev Decision Index 0.4에서 71.24점으로 의사결정 모델 208개 중 1위를 차지했고, elephant-1은 9B 규모에서 1위다. 두 모델 모두 Qwen3.5를 기반으로 지식·추론, 언어, 도구·자동화, 검색·분류, 인간 취향 등 다섯 영역에 걸친 621만 건의 의사결정 샘플로 후훈련됐으며, 모델에게 '모른다'고 말하는 법을 가르치는 샘플도 포함됐다. Baseten에 따르면 의사결정 모델은 이런 작업에서 추론 모델보다 최대 10배 빠르다.
누가 눈여겨봐야 하나
핵심은 대화형 모델을 대체하는 것이 아니라 그 앞에 서는 것이다. 신뢰도가 높으면, 예컨대 90% 확신할 때 티켓을 자동 배정하고, 낮으면 사람이나 더 강한 모델로 넘긴다. 티켓 분류, 스팸·피싱 탐지, 프롬프트 가드레일과 탈옥 탐지, 소형 모델과 프런티어 모델 사이의 라우팅이 바로 적용 가능한 장면이다. 대가도 분명하다. 이유를 설명하지 않으므로 감사 요구가 높은 업무에는 별도 기록이 필요하고, 순위 성적은 업체가 발표한 평가 체계에서 나온 것이다. 도입 전에 자사의 어려운 사례로 정확도와 신뢰도 보정을 측정하고 임계값을 정해야 한다.
