요청을 묶는 방식만 바꿔도 같은 GPU의 처리량이 몇 배 달라집니다. 연속 배치, 추측 디코딩, KV 캐시, 컨텍스트 캐시가 각각 어느 구간의 비용을 줄이는지, 커널 라이브러리와 희소 구조로 어디까지 당길 수 있는지 정리합니다.
자기 주의는 모델이 문장을 처리할 때 먼저 각 단어가 문장 안의 어떤 단어에 얼마나 주목해야 하는지를 판단한 뒤 그 정보를 융합하는 방식이다. 고정된 순서대로 단어를 하나씩 읽는 것이 아니라 모든 단어가 서로 점수를 매긴다. 관련성이 강할수록 가중치가 커지고, 결국 각...
MiniMax가 2026년 10월 23일 M3.1 Flash의 모델 가중치를 공개했다. 공식 발표에 따르면 M3.1 Flash 가중치는 오픈소스로 공개되며, 총 파라미터 428B, 토큰당 약 23B만 활성화되는 혼합 전문가(MoE) 아키텍처, 컨텍스트 윈도우 100만 ...
지식 증류(Knowledge Distillation)는 거대 모델의 '다크 지식'을 작은 모델에게 전달하는 기술이다. 먼저 거대한 교사 모델이 참조 출력을 생성하게 하고, 훨씬 작은 학생 모델이 그 출력을 학습하게 함으로써 작으면서도 쓸 만한 모델을 만들어 낸다. 선생...
OpenAI의 Decisions API가 10월 22일 정식 출시(GA)됐다. GPT-6 Luna를 기반으로 하며, '정해진 답'이 있는 작은 판단에 특화됐다. 공식 발표에 따르면 앱과 에이전트는 워크플로 전반에서 수많은 미세 판단을 내린다. 입력에 라벨을 붙이고, 요...
LingDT-Decision-1.0은 대화형 모델과 반대 길을 간다. 2026년 10월 22일 앤트 디지털(蚂蚁数科)은 빠른 산업 의사결정에 특화한 이 모델을 발표하고 4B와 27B 두 버전을 자사 DTMaaS 플랫폼에 올렸으며, 개발자는 기간 한정으로 무료 체험할 수...
iFlytek Spark X2.6은 2026년 10월 22일 베이징에서 열린 2026 iFlytek 글로벌 1024 개발자 페스티벌 메인 포럼에서 공식 출시됐다. 단말과 클라우드를 하나로 묶은 대형 모델로, iFlytek은 전량 국산 컴퓨팅으로 훈련해 코드와 에이전트 ...
SGLang은 지난 2년 사이 추론 배포 현장에서 피하기 어려운 오픈소스 프레임워크가 됐습니다. 같은 GPU에서도 멀티턴 대화, 에이전트, 구조화 출력 같은 부하에서는 순수한 배포보다 확실히 빠른 경우가 드물지 않습니다. 다만 이것은 채팅 제품이 아니라 GPU와 튜닝,...
모델 가지치기는 대형 모델에 뺄셈을 하는 방법입니다. 가중치 중에서 0에 가깝고 결과에 거의 영향을 주지 않는 연결을 찾아 삭제하거나 0으로 만들어, 모델을 더 작고 빠르게 하면서 능력 저하는 조금으로 억제하는 것입니다. 양자화, 증류와 함께 모델 압축으로 묶이지만 손...
