요청을 묶는 방식만 바꿔도 같은 GPU의 처리량이 몇 배 달라집니다. 연속 배치, 추측 디코딩, KV 캐시, 컨텍스트 캐시가 각각 어느 구간의 비용을 줄이는지, 커널 라이브러리와 희소 구조로 어디까지 당길 수 있는지 정리합니다.
지식 증류(Knowledge Distillation)는 이미 학습된 거대 모델(교사 모델)로부터 작은 모델(학생 모델)이 배우는 기술이다. Geoffrey Hinton 등이 2015년 논문 「Distilling the Knowledge in a Neural Networ...
Ultrafast API는 OpenAI가 올해 8월 GPT-5.6 Sol과 함께 선보인 초저지연 추론 티어로, 공식적으로 초당 최대 750토큰, Standard 티어의 14배 속도를 자랑한다. 9월 26일, 개발자들이 OpenAI Platform과 API 문서에서 Ul...
Chain-of-Thought(사고의 연쇄, CoT)는 프롬프트 기법으로, 모델에게 바로 답을 내게 하는 대신 중간 추론 단계를 먼저 쓰게 하고 마지막에 결론을 내게 합니다. 수학 문제를 풀 때 답 숫자부터 내놓는 대신 "미지수 설정→방정식 세우기→풀이" 과정을 먼저 ...
Julia 1은 브라질의 작은 연구실 Supersonic Labs가 2026년 9월 26일에 공개한 의사결정 모델입니다. 파라미터 수는 1억 4,430만 개에 불과하며, CPU에서의 텍스트 분류와 라우팅을 위해 설계됐습니다. 가중치 파일은 550.5 MiB이며, 코드와...
컨텍스트 윈도우는 모델이 한 번에 '볼 수 있는' 토큰 총량의 상한입니다. 프롬프트, 대화 기록, 검색으로 가져온 자료, 그리고 모델이 이미 생성한 답변까지 모두 순서대로 하나의 시퀀스에 나열됩니다. 윈도우가 결정하는 것은 모델의 '작업대' 크기이지, 모델이 얼마나 똑...
Temperature 파라미터는 거대 언어모델의 출력 무작위성을 조절하는 샘플링 매개변수로, 대부분의 AI 대화 제품의 고급 설정과 API 매개변수 안에 숨어 있다. 평소에는 직접 볼 일이 거의 없지만, 모델의 답변이 엄격하고 수렴적인지, 자유롭고 분방한지를 결정한다....
Anthropic이 2026년 9월 24일 대형 컴퓨트 계약을 체결했다. Akamai는 공식 보도자료를 통해 Anthropic과 7년간 총 116억 달러 규모의 클라우드 서비스 계약을 체결했다고 발표했다. 동시에 발행주식의 약 5%에 해당하는 신주인수권을 Anthrop...
vLLM이 2026년 9월 24일 공식 블로그에서 추론 엔진에 Gumbel-max 기반 텍스트 워터마킹 기능이 정식으로 탑재됐다고 발표했다. 목표는 명확하다. 모델이 생성한 텍스트의 출처를 추적 가능하게 만드는 것. 게다가 워터마킹을 넣어도 모델의 출력 분포는 바뀌지 ...
