증류가 대규모 모델의 능력을 작은 모델로 어떻게 옮기는지, 저정밀 양자화가 무엇과 바꿔 속도와 메모리를 얻는지, 소형 언어 모델의 한계가 어디인지 정리합니다.
Humming은 2026년 10월 21일 앤트그룹과 vLLM 커뮤니티가 vLLM 공식 블로그를 통해 오픈소스로 공개한 범용 고성능 양자화 추론 커널 라이브러리로, 현재 GitHub의 vllm-project 조직에서 호스팅되고 있다. 이 라이브러리가 풀려는 문제는 특정 ...
OpenCode는 2026년 10월 17일 공식 계정을 통해 보안 사건을 공개했습니다. 10월 16일 밤, 플랫폼이 대규모 증류 공격과 관련된 보안 침해를 당했고, OpenCode Console 사용자의 1.4%가 영향을 받았다는 내용입니다. 회사 측은 영향을 받은 모...
Ternary Bonsai 2는 PrismML이 기기 내 실행을 겨냥해 만든 삼진 가중치 모델 시리즈다. 2026년 10월 15일, PrismML은 보도자료를 통해 이 시리즈에 2B, 4B, 9B 세 모델을 추가한다고 발표했다. 세 모델 모두 Qwen3.5를 기반으로 ...
투기적 디코딩(Speculative Decoding)은 대형 모델의 텍스트 생성을 빠르게 만드는 방법입니다. 훨씬 작은 초안 모델이 다음 몇 개의 토큰을 먼저 추측하면, 대형 모델이 그 추측을 한 번의 병렬 연산으로 한꺼번에 검사합니다. 맞은 것은 그대로 채택하고, 처...
모델 증류는 2026년 10월 9일 Redwood Research가 발표한 논문에서 증언대에 올랐다. 이 정렬 연구 기관은 증류를 안전에 활용하는 두 가지 경로를 실증적으로 검증했다. 첫째인 '고발을 위한 증류'는 신뢰할 수 없는 강한 모델을 더 약한 신뢰 가능한 학생...
중고 그래픽카드는 로컬로 대형 모델을 돌리는 사람이라면 피하기 어려운 주제입니다. 같은 돈이라도 중고 시장에서는 보통 VRAM이 한 등급 더 큰 카드를 살 수 있고, VRAM이야말로 돌릴 수 있는 모델의 크기를 정합니다. 다만 보증이 없고 상태는 판매자 설명에 의존합니...
가정용 NAS로 로컬 대형 모델을 돌리는 것은 한 대로 두 가지 일을 하는 이야기처럼 들립니다. 드라이브 베이에는 가족 사진과 영상이 들어가고, 같은 상자가 인터넷도 구독도 없이 그 자리에서 질문에 답합니다. 그러나 NAS의 본업은 스토리지이고, 심장은 대개 저소비전력...
Windows 하이브리드 인텔리전스가 2026년 10월 7일 Microsoft Windows 공식 블로그를 통해 정식으로 발표됐다. 핵심은 단순하다. 에이전트는 맞는 작업을 로컬에서 처리하고 필요할 때만 클라우드를 쓴다. Copilot 기능 추가가 아니라 플랫폼 전체의...
