증류가 대규모 모델의 능력을 작은 모델로 어떻게 옮기는지, 저정밀 양자화가 무엇과 바꿔 속도와 메모리를 얻는지, 소형 언어 모델의 한계가 어디인지 정리합니다.
미니 PC로 대형 모델을 돌리는 일이 살 가치가 있는지, 답은 광고 문구가 아니라 사용 강도에 있습니다. 진짜 마음을 끄는 것은 작고, 조용하고, 전기를 아끼면서 자주 쓰는 소형 모델을 클라우드로 보내지 않고 집에서 돌릴 수 있다는 점입니다. 하지만 상한도 분명히 적혀...
지식 증류(Knowledge Distillation)는 이미 학습된 거대 모델(교사 모델)로부터 작은 모델(학생 모델)이 배우는 기술이다. Geoffrey Hinton 등이 2015년 논문 「Distilling the Knowledge in a Neural Networ...
Julia 1은 브라질의 작은 연구실 Supersonic Labs가 2026년 9월 26일에 공개한 의사결정 모델입니다. 파라미터 수는 1억 4,430만 개에 불과하며, CPU에서의 텍스트 분류와 라우팅을 위해 설계됐습니다. 가중치 파일은 550.5 MiB이며, 코드와...
Ollama로 로컬에서 대규모 언어 모델을 돌린다는 건 한 문장으로 정리된다. 거대 모델을 "클라우드 API 호출"에서 내 컴퓨터의 한 줄 명령어로 바꾸는 것이다. Ollama를 설치하고 ollama pull llama3.1 로 모델을 내려받은 뒤 ollama run ...
PrismML의 1비트 모델이 2026년 9월 24일 무대에 올랐다. 퀄컴은 Snapdragon Summit에서 눈길을 끄는 데모를 선보였다. AI 연구소 PrismML의 1비트 대형언어모델 'Bonsai'가 Snapdragon AR1 Gen 1 플랫폼 기반 AI 스마...
2026년 9월 22일, Hugging Face는 공식 블로그를 통해 transformers가 GGUF 양자화 모델을 직접 불러올 수 있게 됐다고 발표했다. 노트북에서 모델을 돌리는 사람에게는 익숙한 from_pretrained 호출 하나로 충분하다는 뜻이다. tran...
2026년 9월 22일, Hugging Face는 공식 블로그를 통해 transformers가 GGUF 양자화 모델을 직접 불러올 수 있게 되었다고 발표했다. from_pretrained에 gguf_file 인자만 넘기면 Hub의 GGUF 체크포인트를 익숙한 trans...
2026년 9월 8일, 미국 국가안보국(NSA), FBI, 사이버보안 및 인프라 보안국은 공동으로 모델 증류 안전 공지(Model Distillation Safety Bulletin)를 발행했으며, DeepSeek, Moon Dark Side, Alibaba, Mini...
