거대언어모델을 자체 PC나 서버에서 돌리는 데 필요한 추론 프레임워크, GPU 요구량, 양자화 타협을 정리하며 프라이버시와 장기 비용을 중시하는 팀에 유용합니다.
대형 모델을 로컬로 돌릴 때 그래픽카드 VRAM이 충분한지는 모델을 다운로드하기도 전에 체감 상한을 정해 버리는 경우가 많습니다. 연산 성능만 보다가 모델이 들어가지 않거나, 들어가도 짧은 컨텍스트만 쓸 수 있다는 사실을 뒤늦게 깨닫는 사람이 적지 않습니다. VRAM은...
DGX Spark에 64GB 통합 메모리를 갖춘 새 버전이 나오면서, 데스크톱에서 대형 모델을 로컬로 돌리는 진입 가격이 4999달러로 정해졌다. 2026년 10월 2일, NVIDIA는 공식 블로그를 통해 이 새 구성을 발표하고 10월 23일 출시를 알렸다. 에이전트를...
LM Studio는 Element Labs가 개발한 데스크톱 앱으로, 하는 일은 단순명료합니다. 대규모 언어 모델을 하나의 앱에 담아 자신의 컴퓨터에서 오프라인으로 대화할 수 있게 해주는 것입니다. 앱을 열고 내장 모델 브라우저에서 오픈소스 모델을 골라 다운로드한 뒤 ...
SFT(Supervised Fine-Tuning, 지도 미세조정)는 챗봇 모델이 '데뷔'하기 전 받는 직무 교육과 같습니다. 수천 건의 '지시-응답' 예시 데이터를 사용해, 사전학습된 대형 모델에게 인간이 기대하는 방식으로 말하고 행동하도록 가르칩니다. 여기서 중요한 ...
오픈 웨이트 모델이 엔지니어의 기술적 선택지에서 기업 실적 발표의 단골 단어로 바뀌고 있다. 9월 28일 동차(動察) Beating AI 속보가 전한 파이낸셜타임스 조사에 따르면, 데이터 기업 AlphaSense의 통계에서 올해 8월과 9월에 미국 기업들이 실적 발표 ...
Cherry Studio, 과연 설치할 가치가 있을까? 먼저 이게 뭔지부터 보자. GitHub에서 약 5.2만 스타를 받은 오픈소스 AI 데스크톱 클라이언트로, 'AI productivity studio'를 표방하며 멀티모델 채팅, 300개가 넘는 프리셋 어시스턴트, ...
ComfyUI는 지금 로컬 이미지 생성 분야에서 가장 뜨거운 오픈소스 프로젝트입니다. 기존 UI 대신 노드를 연결해 사용하는 Stable Diffusion용 노드 기반 워크플로 프론트엔드죠. 모델 자체는 포함하지 않고 '진행'만 담당합니다. 모델 로드, 프롬프트 인코딩...
Ollama로 로컬에서 대규모 언어 모델을 돌린다는 건 한 문장으로 정리된다. 거대 모델을 "클라우드 API 호출"에서 내 컴퓨터의 한 줄 명령어로 바꾸는 것이다. Ollama를 설치하고 ollama pull llama3.1 로 모델을 내려받은 뒤 ollama run ...
