ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI Q&A
노트북에서 Inkling 2 Mini를 실행하는 방법: 26B 모델은 먼저 메모리와 라이선스를 따져보자

노트북에서 Inkling 2 Mini를 실행하는 방법: 26B 모델은 먼저 메모리와 라이선스를 따져보자

AI Q&A • Admin • • 3 회 조회

노트북에서 Inkling 2 Mini를 실행하는 방법은 먼저 메모리와 라이선스를 따져보는 것부터 시작합니다. Thinking Machines Lab이 2026년 11월 20일에 공개한 26B 파라미터 순환 아키텍처 모델입니다. 전체 파라미터는 26.4B이고 한 번에 활성화되는 것은 3.4B뿐이며, 가중치는 약 20GB, 회사 설명에 따르면 노트북에서 오프라인으로 실행할 수 있습니다. Apache 2.0 라이선스로 가중치가 공개돼 있어 내려받으면 바로 쓸 수 있지만, 26B가 가볍다는 뜻은 아닙니다. 메모리가 부족하면 어차피 실행되지 않으므로 시작하기 전에 계산부터 해 두세요.

먼저 메모리 계산부터 하자

가중치 자체가 약 20GB이고, 여기에 실행 중 캐시와 프레임워크 오버헤드가 더해집니다. 공식 데모는 48GB 메모리 MacBook Pro, 즉 M5 Pro 칩 모델에서 실행했습니다. 이 기준으로는 32GB 메모리가 비교적 안전한 출발점이고, 16GB 기기는 더 강한 양자화를 쓰거나 느린 속도를 감수해야 할 가능성이 큽니다. 3.4B 활성 파라미터만 보고 작다고 착각하면 안 됩니다. 그건 연산량 기준이지 메모리 예산이 아닙니다.

노트북에서 실행하는 두 가지 방법

간편하게 가려면 Ollama 같은 원클릭 도구를 쓰세요. 설치한 뒤 모델을 가져오면 바로 대화를 시작할 수 있어, 체험이나 채팅, 간단한 에이전트 작업에 적합합니다. 에이전트 작업과 긴 컨텍스트에서 성능을 뽑아내려면 vLLM이나 SGLang으로 전체 가중치를 배포하세요. vLLM은 출시 당일부터 지원했고 Ollama도 지원 목록에 있습니다. 가중치는 Hugging Face에 있는 Thinking Machines Lab 공식 모델 페이지에서 내려받을 수 있고, llama.cpp용 GGUF 양자화 버전도 있습니다.

라이선스와 활용 범위

Apache 2.0 라이선스는 저작권 표시와 라이선스 문구를 유지하는 조건으로 상업적 이용, 수정, 재배포를 허용하며 구독료는 없습니다. 텍스트와 이미지 입력을 지원하고 컨텍스트는 100만 토큰이며, 회사 설명에 따르면 장기 에이전트 작업에서 강점을 보입니다. 다만 약점도 있습니다. 여러 차례 오가는 대화나 제약이 많은 지시에서는 Qwen3.8-27B 같은 동급 모델에 뒤처집니다. 주력 모델로 삼기 전에 자신의 작업으로 먼저 시험해 보세요.

Q: 가중치는 어디서 내려받는 것이 가장 안전할까요?

A: Hugging Face에 있는 Thinking Machines Lab 공식 모델 페이지입니다. thinkingmachines/Inkling-2-Mini라는 이름을 확인하고, 출처가 불분명한 가중치 파일을 알 수 없는 곳에서 내려받지 마세요.

추천 도구

더보기