거대언어모델을 자체 PC나 서버에서 돌리는 데 필요한 추론 프레임워크, GPU 요구량, 양자화 타협을 정리하며 프라이버시와 장기 비용을 중시하는 팀에 유용합니다.
Muse Spark Open은 Meta가 2026년 10월 15일 전체 가중치를 공개한 멀티모달 모델로, Muse Spark의 오픈 버전입니다. 총 파라미터는 8160억 개, 토큰마다 실제로 활성화되는 파라미터는 약 420억 개이며, 컨텍스트 창은 100만 토큰입니다....
Mistral의 디자인 스튜디오 New Material 인수는 2026년 10월 14일 New Material의 자체 발표로 확인됐다. 팀 전체가 Mistral에 합류하고, 기업 및 정부 고객과 함께 AI 시스템을 만들고 배포하는 새 조직 Solutions Design...
RTX Spark 노트북이 판매를 시작하기 전에 NVIDIA가 먼저 내놓은 것은 소프트웨어 목록이었다. 2026년 10월 13일, NVIDIA는 공식 블로그에서 10월 16일 출시되는 RTX Spark 노트북을 위해 전 세계 PC 앱 생태계가 준비를 마쳤고, 수천 개의...
투기적 디코딩(Speculative Decoding)은 대형 모델의 텍스트 생성을 빠르게 만드는 방법입니다. 훨씬 작은 초안 모델이 다음 몇 개의 토큰을 먼저 추측하면, 대형 모델이 그 추측을 한 번의 병렬 연산으로 한꺼번에 검사합니다. 맞은 것은 그대로 채택하고, 처...
Jan은 내 컴퓨터에서 대형 모델을 오프라인으로 실행하는 데 초점을 둔 오픈소스 데스크톱 앱으로, Menlo Research 팀이 유지하고 있다. 대화 내용을 클라우드로 보내고 싶지 않지만 명령줄은 만지기 싫은 사람을 위한 도구다. GitHub에서 별 네 만 개 이상을...
중고 그래픽카드는 로컬로 대형 모델을 돌리는 사람이라면 피하기 어려운 주제입니다. 같은 돈이라도 중고 시장에서는 보통 VRAM이 한 등급 더 큰 카드를 살 수 있고, VRAM이야말로 돌릴 수 있는 모델의 크기를 정합니다. 다만 보증이 없고 상태는 판매자 설명에 의존합니...
Mellum2.1은 JetBrains가 2026년 10월 8일 공개한 오픈소스 코딩 모델로, 코딩 에이전트 안에서 실무를 맡는 일꾼이라는 위치다. 코드베이스를 탐색하고, 파일을 편집하고, 자신의 변경을 검증할 수 있다. Hugging Face에 Apache 2.0 라이...
가정용 NAS로 로컬 대형 모델을 돌리는 것은 한 대로 두 가지 일을 하는 이야기처럼 들립니다. 드라이브 베이에는 가족 사진과 영상이 들어가고, 같은 상자가 인터넷도 구독도 없이 그 자리에서 질문에 답합니다. 그러나 NAS의 본업은 스토리지이고, 심장은 대개 저소비전력...
