거대언어모델을 자체 PC나 서버에서 돌리는 데 필요한 추론 프레임워크, GPU 요구량, 양자화 타협을 정리하며 프라이버시와 장기 비용을 중시하는 팀에 유용합니다.
PrismML의 1비트 모델이 2026년 9월 24일 무대에 올랐다. 퀄컴은 Snapdragon Summit에서 눈길을 끄는 데모를 선보였다. AI 연구소 PrismML의 1비트 대형언어모델 'Bonsai'가 Snapdragon AR1 Gen 1 플랫폼 기반 AI 스마...
vLLM이 2026년 9월 24일 공식 블로그에서 추론 엔진에 Gumbel-max 기반 텍스트 워터마킹 기능이 정식으로 탑재됐다고 발표했다. 목표는 명확하다. 모델이 생성한 텍스트의 출처를 추적 가능하게 만드는 것. 게다가 워터마킹을 넣어도 모델의 출력 분포는 바뀌지 ...
2026년 9월 24일, 텐센트 혼위안(Hunyuan)은 번역 앱 '텐센트 Hy 번역'의 정식 출시를 발표했다. 미니프로그램, 플러그인, PC 버전도 함께 제공된다. IT즈자와 제몐신문의 당일 보도에 따르면, 이 앱은 텐센트 혼위안이 올해 5월 오픈소스로 공개한 번역 ...
2026년 9월 23일, Google은 공식 개발자 블로그를 통해 Antigravity SDK가 로컬 모델 워크플로를 지원한다고 발표했다. 첫 지원은 Google AI Edge의 LiteRT를 통한 Gemma 4 26B A4B다. 이제 개발자는 완전히 오프라인인 환경에...
2026년 9월 22일, Hugging Face는 공식 블로그를 통해 transformers가 GGUF 양자화 모델을 직접 불러올 수 있게 됐다고 발표했다. 노트북에서 모델을 돌리는 사람에게는 익숙한 from_pretrained 호출 하나로 충분하다는 뜻이다. tran...
2026년 9월 22일, 애플은 뉴스룸을 통해 신형 Mac mini와 Mac Studio가 오늘부터 정식 판매에 들어간다고 발표했습니다. 8월 25일 공개, 8월 27일 사전 예약에 이어 두 제품은 판매 단계에 진입했습니다. 이번 업데이트의 핵심은 외관이 아니라, 애플...
2026년 9월 22일, 차이나텔레콤 AI(TeleAI)는 공식 보도자료를 통해 Xing4.0-29B-A4B를 발표했다. 차세대 경량 에이전트 대형 모델이라는 포지셔닝이다. 핵심 스펙은 명료하다. 총 파라미터 290억, 토큰당 활성화는 40억에 불과. MoE 아키텍처를...
2026년 9월 22일, Hugging Face는 공식 블로그를 통해 transformers가 GGUF 양자화 모델을 직접 불러올 수 있게 되었다고 발표했다. from_pretrained에 gguf_file 인자만 넘기면 Hub의 GGUF 체크포인트를 익숙한 trans...
