처리량, GPU 메모리, 동시성. vLLM이 신경 쓰는 것은 세 가지입니다. 채팅 화면은 없고 오픈 모델을 운영 트래픽을 버티는 API로 바꾸는 데 집중합니다. 툴 호출, MoE 백엔드, 장문맥 캐시도 계속 보강됩니다.
DeepInfer는 DeepSeek이 GitHub에 공개한 추론 프레임워크로, 조직 이름은 deepseek-ai, 프로젝트 이름은 DeepInfer이며 Apache 2.0 라이선스를 사용합니다. DeepSeek의 대규모 상용 서비스를 지탱하는 추론 프레임워크라고 스스로...
SGLang은 지난 2년 사이 추론 배포 현장에서 피하기 어려운 오픈소스 프레임워크가 됐습니다. 같은 GPU에서도 멀티턴 대화, 에이전트, 구조화 출력 같은 부하에서는 순수한 배포보다 확실히 빠른 경우가 드물지 않습니다. 다만 이것은 채팅 제품이 아니라 GPU와 튜닝,...
Humming은 2026년 10월 21일 앤트그룹과 vLLM 커뮤니티가 vLLM 공식 블로그를 통해 오픈소스로 공개한 범용 고성능 양자화 추론 커널 라이브러리로, 현재 GitHub의 vllm-project 조직에서 호스팅되고 있다. 이 라이브러리가 풀려는 문제는 특정 ...
llm-d 1.0은 2026년 10월 20일 북미 PyTorch Conference에서 공식 공개됐고, IBM Research가 공식 블로그를 통해 발표했다. Kubernetes 네이티브 분산 추론 프로젝트인 llm-d는 Red Hat, IBM, Google이 주도적으...
DeepSeek의 추론 프레임워크 DeepInfer가 2026년 10월 20일 오픈소스로 공개됐다. DeepSeek는 자사의 대규모 운영 서비스를 떠받치는 추론 프레임워크를 GitHub 공식 저장소 deepseek-ai/DeepInfer에 Apache-2.0 라이선스로...
vLLM v0.32.0이 2026년 10월 18일 출시됐고, vLLM 프로젝트가 GitHub에 올린 이번 버전에는 기여자 363명의 커밋 814건이 담겼으며 그중 121명은 첫 기여였다. 오픈 웨이트 모델을 직접 서빙하는 팀에게 중요한 것은 새 모델 목록이 아니다. 저...
Beam은 Reflection이 처음 공개하는 오픈 웨이트 모델이다. 2026년 10월 16일 Reflection이 Beam을 정식 발표했고, Ollama도 같은 날 공식 블로그에서 첫날 파트너로 참여한다고 밝혔다. 총 파라미터는 약 501B인 전문가 혼합 구조이며 토...
Kimi K3의 AMD Instinct MI355X 추론 최적화는 vLLM 공식 블로그가 2026년 10월 16일 공개한 기술 분석의 결과입니다. AgentX 에이전트 부하에서 vLLM으로 구동하는 8개 MI355X 시스템은 GPU당 초당 총 토큰 수에서 NVIDIA ...
