추론 속도 최적화 및 스레드 구성 기술

Qwen이 발표했습니다: Qwen3-VL은 이제 llama.cpp에서 사용 가능하며, GGUF 가중치는 2B에서 235B까지입니다.

Qwen은 자사의 시각 언어 모델인 Qwen3-VL이 이제 llama.cpp에서 기본적으로 지원된다고 공식 발표했으며, 2B부터 235B까지 다양한 사양을 포괄하는 전체 GGUF 가중치가 출시되었습니다. CPU, CUDA, Metal, Vulkan 및 기타 백엔드에서 ...