Back to Articles

vLLM vLLM veröffentlichte 0.17.1 und fixierte Schlüsselpatches für das Inferenz-Backend, wodurch Patches wie TRTLLM MoE, Mamba/Qwen3.5 Cache und MTP-Verarbeitung zentral implementiert werden konnten

Found 1 related articles

Empfohlene Tools

Mehr