觀點 · 資訊分享

vLLM 0.22.0 釋出：459 次提交，DeepSeek V4 支援更成熟、Qwen3 預設換新引擎

開源 AI 推論引擎 vLLM 在 5 月 29 日釋出 0.22.0。重點包括 DeepSeek V4 的完整強化、Qwen3 密集模型預設改用 Model Runner V2、實驗性的 Rust 前端，以及多層 KV 快取卸載。

一句話看懂：開源推論引擎 vLLM 釋出 0.22.0，Qwen3 密集模型預設改用新核心，DeepSeek V4 的支援也大幅補強。

vLLM 0.22.0 重點整理資訊圖卡：Qwen3 預設換新引擎，DeepSeek V4 支援更成熟

先用白話講：vLLM 是什麼？

想像 AI 模型是一位很會做菜的大廚，但他一次只能煮一道菜，客人一多就大排長龍。vLLM 像是一間設計很聰明的廚房：幫大廚排流程、共用備料、把鍋爐的火力用滿，讓同一位大廚能同時服務更多客人。

它是開源的 AI 推論引擎，不少自架模型服務都用它當後端。

vLLM 在 5 月 29 日釋出 0.22.0，官方說這一版包含 459 次提交、230 位貢獻者（其中 63 位是新人）。幾個主要亮點：

項目	這版的更新
新模型架構	MiniCPM-V 4.6、InternS2 Preview、OpenVLA
推測解碼	自訂提議器、EAGLE-3 相關、NemotronH 等
Qwen3.5 / 3.6	CUDA graph 與權重載入的多項改進
Gemma3 / Gemma4	多解析度圖片批次、多 GPU 等修正
工具呼叫	新增 Apertus 工具解析器

我自己在家用 NAS 與一張顯卡跑本地模型，主要用 Ollama，所以 vLLM 這種偏伺服器端、追求吞吐量的工具不會天天碰。但看它的更新方向還是有參考價值：KV 快取卸載、推測解碼這些技術，之後多半會慢慢流到我們常用的工具裡。

如果你是用 vLLM 當正式服務的後端，升級前一定要在測試環境跑一輪，尤其是預設引擎換掉的 Qwen3 密集模型，要確認自己用到的功能沒有被退回舊版而影響效能。

vLLM 是什麼？

一套開源的 AI 模型推論引擎，目的是讓大型模型跑得更快、更省記憶體，很多自架模型服務都用它當後端。

Model Runner V2 是什麼？

vLLM 內部執行模型的新核心。這版起 Qwen3 密集模型預設使用它；官方說遇到它還不支援的功能時，會自動退回舊的 MRv1。

我一定要升到 0.22.0 嗎？

不用。如果目前的版本跑得穩，可以等有需要的功能（例如 DeepSeek V4 或新模型）再升，升級前建議先在測試環境確認。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。