觀點 · 資訊分享

vLLM 0.21 發布：367 個提交、正式棄用 Transformers v4，建置也改要 C++20 編譯器

開源推論引擎 vLLM 在 5 月 15 日發布 0.21.0，有 367 個提交、202 位貢獻者。重點包含新增多個模型架構、KV 快取卸載搭配混合記憶體配置器，以及兩項升級前要先看的變更：棄用 Transformers v4、要求 C++20。

一句話看懂：開源推論引擎 vLLM 發布 0.21.0，新增多個模型與效能改進，但升級前要先看兩件事：Transformers v4 被正式棄用、建置改要 C++20 編譯器。

vLLM 0.21 升級重點資訊圖卡：推論引擎 vLLM 改版：舊版 Transformers 被棄用

先用白話講：vLLM 是什麼？

想像餐廳的廚房：你有一位很會做菜的大廚（AI 模型），但如果客人一多、每個人都要等大廚一道一道煮，就會大排長龍。vLLM 就像一套聰明的出餐系統，幫大廚安排順序、共用食材、同時處理多個訂單，讓同一位大廚能服務更多客人。

很多自己架 AI 服務的團隊，都會用 vLLM 來跑開源模型。

vLLM 在 5 月 15 日發布 0.21.0。官方說這個版本有 367 個提交、202 位貢獻者（其中 49 位是新貢獻者）。重點如下：

效能方面，官方列出 FlashInfer 的 top-k／top-p 取樣器預設啟用、AllPool.forward 快了 51%、多項 FP8 與 NVFP4 的核心優化
硬體支援涵蓋 NVIDIA（含 Blackwell 與 Thor／SM110 的 FP8）、AMD ROCm 7.2.2、Intel XPU、CPU（AMX／AVX-512）與 IBM Power
穩定性：加入兩階段暫停避免排程器死結、讓 HF 分詞器的封裝具備執行緒安全，並避免載入模型時記憶體不足
以上都是官方發布說明裡的項目，實際效果依硬體與模型而異，建議自己跑基準測試

我自己在家用 Ollama 跑本地模型，沒有用到 vLLM 這種等級的引擎，因為 vLLM 比較適合要同時服務很多人的情境。但看這類發布說明很有幫助：它讓我知道開源模型生態現在的重點，在於「更快、更省記憶體、更多硬體都能跑」。

給想自架的人一個建議：升級這類推論引擎前，一定要先看「破壞性變更」那一段。這次的 Transformers v4 與 C++20 都是很典型的例子，不看就升級，可能整個環境都要重做。

vLLM 是什麼？

一套很多人用來把大型語言模型「服務化」的開源引擎：讓模型能同時回應很多人的請求，並盡量用更少的顯示卡記憶體、更快的速度回答。

什麼是 Transformers v4？為什麼被棄用？

Transformers 是 Hugging Face 的模型函式庫。官方在這版正式棄用 v4 的支援，請使用者改用 v5。這版公告沒有進一步解釋原因。

我一定要升級嗎？

不一定。如果你用的是預先編譯好的版本，主要看 Transformers 的版本相不相容；如果你自己從原始碼編譯，編譯器必須支援 C++20。

有哪些效能改進？

官方列出多項，例如 FlashInfer 的 top-k／top-p 取樣器預設啟用、AllPool.forward 快 51%、新的 TOKENSPEED_MLA 後端（用於 Blackwell 的 DeepSeek-R1／Kimi-K25）。實際效果依硬體與模型而異。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。