vLLM 0.25.0：新執行器成為密集模型的預設，舊的 PagedAttention 實作被移除

一句話看懂：自架 AI 推理伺服器 vLLM 釋出 0.25.0，新的 Model Runner V2 成為密集模型的預設執行器，舊的 PagedAttention 實作被刪除，Transformers 後端也追上原生速度。

先用白話講：vLLM 是做什麼的？

想像一間餐廳廚房，大廚（AI 模型）很厲害，但如果點餐單進來的順序亂、備料放得亂、爐子一次只煮一道菜，客人再多也出不了餐。vLLM 就是幫廚房做「流程管理」的系統：把很多人的問題排好隊、重複的備料共用、讓爐子同時煮很多道菜，讓同一台機器能服務更多人。

它是開源的 AI 推理引擎，很多人拿它來自己架 AI 服務。和一鍵安裝、適合在自己電腦上玩模型的 Ollama 比起來，vLLM 更偏向「伺服器端、同時服務很多請求」。

發生什麼事

vLLM 在 7 月 11 日（UTC）釋出 0.25.0，版本說明寫的規模是：558 個提交、232 位貢獻者，其中 64 位是新人。幾個主要改動：

• Model Runner V2（MRv2）成為所有密集模型的預設：這是 vLLM 新一代的執行流程。官方補充，這版也為它加入即時嵌入、Mamba 混合模型的前綴快取、動態推測解碼等支援
• PagedAttention 被移除：這是 vLLM 早期的招牌技術，管理注意力記憶體的方式。官方的理由是新的 V1 與 MRv2 後端已是標準路徑，舊實作可以刪掉
• Transformers 建模後端追平原生速度：也就是直接用 Hugging Face Transformers 格式的模型，現在跑起來和 vLLM 自己寫的版本一樣快，同時新增 FP8 MoE 支援
• 新的 Streaming Parser Engine：把「解析工具呼叫」與「解析推理過程」整合成統一框架，新增 Kimi k2.5、k2.6、k2.7 的解析器，也移植了 seed_oss 與 DeepSeek V4 的
• 通用推測解碼：讓詞彙表不同的草稿模型與主模型也能配合

新支援的模型

版本說明列出的新增模型包含：LLaVA-OneVision-2、Unlimited OCR、MOSS-Transcribe-Diarize、openai/privacy-filter、Hy3。GLM-5 與 DeepSeek-V3.2 也進入模型清單，並有 GLM-5.2 的調校；MiniMax-M3 則新增管線平行與 NVFP4 支援。

另外也有 Gemma 4 的注意力修正，以及 DiffusionGemma 的張量平行支援。

硬體方面

• AMD ROCm：改用 torch 2.11 的穩定 ABI
• CPU：加速 AArch64 上的未量化 MoE，並修好 macOS／Apple Silicon 上卡住的問題
• RISC-V、Intel XPU 與 NVIDIA Blackwell 也各有優化

給開發者的技術細節

• 升級前先看完整的版本說明，特別是移除與棄用的部分，例如舊的 FP8 線上 MoE 量化類別已被標為棄用
• 如果你有自訂的注意力後端、外掛或寫死舊設定的啟動腳本，要先在測試機驗證
• 想看 MRv2 的效果，建議自己用實際的模型與流量壓測，版本說明裡的百分比提升（例如部分優化為 1.9% 到 5.0%）是個別項目，不能直接當成整體加速

我的看法

對一般人來說，這類版本更新比較像「引擎蓋下面的大工程」：看起來沒有新功能，但移除舊程式碼、統一路徑，通常代表之後維護與新模型支援會更快。

不過如果你像我一樣，自己在家用 NAS 或小主機跑本地模型，大多數時候 Ollama 就夠用了。vLLM 比較適合有 GPU 伺服器、需要同時服務很多使用者的情況。真的要升級，也別直接動正式服務：先開一台測試機，用自己的模型跑過一遍，再決定。

名詞小辭典

• 推理（Inference）：已訓練好的 AI 模型，接收問題並產生回答的過程。
• PagedAttention：vLLM 早期用來有效管理注意力記憶體（KV 快取）的技術，類似把記憶體切成小頁面來用。
• 推測解碼（Speculative Decoding）：先讓小模型快速猜幾個字，再由大模型一次驗證，加快產生速度的技巧。
• MoE（混合專家）：一種模型架構，每次只啟動其中一部分「專家」，省運算量。

資料來源

• GitHub：vLLM v0.25.0 Release Notes