vLLM 0.29 把新執行器 MRV2 設為所有模型的預設：舊版預計 0.32 移除，指令與預設值也有調整

一句話看懂：開源推論引擎 vLLM 0.29 把新一代執行器 Model Runner V2 設為所有模型的預設，舊版 MRV1 進入棄用，預計 0.32 移除，升級前要先看有哪些預設值與指令變了。

先用白話講：vLLM 是什麼？

想像一間很熱門的餐廳，每天有上百位客人同時點餐。如果廚房每次只做一份，客人會等到天荒地老；高明的廚房會把訂單排好、同時開火，讓每個爐子都不閒著。

vLLM 就是 AI 模型的「高效廚房」：它是一個開源的推論引擎，把大型語言模型包成 API 服務，讓很多人可以同時使用，而且盡量把顯示卡的記憶體與運算力用滿。這次 0.29.0，是廚房換了一套新的「出餐流程」。

發生什麼事

vLLM 在 9 月 9 日發布 0.29.0，共 594 個提交、277 位貢獻者（其中 91 位是新人）。最大的改變是：

• Model Runner V2（MRV2）成為所有模型的預設，完成之前先從向量類（pooling）模型開始的推廣
• MRV1 被視為棄用，目標在 0.32 移除，官方說不再接受針對 MRV1 的改進
• 官方預計 2 到 3 週內補齊 MRV2 還沒支援的功能，包括序列平行、雙批次重疊、彈性專家平行、自訂 logits 處理器與部分推測式解碼；在那之前，設定了這些功能，vLLM 仍會退回用 MRV1

新增與預設值的改變

要注意的移除與棄用

• 移除十個已棄用的模型架構
• FlexOlmo、Olmo3、Hunyuan V1/VL 改走 Transformers 建模後端
• 移除 PyAV 影片解碼後端
• python -m vllm.entrypoints.openai.api_server 被棄用，改用 vllm serve
• 移除環境變數 VLLM_TEST_FORCE_FP8_MARLIN 與 VLLM_ROCM_USE_AITER_FP4_ASM_GEMM

給開發者的技術細節

安裝與升級（預設是 CUDA 13.0）：

pip install -U vllm
docker pull vllm/vllm-openai:v0.29.0

• 需要 CUDA 12.9 的環境，用 vllm/vllm-openai:v0.29.0-cu129；也有 ROCm、CPU、XPU 的映像檔
• 啟動服務請用 vllm serve <模型>；要控制排隊長度，可加上 --max-num-queued-reqs（數值請依自己的流量決定）
• 推測式解碼可用 --per-request-spec-decode-metrics，在 OpenAI 相容的回應中取得每個請求的接受統計
• 官方也在 release 說明提供了 MRV2 尚未支援功能的追蹤頁面，升級前可以對照自己的設定

我的看法

我自己平常用 Ollama 在家裡的機器跑本機模型，vLLM 比較像是「正式上線、需要多人同時用」才會碰的工具。但這種「預設引擎換代」的版本，我覺得很值得看：不是因為它加了多炫的功能，而是升級後的行為差異，通常會出現在不太顯眼的地方，例如某個參數被棄用，或者某個功能悄悄退回舊的執行路徑。

如果你有自架 vLLM 服務，我會建議先在測試環境跑一遍自己真正用的設定與模型，看日誌有沒有出現退回 MRV1 或棄用的警告，再決定要不要升級到正式環境。官方既然說 MRV1 預計 0.32 移除，現在就該開始把依賴舊行為的設定整理好。

名詞小辭典

• 推論（Inference）：模型訓練好之後，用來回答問題、產生內容的階段。
• TTFT：Time To First Token，從送出請求到收到第一個字的時間，越短越有「即時」感。
• 前綴快取（Prefix Cache）：把重複出現的開頭內容先處理好存起來，下次遇到相同開頭就不用重算。
• MoE（混合專家）：模型分成很多個專家，每次只動用其中一小部分，所以總參數很大、實際運算量卻較小。

資料來源

• vLLM GitHub Release：v0.29.0（2026-09-09）