觀點 · 資訊分享

vLLM 0.20.2 小修版：補上 DeepSeek V4 卡死、gpt-oss 編譯與 Qwen3-VL 高負載的 4 個問題

自架大型語言模型推論引擎 vLLM 在 5 月 10 日發布 0.20.2，是只有 6 個提交的小型修補版：修正 DeepSeek V4 開啟 MTP 時卡住、KV 區塊配置失敗、gpt-oss 的 MXFP4 搭配 torch.compile 與 Qwen3-VL 高負載失敗。

一句話看懂：vLLM 0.20.2 是只有 6 個提交的小型修補版，補上 DeepSeek V4 卡住、KV 區塊配置失敗、gpt-oss 編譯與 Qwen3-VL 高負載失敗等 4 個問題。

vLLM 0.20.2 小修版資訊圖卡：只有 6 個提交，修了三個模型的實際使用問題

先用白話講：vLLM 在做什麼？

如果把大型語言模型比喻成一位很會回答問題的專家，vLLM 就是替專家排隊的「櫃台」：同時有很多人來問，它負責安排誰先問、怎麼最有效率地使用顯卡。

這次是櫃台系統的小修版，修的是幾個特定專家（模型）搭配櫃台時才會出現的問題。

vLLM 在 5 月 10 日發布 v0.20.2。官方說明這是一個小型修補版，有 6 個提交、6 位貢獻者（0 位新人），針對 DeepSeek V4、gpt-oss 與 Qwen3-VL 修正問題。

模型	修正內容
DeepSeek V4（稀疏注意力）	重新啟用 Hopper 上的 persistent topk 路徑，並確保 memset kernel 在 CUDA graph 擷取時執行，修好 MTP=1 卡住的問題
DeepSeek V4（KV cache）	修正 V1 引擎 KV cache 管理器「無法配置 KV 區塊」的錯誤
gpt-oss	讓 MXFP4 搭配 torch.compile 能正常運作
Qwen3-VL	移除一個在高負載下可能失敗的無效 deepstack 邊界檢查

官方說 DeepSeek V4 的 topk 路徑修正，本質上是「還原」先前的一個變更（公告標示為對 #41605 的 revert），代表上個版本的最佳化帶來了回歸問題，這是我的解讀
gpt-oss 的修正是把 hidden_dim_unpadded 傳進 moe_forward 的 fake op，並標示是 #41646 的回補
補丁版升級通常風險較低，但自架服務仍建議先在測試環境用自己的模型與流量跑一遍

以上三點是我的通用建議，不是官方公告的步驟。

自架推論服務的人最怕的就是「模型一換、引擎就卡」。這種只有 6 個提交的補丁版很適合練習升級流程：先看公告，確認自己有沒有用到列出的模型，再決定升不升。

另外，這份公告提到的 DeepSeek V4 與 Hopper 顯卡，多半是資料中心等級的硬體；家用顯卡的人，通常更關心 gpt-oss 與 Qwen3-VL 這兩項。實際會不會遇到，仍要看自己的設定。

vLLM 是什麼？

一套開源的大型語言模型推論引擎，重點是在顯卡上高效率地服務很多請求。很多人用它自架 OpenAI 相容的 API 服務。

我需要升級嗎？

如果你沒有用到 DeepSeek V4、gpt-oss 或 Qwen3-VL，這版對你影響不大。有用到的人，若遇過卡住、KV 區塊配置失敗或高負載失敗，這版是針對這些問題的修正。

MTP 與 MXFP4 是什麼？

MTP 是多 token 預測，用來加速生成；MXFP4 是一種低位元的數值格式，用來縮小模型與加速計算。公告只說這次修的是它們搭配特定模型或編譯時的問題。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。