觀點 · 資訊分享

vLLM 0.19.1 修補版出爐：集中修掉 Gemma 4 的工具呼叫與串流問題，並升級到 Transformers v5.5.3

開源推論引擎 vLLM 在 4 月 18 日發布 0.19.1，是 0.19.0 之上的修補版。發行說明列了 11 項變更，大部分和 Gemma 4 有關，包括串流工具呼叫的 JSON 錯誤、LoRA 載入與量化 MoE 支援。

一句話看懂：開源推論引擎 vLLM 發布 0.19.1 修補版，主要修的是 Gemma 4 在串流輸出與工具呼叫上的各種小毛病，順便升級了 Transformers。

vLLM 0.19.1 修補版資訊圖卡：在 0.19.0 上補了一批Gemma 4 的串流與工具呼叫問題

先用白話講：vLLM 是什麼？

想像 AI 模型是一位很會做菜的廚師，但只有他一個人，客人多了就會排隊。vLLM 就像一間設計很有效率的廚房：同一時間可以服務很多客人、上菜很快。它是開源的，很多人拿它來架自己的 AI 服務。

這次發布的 0.19.1 是修補版，也就是「修小毛病」的更新，不是大改版。

vLLM 在 4 月 18 日發布 v0.19.1，官方說明這是 v0.19.0 之上的修補版，包含 Transformers v5.5.3 升級，以及 Gemma 4 的錯誤修正。發行說明總共列了 11 項變更，其中大部分跟 Gemma 4 有關。

主要在 Gemma 4 的「工具呼叫」（讓模型呼叫外部函式）與串流輸出：

我家裡的 AI 主要用 Ollama，沒有直接用 vLLM，但看發行說明很有感：模型一支援新功能（工具呼叫、串流輸出），後面就會跟著一串小問題，像是 JSON 缺角、null 變字串，這些都是開發 AI 應用時最容易踩的坑。

如果你替客戶架 AI 服務，建議把「升級後重跑工具呼叫測試」列進流程：很多錯誤不會讓服務當機，而是默默回傳壞資料，等客戶發現就晚了。

vLLM 是什麼？

它是開源的 AI 模型推論引擎，專門把大型語言模型包成可以對外服務的 API，重點是跑得快、能同時服務很多人。

這次更新重要嗎？

如果你用 vLLM 跑 Gemma 4，尤其是會用到「工具呼叫」（讓模型呼叫外部函式）與串流輸出，這次修了不少相關問題，值得升級。其他人不一定需要。

什麼是串流工具呼叫的 JSON 錯誤？

模型一邊產生文字、一邊回傳要呼叫的工具與參數。如果中途的標記沒處理好，回傳的 JSON 就會缺角或多餘，導致程式解析失敗。發行說明列的修正就是處理這類問題。

升級要注意什麼？

這版升級了 Transformers 到 v5.5.3。如果你的環境有鎖定其他版本的套件，升級前先在測試環境確認相容性。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。