觀點 · 資訊分享

Ollama 0.31.2：舊款 NVIDIA 顯卡也能開 Flash Attention，內顯可卸載更多視覺模型

本地模型工具 Ollama 在 7 月 6 日釋出 0.31.2：Flash Attention 擴大到算力 6.x 的舊款 NVIDIA 顯卡、內顯能卸載視覺模型、修好關閉思考時的結構化輸出，並強化 GGUF 模型建立的安全性。

一句話看懂：Ollama 0.31.2 讓舊款 NVIDIA 顯卡也能開 Flash Attention，修好關閉思考時的結構化輸出，並加強了模型建立的安全性。

Ollama 0.31.2 更新重點資訊圖卡：舊款 NVIDIA 顯卡也能開 Flash Attention，建模型也更安全

先用白話講：Ollama 與這次更新

Ollama 是在自己電腦上跑開源 AI 模型的工具，像是一個「本地的模型管家」：你告訴它要哪個模型，它負責下載、載入、回答。

這種工具最考驗的是「各式各樣的硬體都要能跑」：新顯卡、老顯卡、筆電內顯、Apple 晶片。這次 0.31.2 的更新，大多是在照顧這些比較不起眼的硬體與使用情境。

Ollama 在 2026 年 7 月 6 日釋出 0.31.2，官方更新說明列出 7 項：

0.31.2 之前的 0.31.1（6 月 30 日）主打 Apple 晶片上的 Gemma 4 加速：官方說在一個程式代理的測試中，利用多 token 預測（MTP）平均快了近 90%，預設啟用、不需設定、也不改變模型輸出。這兩個版本合起來看，方向是「各種硬體都更好用」。

Flash Attention 在舊顯卡：官方只寫「算力 6.x」。如果你不確定自己的顯卡算力，可以到 NVIDIA 官網的 CUDA GPU 對照表查詢，升級後觀察顯示記憶體使用量與速度有沒有改善
結構化輸出：如果你的程式用 JSON Schema 等格式限制模型輸出、又把思考關掉，這個版本之前可能遇到格式不符的問題，升級後建議重新測試
GGUF：GGUF 是常見的模型檔案格式；官方只寫「Hardened GGUF model creation」，沒有說明具體防護內容，所以我也不推測細節
路徑：模型目錄在不同語系或掛載的磁碟上，路徑可能含有非 UTF-8 字元，這類環境升級後比較不容易載入失敗

我喜歡這類「照顧舊硬體」的更新。很多人嘗試本地 AI 時，手上其實是幾年前的顯卡或沒有獨顯的筆電，如果新版本只優化新硬體，大家就只能乾瞪眼。Flash Attention 擴大到舊顯卡，對想用有限的顯示記憶體多塞一點上下文的人是實在的幫助。

不過這種版本也有個提醒：沒有明確的安全公告，不必急著升級，但如果是正在使用中的環境，仍建議先在一台機器測過再全面更新，尤其是有依賴結構化輸出的服務。

Flash Attention 是什麼？

一種改良過的注意力計算方式，能讓模型在處理長內容時更快、也更省顯示記憶體。這次是把它開放給算力 6.x 的舊款 NVIDIA 顯卡（從算力編號看，大致是 GTX 10 系列那一代，這是我的對照，官方只寫了 6.x）。

「結構化輸出」出錯是什麼情況？

結構化輸出是指要求模型照指定格式（例如 JSON）回答。依更新說明，當使用者把思考模型的「思考」功能關掉時，這個格式限制先前會出問題，0.31.2 已修正。

需要馬上升級嗎？

沒有緊急的安全公告，這是一般性的更新。如果你用舊款 NVIDIA 顯卡、內顯，或遇過模型路徑、結構化輸出的問題，值得升級；其他人可依自己的維護節奏。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。