觀點 · 資訊分享

Ollama 0.40.14:用 OpenAI SDK 呼叫本機模型,沒設 temperature 不再被當成 1.0

Ollama 在 11 月 3 日發布 v0.40.14:OpenAI 相容介面沒帶 temperature、top_p 時,改用模型自己的預設值,不再一律套 1.0;用 ollama launch 開 Claude Code 的雲端模型也不會再卡在 128k 輸出上限。

發布
2026-11-03
篇幅
約 4 分鐘 · 1,708 字
結構
7 節 + 3 題常見問題
標籤
#Ollama#本地模型#OpenAI 相容 API#Claude Code
Ollama 0.40.14:用 OpenAI SDK 呼叫本機模型,沒設 temperature 不再被當成 1.0

一句話看懂:Ollama v0.40.14 讓 OpenAI 相容介面在沒設參數時,改用模型自己的預設值,不再一律套 1.0。

Ollama v0.40.14 重點整理資訊圖卡:用 OpenAI 格式呼叫本機模型,沒設參數就照模型原本的調校

先用白話講:temperature 預設值是什麼?

想像你買了一台咖啡機,廠商出廠時已經把研磨粗細、水溫調到最適合這款豆子的位置。結果你用某個遙控器操作它,遙控器沒設定的項目,一律被改成「最大值」,咖啡就跟廠商原本調的味道不一樣了。

temperature 就是 AI 模型的「隨機度旋鈕」:數字越高,回答越有變化,也越容易亂講。很多模型在 Ollama 上架時,會附帶自己建議的旋鈕位置。

OpenAI 相容介面就是那個遙控器:Ollama 讓你用 OpenAI 的 SDK 和格式來呼叫本機模型,方便把原本接 OpenAI 的程式直接換成本機模型。

發生什麼事

Ollama 在 11 月 3 日發布 v0.40.14,更新說明列了 7 個項目,跟開發者最相關的是這幾個:

  • OpenAI 相容介面尊重模型預設值:請求沒帶 temperature / top_p 時,改用模型打包時附帶的值,不再用 1.0,和 Ollama 原生的 /api/chat 行為一致
  • ollama launch claude:會套用模型本身的輸出 token 上限,雲端模型不再卡在 128k 的預設上限
  • /v1/responses:保留可讀的輸入內容(包含先前助理的拒答),不再被壓平
  • ollama launch codex:設定前先確認 ChatGPT 路由可用,不可用時回報清楚的錯誤
  • 其他:雲端網頁搜尋回應(含壓縮)能正確解碼、App 的 ChatGPT 斷線可重試、MLX 上大詞彙表的 top-k 取樣變快

升級後會影響誰?

你的用法 升級後的變化
OpenAI SDK、沒帶 temperature 回答風格可能改變(改用模型預設值)
OpenAI SDK、有明寫 temperature 不受影響
直接打 /api/chat 不受影響(本來就用模型預設值)
用 ollama launch 開 Claude Code 雲端模型能用到更長的輸出

第一種情況最需要注意:你什麼都沒改,升級後結果卻不一樣。這不是壞掉,是行為修正了。

給開發者的技術細節

想讓結果穩定、不受預設值變動影響,就在請求裡明寫參數:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="qwen3",
    messages=[{"role": "user", "content": "幫我分類這封客服信"}],
    temperature=0.2,
)
  • 想維持舊行為,就明寫 temperature=1.0
  • 做分類、抽取這種要穩定的工作,建議自己指定較低的值,不要依賴任何預設
  • 同一天稍晚另有 v0.40.15-rc0 預先發布版,加入 MiMo V2.6 模型支援,以及 Linux 上 MLX 直接載入內附的 CUDA 函式庫;預先發布版不建議直接上正式環境

我的看法

自架 Ollama 的人,很多小工具都是用 OpenAI SDK 寫的,換個 base_url 就能接本機模型,很方便。但「沒帶參數會被套 1.0」這種差異,平常很難發現:同一個模型,從 /api/chat 打和從 OpenAI 介面打,回答品質就是不太一樣,很容易誤以為是模型本身不穩。

這次修正之後兩邊一致,是好事。不過也提醒一件事:做給客戶的功能,參數一律自己寫死,不要依賴任何一方的預設值。預設值會隨版本變,你的輸出也會跟著變,等客戶發現才去查就晚了。

名詞小辭典

  • Ollama:在自己電腦或伺服器上執行開源 AI 模型的工具,一行指令就能下載和啟動模型。
  • temperature:控制 AI 回答隨機程度的參數,越低越穩定、越高越有變化。
  • top_p:另一個控制隨機程度的參數,只從機率加總到某個比例的候選字裡挑。
  • OpenAI 相容介面:照 OpenAI API 格式設計的介面,讓原本接 OpenAI 的程式不用大改就能換成別的模型。

資料來源

常見問題

temperature 是什麼?為什麼預設值很重要?
temperature 控制 AI 回答的隨機程度,數字越高越有創意、也越容易飄。很多模型發布時會附上建議的預設值,如果被強制改成 1.0,回答品質可能跟作者原本調校的不一樣。
升級後我的程式結果變了,怎麼辦?
如果你原本沒帶 temperature,等於以前用的是 1.0,現在改成模型預設值。想維持舊行為,就在請求裡明寫 temperature: 1.0;想要穩定結果,就自己指定一個值。
這次有新模型嗎?
v0.40.14 本身是修正版,沒有加新模型。同一天稍晚另有 v0.40.15-rc0 測試版,加入 MiMo V2.6 支援,但那是預先發布版,正式版可能還會調整。
LINE