觀點 · 資訊分享

Ollama 加入 d3 決策模型:本機就能做分類、是非題與評分,最小 2B 版約 3.6GB 記憶體

Ollama 0.40.11 在 10 月 24 日帶進 vLLM Semantic Router 的 d3 決策模型。它不聊天,只回答「分到哪一類、是或不是、幾分」,有 2B 到 27B 四種大小,Apache 2.0 授權,可以在自己的電腦上跑。

發布
2026-10-25
篇幅
約 4 分鐘 · 1,724 字
結構
8 節 + 4 題常見問題
標籤
#Ollama#d3#決策模型#本地 AI#vLLM Semantic Router
Ollama 加入 d3 決策模型:本機就能做分類、是非題與評分,最小 2B 版約 3.6GB 記憶體

一句話看懂:Ollama 0.40.11 新增 d3 決策模型家族,它不聊天也不寫文章,只回答「分到哪一類、是或不是、幾分」,有四種大小、Apache 2.0 授權,可以在自己的電腦上跑。

Ollama 新增 d3 決策模型資訊圖卡:不寫文章、只做 選擇題:分類、是非判斷、評分,本機就能跑

先用白話講:決策模型是什麼?

想像公司收發室有一位分信員。他不回信、不寫報告,只做一件事:看一眼信封,把信丟進正確的格子,還會順便告訴你「我有八成把握是這一格」。

決策模型就是這樣的 AI:你給它一段文字、一份結構化資料或一張圖片,再給它幾個選項,它回傳每個選項的分數與機率,不會自己寫一大段回答。d3 就是這類模型的家族,來自 vLLM Semantic Router。

發生什麼事

Ollama 在 10 月 24 日釋出 0.40.11 版,把 d3 帶進來,同一版還新增了 macOS 上的語音生成功能。

  • d3 有 2B、4B、9B、27B 四種大小
  • 輸入可以是文字、結構化資料或靜態圖片;影片與框選、追蹤類的判斷目前不支援
  • 一次請求可以對同一份輸入問好幾個問題
  • 官方頁面舉的用途:分流客服請求、整理文件、排序案件、檢查圖片是否符合條件

該選哪個大小?

型號 適合 測試用的 Apple Silicon 機器 載入後記憶體
2B 快速的本機分類與分流 8GB 3.62GB
4B(預設) 一般用途 16GB 5.63GB
9B 較難、需要更多容量的判斷 32GB 10.09GB
27B 這個家族裡準確度最高 64GB 28.61GB

記憶體數字是 Ollama 在 Apple Silicon 上用預設的 MXFP8 封裝、4,096 token 脈絡測得的尖峰值,其他系統的封裝和用量會不同。

給開發者的技術細節

ollama run d3 "客戶說他被重複扣款了。" --ask "這該交給哪個團隊?" --choice 'billing=帳務' --choice 'returns=退換貨' --choice 'technical=技術問題'
  • 需要 Ollama 0.40.9 以上;也可以用 API(/v1/systemone)或 Python、JavaScript 的 ollama 套件呼叫
  • 官方頁面提醒:d3 是對「你提供的選項和等級」打分,選項寫得越清楚越準,尤其是答案會觸發動作的時候
  • 分數與機率是模型輸出,不保證等於真實世界的發生頻率,設定門檻前要用自己的資料驗證
  • 這些封裝使用 4,096 token 的脈絡,授權是 Apache 2.0
  • 官方公布的 Jev Decision Index 0.3.2 分數(原始檢查點,不是 Ollama 量化版):文字指數 2B 為 38.9、4B 為 52.6、9B 為 55.8、27B 為 66.3;圖片指數則為 54.7、63.2、66.9、71.3

同一版還有什麼?

Ollama 0.40.11 也讓 macOS 能生成語音:ollama run 會邊生成邊播放文字或聊天模型的回覆,App 也能透過相容 OpenAI 格式的 /v1/audio/speech 取得串流音訊。

我的看法

很多中小企業的系統都有「分類」需求:客服信件分流、表單歸類、留言審核。這類工作用大型聊天模型太殺雞用牛刀,用規則寫又很難涵蓋所有情況。d3 這種小模型的價值在這裡:4B 版約 5.6GB,在 16GB 記憶體的機器上就能跑,資料也不必離開自己的電腦。前幾天 OpenAI 才推出雲端的 Decisions API,現在本機也有同類的選項,可以依資料敏感度和成本來選。

不過我會保持一點保留:官方的跑分是原始檢查點的成績,不是 Ollama 量化版;分數也不等於真實機率。要放進正式流程之前,我會用自己的真實資料抽測一輪,看準確率、速度和誤判的後果,再決定門檻。信心不夠的案例,一律轉人工,不要讓模型的分數直接觸發不可逆的動作。

名詞小辭典

  • 決策模型:專門回答選擇題、是非題和評分題的 AI,輸出的是選項與機率,不是一段文字。
  • 量化(Quantization):把模型的數字壓成更省空間的格式,模型變小、速度變快,準確度可能略降。
  • 分流(Routing):根據內容決定要交給哪個團隊或流程處理。
  • Apache 2.0:寬鬆的開源授權,允許商用、修改與散布,但要保留授權聲明。

資料來源

常見問題

d3 跟一般的 AI 聊天模型有什麼不同?
d3 不產生對話式的長篇回答,而是針對你提供的選項,回傳每個選項的分數與機率。適合分流客服、整理文件、排序案件,或檢查圖片是否符合某個條件。
該選哪一種大小?
依 Ollama 頁面的建議:2B 適合快速的本機分類與分流(測試機 8GB),4B 是一般用途的起點(16GB),9B 處理較難的判斷(32GB),27B 是這個家族準確度最高的(64GB)。預設的 d3 就是 4B。
怎麼在 Ollama 上使用?
需要 Ollama 0.40.9 或更新版本。在終端機執行 ollama run d3 並用 --ask 與 --choice 提供問題與選項;也能透過 API 或 Python、JavaScript 的 ollama 套件呼叫。
d3 的分數可以當成真實機率嗎?
不行。Ollama 頁面明確寫了,分數與機率是模型的輸出,不保證等於真實世界的發生頻率;而且選項與等級的描述要寫清楚,尤其當答案會觸發動作時。設門檻之前要用自己的資料驗證。
LINE