觀點 · 資訊分享

llama.cpp 週末更新:GLM-5.2 終於能載入,CORS 代理也不再轉送你的登入標頭

llama.cpp 週末(UTC)釋出 18 個版本,重點有三:GLM-5.2 的 GGUF 能載入了、內建 CORS 代理預設不再轉送認證與 Cookie 標頭、新增模型載入進度的即時串流。

發布
2026-06-21
篇幅
約 4 分鐘 · 1,895 字
結構
7 節 + 4 題常見問題
標籤
#llama.cpp#GLM-5.2#本地模型#MCP
llama.cpp 週末更新:GLM-5.2 終於能載入,CORS 代理也不再轉送你的登入標頭

一句話看懂:llama.cpp 週末一口氣釋出 18 個版本,其中三件事值得知道:GLM-5.2 的 GGUF 終於能載入、內建 CORS 代理預設不再轉送你的登入標頭、模型載入進度可以即時查看。

llama.cpp 週末更新重點資訊圖卡:GLM-5.2 能載入了,CORS 代理也不再轉送你的登入標頭

先用白話講:llama.cpp 是什麼?

想像家裡有一台很舊的電腦,你想請一位很會算的大腦(AI 模型)搬進來住。llama.cpp 就是那間「改裝好的房子」,讓大型語言模型在一般電腦上也能順利運轉。很多人用的 Ollama 這類工具,底層也是它。

這個專案的更新速度很快,一天常有好幾個版本(以 b9738 這種編號稱呼)。所以不用每個都追,挑重點看就好。

發生什麼事

在 6 月 20 日與 21 日(UTC),llama.cpp 共釋出 18 個版本。我挑了四項:

  • b9736(6 月 20 日):GLM-5.2 能載入了。之前載入 GLM-5.2 的 GGUF 檔會失敗,錯誤是找不到某個索引器張量。原因是 GLM-5.2 只在一部分層放 DSA 索引器,舊程式卻要求每一層都要有。修正後把這些張量改成選用
  • b9738(6 月 20 日):CORS 代理不再轉送認證標頭。內建的 CORS 代理預設忽略收到的請求標頭,只轉送明確加上 x-proxy-header- 前綴的標頭。這樣 llama-server 自己的認證與 Cookie 不會被一起轉給目標伺服器,需要認證的 MCP 伺服器仍可以明確指定標頭
  • b9745(6 月 21 日):新增 Step3.5/3.7 Flash 的 mtp3(多詞元預測)推測式解碼支援
  • b9747(6 月 21 日):新增 /models/sse,可以即時串流模型載入進度,例如載入到百分之幾

GLM-5.2 的但書

b9736 的 PR 說明寫得很誠實:DSA 索引器的執行部分目前還沒有實作,這些索引器張量只是「載入了但沒用到」,模型是當作一般的 MLA 注意力在跑。我的理解是:它能用,但不一定能享受到官方設計中針對長上下文的效率,實際速度與品質要自己測。另外 GLM-5.2 本身體積很大,能載入不代表你的電腦跑得動。

給開發者的技術細節

  • CORS 代理的新行為:預設只轉送 x-proxy-header-* 開頭的標頭,例如要替目標伺服器帶授權,就用 x-proxy-header-authorization
  • –agent 參數:6 月 19 日的 b9726 新增,一次開啟 CORS 代理與內建工具,這次的修正主要影響這個使用情境
  • 前端也同步調整:MCP 診斷畫面用到的標頭,在啟用代理時會被包成 x-proxy-header-*,記錄時也會遮蔽,不會以明文出現
  • 載入進度:/models/sse 會依序送出載入階段與進度數值,適合做自己的管理介面

我的看法

我覺得 b9738 是最值得放進「記得更新」清單的一項。把本地模型接上 MCP 之後,伺服器自己的金鑰跟 Cookie 被當成一般標頭轉出去,是很容易被忽略的洩漏點,預設改成「不轉送」才是對的方向。

至於 GLM-5.2,我會當成「能載入」的里程碑,而不是「可以放心用」。自架的朋友實際要看三件事:硬體夠不夠、速度能不能接受、結果跟官方 API 差多少。更新前也別忘了先備份現有的啟動參數,這種週更好幾版的專案,偶爾會有參數改名。

名詞小辭典

  • GGUF:llama.cpp 使用的模型檔格式,通常是壓縮過、方便在一般電腦跑的版本。
  • CORS 代理:替網頁轉送跨網域請求的中間人,因為瀏覽器預設不讓網頁直接連到別的網站。
  • MCP:讓 AI 連接外部工具與資料的通用協定。
  • 推測式解碼(Speculative Decoding):先用小模型快速猜幾個字、再由大模型一次驗證,藉此加快產生速度的技巧。

資料來源

常見問題

llama.cpp 是什麼?
一個讓大型語言模型能在一般電腦上跑起來的開源程式,Ollama 等許多本地 AI 工具的底層就是它。llama-server 是它內建的伺服器,提供類似 OpenAI 的介面。
GLM-5.2 現在能在 llama.cpp 跑了嗎?
能載入並生成文字,但有但書:PR 說明目前沒有實作 DSA 索引器,是當作一般的 MLA 注意力在跑,所以速度或長上下文效率可能和官方架構的設計不同。另外這個模型體積很大,要先看自己的硬體。
「CORS 代理」是做什麼的?為什麼要改?
網頁介面連到別的網站的 MCP 工具時,瀏覽器會擋跨網域請求,llama-server 的 CORS 代理就是替它轉送。舊行為可能把 llama-server 自己的認證與 Cookie 一起轉給目標網站,新版預設只轉送你明確指定的標頭。
我需要更新嗎?
如果你用 llama-server 的網頁介面接 MCP、或開了 --agent,建議更新到 b9738 以上;只用命令列推論的人影響不大。
作者

韓滷 · 全端系統工程師

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。

LINE