觀點 · 資訊分享

Cloudflare AI Gateway 新增「花費上限」：用美元設預算，超過就自動擋下請求

Cloudflare 的 AI Gateway 現在能依實際花費（美元）設定預算，可以按模型、供應商或自訂標籤分開計算，超標的請求會被直接擋掉，不再只是限制次數。

一句話看懂：Cloudflare 的 AI Gateway 現在能直接設「花費上限」，用美元管預算，超過就自動擋下請求，不再只能限制次數。

AI Gateway 可設美元花費上限資訊圖卡：不只限制「問幾次」，現在能直接限制「花多少錢」，超標就擋

先用白話講：花費上限是什麼？

想像你給小孩一張悠遊卡，儲值 200 元就是 200 元，花完就刷不過。這比「每天最多搭 5 趟」更貼近你真正在意的事：不是搭幾次，而是花了多少錢。

AI Gateway 是 Cloudflare 提供的一道「閘道」，讓你的程式呼叫 AI 模型時先經過它，方便統一管理、觀察與控管。這次新增的花費上限（spend limits），就是在這道閘門上加一張「儲值卡」：累計花費超過預算，閘門就不再放行。

Cloudflare 在 6 月 5 日的更新日誌宣布：AI Gateway 支援以成本為基準的預算。重點有這些：

官方舉的例子很好懂：每位用戶每天 200 美元、整個閘道每天最多 10,000 美元、或是限制某個模型每人每天 50 美元。

舉個自己換算的例子：一次呼叫便宜小模型和一次呼叫昂貴大模型，在次數限制下都算「1 次」，但在花費上限下，後者會更快用掉預算。

接案時常遇到客戶想「加個 AI 功能」，但最擔心的永遠是帳單：萬一程式寫錯跑進無限迴圈，或是被人拿去濫用，月底收到一張嚇人的帳單。過去能做的多半是限制次數，可是次數跟錢不是同一件事。

能直接用美元設上限，對小團隊和自架服務的人是實用的保險。不過要記得：價格未知的模型不一定能被計算，所以上線前最好實測一次「到底會不會擋」，不要只相信設定畫面。

AI Gateway 的花費上限跟速率限制差在哪？

速率限制只管「一段時間內最多幾次請求」，不管每次花多少；花費上限則依 token 用量和模型價格算出美元金額，累計超過預算才擋。

可以怎麼分組設定上限？

官方說可以依模型、供應商，或自訂的中繼資料（metadata）維度來設定，例如每位用戶一個預算、整個閘道一個總預算。

所有模型都能設花費上限嗎？

不是。官方寫明適用於價格已知的模型，並且同時支援 Unified Billing 與自帶金鑰（BYOK）兩種請求。價格未知的模型能不能計算，官方這則公告沒有說明。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。