觀點 · 資訊分享
騰訊開放 UI-Mate 電腦操作模型：只看螢幕截圖就能點滑鼠、打鍵盤，OSWorld-Verified 拿 77.0%
騰訊把 27B 與 9B 的電腦操作模型 UI-Mate 放上 Hugging Face，Apache 2.0 授權。它看螢幕畫面決定下一步，可以用 vLLM 自己架，但官方也提醒要在隔離環境使用。
- 發布
- 2026-08-15
- 篇幅
- 約 4 分鐘 · 1,671 字
- 結構
- 9 節 + 3 題常見問題
- 標籤
一句話看懂：騰訊公開了能「看螢幕截圖、操作滑鼠鍵盤」的電腦操作模型 UI-Mate，Apache 2.0 授權，能自己架，但官方也提醒只適合在隔離環境裡試。
先用白話講：電腦操作模型是什麼？
一般的 AI 聊天，是你打字、它回字。電腦操作模型（GUI Agent）更像一位坐在你電腦前的實習生：它每一步都先「看一眼螢幕」，想一想下一步要點哪裡、輸入什麼，然後真的動滑鼠、敲鍵盤。
它的好處是不需要軟體提供 API。只要畫面上看得到按鈕，它就有機會操作，所以能處理很多老舊、沒有開放介面的軟體。
發生什麼事
騰訊 HY Frontier 團隊在 8 月 14 日於 Hugging Face 公開 UI-Mate 系列，共三款：
| 版本 | 用途 |
|---|---|
| UI-Mate-27B | 270 億參數的一般電腦操作 |
| UI-Mate-9B | 90 億參數的一般電腦操作 |
| UI-Mate-democua-27B | 能參考「示範」來操作的版本 |
27B 版以 Qwen3.6-27B 為基底，經過監督式微調，再用線上強化學習在可執行的 GUI 環境中訓練，授權為 Apache 2.0。
它怎麼運作？
- 輸入：任務指令、螢幕截圖、操作歷史
- 輸出：推理過程、一句操作說明，以及結構化的動作，包含滑鼠、鍵盤、捲動、等待、詢問使用者、結束任務
- 動作格式相容
pyautogui，也就是 Python 常用的自動操作滑鼠鍵盤的套件 - 它看的是「即時畫面」而不是背座標，畫面變了會重新規劃
成績與限制
模型卡公布 27B 的成績：
| 測驗 | 得分 |
|---|---|
| OSWorld-Verified（平均分數） | 77.0 |
| WindowsAgentArena（平均分數） | 66.2 |
| OSWorkerBench（完整成功率／進度） | 41.00／76.86 |
官方同時強調：成績不保證在任意環境都穩定，軟體版本、畫面配置、縮放比例與延遲都可能影響結果。
後續（8 月 16 日）：技術報告上架 arXiv，其中提到在 33 題自我示範子集上，只多給一次示範，完整成功率就從 17.2% 提升到 35.4%，進度從 67.9% 提升到 81.1%。
給開發者的技術細節
官方範例用 vLLM 架設，並提供參考程式（GitHub 的 UI-Mate 專案）：
vllm serve tencent/UI-Mate-27B \
--trust-remote-code \
--served-model-name UI_Mate \
--tensor-parallel-size 2 \
--limit-mm-per-prompt '{"image":6,"video":0}'
- 範例的
--tensor-parallel-size 2代表用 2 張顯示卡分攤，硬體門檻不低 - 預設代理會保留最近 5 張截圖，所以伺服器要允許至少 6 張圖，因為新截圖會比最舊的先進來
- 模型本身只輸出「該做什麼」，真的去執行動作的是外部程式，官方建議使用 UI-Mate 專案提供的提示詞、解析器與互動流程
安全提醒
官方在模型卡特別列出建議：
- 優先用隔離或用完即丟的環境
- 避免無人看管、高風險或會破壞資料的流程
- 敏感操作前要有人確認
- 盯著操作過程，並檢查最後的結果，不要把模型回報的「成功」當成證據
我的看法
我自己平常會用本地 AI 做些自動化，所以對「能自己架的電腦操作模型」很有興趣，因為它可以處理沒有 API 的老系統，例如客戶那套只能用滑鼠點的舊後台。
不過我會把它放在「實驗」階段：77.0 分也代表還是有不少任務會失敗，而且碰到提示注入或誤點刪除，後果比聊天機器人嚴重得多。如果真要試，我會開一台虛擬機、用測試帳號，先讓它做可復原的小任務，確認穩定後再談擴大使用。
名詞小辭典
- 開放權重：把訓練好的模型檔案公開，任何人都能下載後自己執行。
- GUI Agent：能看畫面並操作圖形介面的 AI 代理。
- 強化學習：讓 AI 在環境中反覆嘗試，靠成功與失敗的回饋學會做得更好。
- 提示注入（Prompt Injection）：有人把惡意指令藏在網頁或文件裡，騙 AI 照做。