觀點 · 資訊分享

Thinking Machines 開放 Inkling 權重：9750 億參數，圖片、聲音都能看懂，Apache 2.0 授權

Thinking Machines 把 Inkling 的權重放上 Hugging Face：總參數 975B、每次只啟用 41B，能吃文字、圖片和聲音，脈絡長達 100 萬 token。模型很大，但有 1-bit 量化版可以試。

一句話看懂：Thinking Machines 把 Inkling 的權重放上 Hugging Face：總參數 9750 億、能吃文字、圖片和聲音，授權是 Apache 2.0，任何人都能下載。

Inkling 開放權重，圖文音都能懂資訊圖卡：近 1 兆參數、能看圖也能聽聲音的模型，權重公開下載

先用白話講：「開放權重」和「專家混合」是什麼？

AI 模型的「權重」可以想成它學了好幾個月之後留下的筆記。大多數公司只讓你透過網路問問題，筆記不給你看；開放權重則是把整本筆記放出來，你可以下載回去自己架、自己改。

另外，Inkling 用的是 Mixture-of-Experts（專家混合） 架構。想像一間有 256 位專家的顧問公司：每個問題進來，只請最對口的幾位出馬，其他人休息。所以公司再大，每次實際動用的人力也只有一小部分，回答比較快。

Hugging Face 在 7 月 15 日的部落格文章宣布 Thinking Machines 的 Inkling 上架：

Hugging Face 的文章形容它是第一個約 1 兆參數、1M 脈絡、而且原生接收圖片文字聲音的大型開放模型。這是他們自己的說法，我沒有逐一比對其他模型。

跑不動，先講結論。官方文章給的數字：

1-bit 版的 95% 如果照字面粗算，大約還是 100 GB 上下（自行換算），一般家用顯示卡依然不夠。而且壓得這麼狠，品質多少會打折，官方文章也只說它還保有一部分的準確度，沒有宣稱跟原版一樣好。

比較實際的路線，是透過 Hugging Face Inference Providers 這類雲端服務先試用，看模型適不適合自己的工作，再決定要不要自己架。

最簡單的用法是用 transformers 的 any-to-any pipeline：

from transformers import pipeline

pipe = pipeline("any-to-any", model="thinkingmachines/Inkling")

全精度版要在 Hopper 以後的 GPU 上跑；NVFP4 版（thinkingmachines/Inkling-NVFP4）則需要 Blackwell 架構的 NVIDIA GPU
模型內建 reasoning_effort 參數，可以調整思考的力道，從不思考到最高檔
官方附了 MTP（多 token 預測）草稿層，用在推測式解碼，輸出結果與原本相同、但生成更快
llama.cpp 可以跑 Unsloth 做的 GGUF 量化版，啟動後會提供相容 OpenAI 格式的 API

後續：Thinking Machines 之後又推出較小的 Inkling-Small（總參數 276B、啟用 12B），官方頁面目前列為兩種尺寸，不過確切上架日期頁面沒有標，這裡只當補充。

對我這種自己架 NAS、玩本地模型的人來說，這個模型的意義不在於「馬上能跑」，而在於「大型多模態模型終於有可以下載的版本了」。圖片加聲音一起吃，將來做客服語音轉文字、單據辨識、會議紀錄之類的功能，不用再把三種模型接在一起。

但對接案的小團隊，現實很殘酷：2 TB 顯存、600 GB 顯存，都不是自己能負擔的規格。我會先用雲端 API 跑自己的資料，看效果再評估。如果客戶的資料不能出門，才有理由認真考慮自架，到時候應該看較小的版本。

Inkling 是什麼模型？

Thinking Machines 做的大型開放權重模型，能直接吃文字、圖片和聲音，用來做推理、寫程式、操作工具；總參數 975B，但每次回答只動用 41B。

一般人跑得動嗎？

全精度版要約 2 TB 顯存，家用電腦完全不可能。社群有 1-bit 量化版，官方文章說可省下約 95% 顯存，但要跑起來仍需要很大的記憶體。比較實際的做法是透過 Hugging Face Inference Providers 這類雲端服務試用。

Mixture-of-Experts（MoE）是什麼？

把模型拆成很多位「專家」，每個字只請最適合的幾位來算，所以總參數雖然大，實際動用的只有一小部分，速度比同等大小的一般模型快。

作者

接案做系統開發、網站與主機託管。觀點裡的文章都是我自己寫的,寫的是做專案時第一手遇到的事。