衡量成果，不是產出：為什麼 Token 用量不是 AI 績效指標

今年 5 月，我在 Facebook 寫過：

把「用了多少 token」當 KPI，就是把「幫公司燒掉多少錢」當 KPI。

Measure outcome, not output. 每年都有荒謬事。

到了今天再回頭看，這個判斷沒有改變。現在我會把 AI 的成效拆成三個層次：任務做得好不好、新的流程有沒有人持續採用，以及組織有沒有跟著轉型。

Token 用量是底層訊號，真正的價值要經過任務成效、流程採用與組織轉型，最後才反映在經營成果。

Token 是模型接收與產生內容時的基本計量單位。在許多 AI 服務裡，它通常也是最容易取得的數字之一：後台有紀錄、帳單看得到，也很容易整理成部門或個人報表。

但容易量，不代表值得拿來當目標。

Token 只能告訴你 AI 跑了多少

在相同服務與計量口徑下，Token 用量可以當作使用規模與用量成本的粗略訊號。但看到數字增加，我們能確定的只有系統記錄的 Token 總數變多，幾乎無法判斷工作的結果。

同樣是一大串 Token，可能是 AI 代理讀完程式碼、跑過測試，最後交出可以合併的修改；也可能是背景資料重複塞了好幾次，工具呼叫一直失敗，AI 代理卡在迴圈裡出不來。Token 用得少，也可能代表流程變有效率，或只是大家根本沒有把 AI 放進真正重要的工作。

一旦把使用量當成目標，重複輸入、失敗重試與失控排程都能快速堆高數字。報表看起來達標，實際成果卻沒有跟著增加。

Token 用量當然要監控。它可以協助估算成本、設定預算、找出異常迴圈。這些都是營運訊號與安全護欄，不是成果指標。

高階管理者的五大優先事項

對公司裡負責資源配置與結果的高階管理者來說，AI 投資最後要回答的問題，大致都會落在五個優先事項：

優先事項	AI 投資要回答的問題
增收	有沒有帶來更多營收、加快成交，或創造新的付費產品與服務？
省錢	有沒有降低單位成本、人工重工與營運支出？
客戶滿意	客戶能不能更快得到答案、解決問題，並願意繼續使用？
員工滿意	有沒有減少低價值的重複工作，讓員工把時間用在判斷、創造與協作？
避險	有沒有降低錯誤、違規、資安事件、個資外洩與品牌風險？

Token 用量本身不在其中。

這些結果通常需要一段時間才看得出變化。如果只等營收、成本或滿意度結果出現，團隊很難及時知道導入卡在哪裡。所以還需要早期指標。

以下先以 AI 協作程式開發為例。其他工作也可以沿用同樣的三層架構，但要重新定義自己的任務起點、完成條件與品質門檻。這些指標也不必全部追蹤；團隊可以根據目前最大的不確定性，每一層先選兩、三個。

第一層：任務成效

第一層先看單一任務的速度與品質。重點不是買了多少帳號，或 AI 產生了多少內容，而是它能不能把一個真實任務推到可驗收的狀態。

速度

• 單一開發任務週期時間：從「任務指派」到「程式碼變更合併或可上線」的實際工作日，包含等待審查與修改的時間；並與導入前類型和複雜度相近的任務基準值比較。
• 任務吞吐量（輔助指標）：一個月內端到端完成的任務數。吞吐量容易受到任務大小影響，因此要搭配品質指標一起看。

品質

• 首次交付可用率：由 AI 協助完成的任務中，交付物不必退回重做或大幅改寫，即可進入審查或上線的比例。團隊要先約定哪些修改算是「大改」。
• 後修次數（輔助指標）：任務交付後到上線前的修改回合數。

速度變快但品質變差，不算成功。品質不錯卻需要無限等待，也很難進入日常工作。這一層要確認的是，在目前的任務與流程條件下，AI 能不能穩定產出值得交付的結果。

第二層：流程採用

單一任務做得好，下一層才是把 AI 放進真正的工作流程，讓適合的步驟開始由它執行。把 AI 放進流程，不等於追求完全無人；它需要明確的任務、輸入、輸出與下一個交接點，而且使用者願意持續用這套方式工作。

帳號開通、登入或送出幾次指令，都不算真正啟用；至少完成一個真實任務，才代表使用者走過完整流程。

覆蓋率

• 使用者啟用率：指定的預期使用者中，完成至少一個真實任務的比例。

使用深度

• 持續使用率：已完成啟用的使用者中，接下來一個月內至少再完成一個真實任務的比例。
• 使用者放棄率：開始嘗試後，在一個月內停用或改回舊工作流程的使用者比例。
• 任務回退率：已開始使用新工作流程的任務中，中途改回舊方法完成的比例。
• 主動推廣（輔助指標）：是否開始出現使用者主動邀請其他人使用、分享做法或協助同事導入。

流程採用看的不是誰用了最多 Token，而是新的工作方式有沒有走進日常。如果任務成效還不穩定，就急著提高使用者啟用率，只會把不成熟的體驗推給更多人。如果任務成效不錯，新流程卻沒有人持續使用，問題可能在權限、流程銜接，或使用者根本不認為這件事值得改。

第三層：組織轉型

任務做得好，新流程也真的有人持續使用，仍不代表 AI 已經發揮效益。多數既有流程是為人類設計的：工作一件一件做，在不同角色之間交接，等待下一個人處理或核准。因為人的注意力與時間有限，流程也會盡量減少重做與嘗試次數。

AI 不必像人一樣依序做完每一步，執行時間不再是主要限制。原本包在一起的大任務可以拆得更細，彼此獨立的步驟可以並行，同一個問題可以用較低成本重複嘗試幾種做法，再由 AI 先做自我驗證。失敗時，也可以回到最近的斷點重跑，不必整條流程從頭開始。

如果只把 AI 工具塞進既有流程的某一個步驟，組織不會因此轉型。團隊還要重新安排工作步驟、分工、決策權、驗證責任與人工介入的位置：

• 任務要拆到多細，每一步的輸入、輸出與驗收條件是什麼。
• 哪些步驟可以並行，哪些失敗可以自動重試或換一種做法。
• 哪裡要設斷點，保留狀態與證據，讓流程可以檢查、暫停與重跑。
• 人應該在哪裡介入，處理判斷、授權、責任與不可逆的決定。

如果每一步都等人核准，AI 的速度優勢會消失。如果一路都沒有人看，問題可能到最後才一次爆開。斷點與人工介入的位置，必須依照風險、可逆性與判斷難度重新安排。

可以觀察的流程訊號

• 跨角色全流程週期時間：從需求提出到成果實際可用，跨越所有角色與系統所需的工作日。
• 等待時間占比：整段流程中，花在等待交接、核准或下一步開始的時間比例。
• 非預期人工介入率：原本沒有安排人處理，最後卻需要人工救火的任務比例。

自我驗證覆蓋率與斷點復原率也可以作為診斷訊號，檢查關鍵步驟有沒有明確的通過條件，以及失敗後能不能從最近狀態恢復。它們不是組織轉型本身的目標。

組織轉型的重點，是流程開始利用 AI 可以拆解、並行、重試與自我驗證的特性，而不是要求 AI 模仿人類原本的工作順序。

這三層用來提早診斷問題，最後仍要回到營收、成本、客戶、員工與風險，確認 AI 有沒有真正創造價值。

我正在訪談軟體產品團隊

我想從實際團隊裡把這件事看得更清楚，所以最近正在訪談軟體產品團隊的成員，了解導入 AI 之後，產品規劃與協作流程有哪些改變，以及工作上遇到哪些卡點與挑戰。

訪談時間大約 30 分鐘，線上進行。如果你有興趣參與，請跟我聯絡。