返回

讓 AI 不再盲目自信！Appier 新技術讓 Agent 學會「評估勝率」再出手

PR_Success Rate_images_option1_v04

【台灣，台北－2026 年 3 月 24 日】作為 AI 原生的 Agentic AI 即服務（AaaS）公司，Appier 持續深化 AI 創新技術與前瞻研究佈局，拓展行銷科技的應用邊界。今日發表最新研究論文《大型語言模型的校準研究：從回應表現到能力評估》，針對大型語言模型（Large Language Model，LLM）在實務應用中常見的過度自信與幻覺（Overconfidence and Hallucination）問題，提出全新的能力校準1（Capability Calibration）概念，讓 AI 能更準確地判斷其對特定問題的解題能力。

此項研究為 AI Agent 開啟一項嶄新的關鍵能力──在回應問題之前，先評估「自己答對的機率有多高」。透過建立可量化的「自我評估」機制， AI 系統得以在可信任的基礎上進行更有效率的決策與資源分配，進一步提升企業在 AI 應用上的可靠度、成本效益與規模化部署能力。

從「回答是否正確」到「模型是否有能力解決問題」

傳統 LLM 的校準方法主要著重於回應層級信心度，也就是評估單一生成答案的正確機率。然而，由於 LLM 的生成過程本質上具有隨機性，同一個問題在不同次生成時可能得到不同答案，因此僅依賴單次回答的正確性，往往無法真正反映模型面對該問題的整體能力。

換言之，在許多實際應用情境中，企業更關心的問題並不是「這一次回答對不對」，而是「這個模型整體上能否解決這個問題」。為此，Appier AI 研究團隊提出能力校準的評估框架，將焦點從單次回答的信心度，轉向模型對特定問題的預期成功率。這代表評估目標從「一次回答」提升到「整體解題能力」，更貼近真實的 AI 應用需求。

讓 AI Agent 學會「量力而為」

Appier 執行長暨共同創辦人游直翰表示：「我們希望讓 AI Agent 不只是會回答問題，更能理解自己的能力邊界。透過能力校準技術，Agent 可以在回應之前先判斷成功機率，進而智慧地分配運算資源：簡單問題快速處理，困難任務則自動調度更強大的模型或更多運算能力。這讓 AI 從單純的工具，進一步進化為能為企業主動管理資源、優化成本與提升決策品質的智慧系統，這也是企業級 Agent 能真正大規模落地的重要基礎。」

實驗結果揭示：低成本也能達成高品質的信心校準

在研究方法上，Appier AI 研究團隊首先從理論上釐清能力校準與回應校準2（Response Calibration）的差異，並推導兩者之間的數學關係。其次，團隊進一步透過三個不同的大型語言模型，在七個涵蓋知識與推理密集任務的資料集上進行實驗，並比較多種不同的信心估計方法，包括：

  • 模型自述信心（Verbalized confidence3）：模型直接用文字或百分比自我評分、說出信心值
  • P(True)4 方法：根據模型在生成答案過程中的機率訊號，估算「答對的可能性」有多高
  • 線性探針（Linear probe5）：檢查模型內部知識狀態、從模型的內部訊號判斷它是否真的懂

研究結果顯示，線性探針方法在成本與效果之間取得最佳平衡，其計算成本甚至低於生成一個 Token，但仍能穩定提供高品質的信心估計。

兩大應用：提升 AI 推論效率與資源管理能力

能力校準框架也展現兩項具實務價值的應用。第一是 pass@k6 預測：由於複雜任務往往需要模型嘗試不同思路，透過能力校準產生的信心分數，可在不需要實際讓模型重複生成多次答案，也能預估「若嘗試 K 次，至少答對一次的機率」。第二是推論資源分配：在總運算資源固定的情況下，系統可依據問題難度（即模型預估成功率）動態分配推論次數，將更多計算資源留給較困難的問題，進而在相同成本下完成更多任務。

為可信任 AI Agent 建立決策基礎

透過能力校準機制，AI Agent 能在每一次行動之前建立更穩定且可量化的信心指標，使其能自主判斷何時可以獨立完成任務、何時需要調用外部工具、何時應尋求人類協助，讓 AI 能在充滿不確定性的環境中做出更可靠的判斷，推動企業 AI 應用從輔助工具進一步邁向真正的自主系統。

深化能力校準技術，推動 Agentic AI 行銷應用落地

未來，Appier AI 研究團隊將持續深化能力校準技術，一方面開發更先進的方法提升模型評估效能，另一方面拓展其在模型路由7、人機協作與可信任 AI 等場景的應用。結合 Appier 在 AI 與行銷科技領域的技術積累，相關研究也將持續轉化為產品能力，推動 Agentic AI 在廣告投放與行銷決策中的落地，協助企業在複雜的數位環境中以更高效率與可靠度實現成長。

 

###


關於 Appier
Appier（TSE：4180）是一家 AI 原生的 Agentic AI 即服務（AaaS）公司，透過最先進的廣告科技（AdTech）與行銷科技（MarTech）解決方案，協助企業制定更明確的商業決策。創立於 2012 年，Appier 秉持 Making AI Easy by Making Software Intelligent 的願景，致力透過旗下的廣告雲（Ad Cloud）、個人化雲（Personalization Cloud) 及數據雲（Data Cloud）解決方案，幫助企業將 AI 轉化為可衡量的投資報酬。Appier 目前在亞太、美國與 EMEA 地區設有 17 個據點，並於東京證券交易所 Prime 板上市。欲了解更多資訊請參閱 www.appier.com。欲了解更多投資人關係資訊，請造訪 ir.appier.com/en。

1. 能力校準（Capability Calibration）是一種評估 AI 模型整體解題能力的方法，透過預測模型在某個問題上「成功回答的機率」，而非只評估單次回答是否正確。  
2. 回應校準（Response Calibration）為傳統 AI 評估方式，主要衡量模型對單次回答正確性的信心程度。  
3. 模型自述信心（Verbalized confidence）讓模型在回答問題時，同時以文字形式說出自己對答案正確性的信心，例如提供百分比或信心等級。  
4. P(True) 透過分析模型生成答案時的 Token 機率分布，估計該答案為「正確」的可能性。  
5. 線性探針（Linear probe）在模型內部學到的表示（internal representations）上訓練簡單的線性分類器，用來分析模型是否掌握某種知識或能力，也可用於估計模型的信心。  
6. pass@k 是常見的 AI 評估指標，用於估算模型在 k 次嘗試內至少產生一個正確答案的機率，反映在複雜任務中需探索多種推理路徑的情境。  
7. 模型路由（Model routing）根據任務難度或需求，動態選擇最適合的 AI 模型處理問題，提升效率並降低運算成本。