這篇由史丹佛和哈佛共同撰寫的論文解釋了為何大多數“具備代理能力的人工智慧(agentic AI)”系統在演示中令人印象深刻,但在實際應用中卻完全崩潰。


它被稱為“代理人工智慧的適應(Adaptation of Agentic AI)”,也是我今年讀過的最重要的論文。
目前,大家都熱衷於建立自主代理。我们赋予它们工具、記憶和目標,期望它們能完成我們的工作。
但在實際部署到現實世界時,它們會出現幻覺式的工具調用,長期規劃失敗,甚至崩潰。
原因如下:
我們試圖將所有學習都塞進AI的大腦中。
當開發者試圖修復一個出錯的代理時,通常只是微調主模型以產生更好的最終答案。
研究人員發現了這種方法的致命缺陷。
如果只用最終答案的正確性來獎勵AI,它就會變得懶惰。
它實際上學會停止使用工具,試圖猜答案而不是做實際的工作。它會忽略計算器,試圖在腦中做數學。
為了解決這個問題,研究人員提出了一個新的四部分框架,來指導代理的真正學習方式。
而最大的啟示徹底顛覆了目前的思維模式。
與其不斷重新訓練那個龐大且昂貴的“腦袋”,最可靠的系統採取相反的方法。
它們會凍結“腦袋”,並調整工具。
他們稱之為“代理監督的工具適應(Agent-Supervised Tool Adaptation)”。
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言