OpenAI開源PaperBench，重塑頂級AI Agent評測

金十數據4月3日訊，今天凌晨1點，OpenAI開源了一個全新的AI Agent評測基準——PaperBench。這個基準主要考核智能體的搜索、整合、執行等能力，需要對2024年國際機器學習大會上頂尖論文的復現，包括對論文內容的理解、代碼編寫以及實驗執行等方面的能力。根據OpenAI公佈的測試數據顯示，目前知名大模型打造的智能體，還無法戰勝頂級機器學習專業博士。但在輔助學習、瞭解科研內容方面很有幫助。