OpenAIオープンソースPaperBench、トップAIエージェント評価を再構築

Jin10データ4月3日のニュース、今朝1時にOpenAIが全く新しいAIエージェント評価ベンチマーク——PaperBenchをオープンソースしました。このベンチマークは、エージェントの検索、統合、実行などの能力を評価することを主な目的としており、2024年国際機械学習会議でのトップ論文の再現に関する能力が求められます。これは論文の内容を理解し、コードを作成し、実験を実行するなどの側面を含みます。OpenAIが公表したテストデータによると、現在の有名な大規模モデルが作成したエージェントは、トップレベルの機械学習専門博士にはまだ勝てないそうですが、学習を補助し、研究内容を理解するのには非常に役立つとのことです。