Jin10 dados de 3 de abril, hoje à 1 da manhã, a OpenAI lançou um novo benchmark de avaliação de agentes de IA - PaperBench. Este benchmark avalia principalmente as capacidades de busca, integração e execução dos agentes, sendo necessário reproduzir os melhores artigos da Conferência Internacional de Aprendizado de Máquina de 2024, incluindo a compreensão do conteúdo dos artigos, a codificação e a execução de experimentos. De acordo com os dados de teste divulgados pela OpenAI, atualmente os agentes criados por grandes modelos conhecidos ainda não conseguem superar doutores em aprendizado de máquina de alto nível. No entanto, são muito úteis na aprendizagem assistida e na compreensão de conteúdos de pesquisa.
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
OpenAI Código aberto PaperBench, reimaginar avaliação de agentes de IA de topo
Jin10 dados de 3 de abril, hoje à 1 da manhã, a OpenAI lançou um novo benchmark de avaliação de agentes de IA - PaperBench. Este benchmark avalia principalmente as capacidades de busca, integração e execução dos agentes, sendo necessário reproduzir os melhores artigos da Conferência Internacional de Aprendizado de Máquina de 2024, incluindo a compreensão do conteúdo dos artigos, a codificação e a execução de experimentos. De acordo com os dados de teste divulgados pela OpenAI, atualmente os agentes criados por grandes modelos conhecidos ainda não conseguem superar doutores em aprendizado de máquina de alto nível. No entanto, são muito úteis na aprendizagem assistida e na compreensão de conteúdos de pesquisa.