Reestruturação da OpenAI: a equipe de comportamento de IA fundiu-se com o departamento de pós-treinamento

O gigante da inteligência artificial OpenAI anunciou recentemente a reestruturação da sua equipe de comportamento de modelos. Esta pequena equipe de apenas 14 pesquisadores, embora de tamanho reduzido, desempenha um papel crucial na determinação de como a IA interage com os humanos.

De acordo com um memorando interno divulgado em agosto pelo Chief Research Officer da OpenAI, Mak Chen, a equipe será integrada na equipe de fine-tuning, reportando diretamente ao responsável pelo fine-tuning, Max Schwarzer. A equipe de fine-tuning é principalmente responsável por otimizar ainda mais um modelo de IA após sua pré-treino inicial.

A fundadora e responsável pela equipe de comportamento de modelos, Joanne Jang, vai iniciar um novo projeto internamente na OpenAI. Jang revelou em uma recente entrevista que está formando uma equipe de pesquisa chamada "OAI Labs", dedicada a "inventar e projetar novos protótipos de interfaces para colaboração entre humanos e IA".

Por que reestruturar? Para lidar com disputas sobre o comportamento da IA

A equipe de comportamento do modelo tem trabalhado para moldar a personalidade dos modelos de IA, reduzindo comportamentos de adulação (a tendência da IA de simplesmente concordar e reforçar as crenças dos usuários) e abordando questões de viés político nas respostas do modelo. Chen afirmou em um memorando que agora é o melhor momento para integrar mais estreitamente o comportamento do modelo com o desenvolvimento central, indicando que a OpenAI considera a personalidade da IA como um elemento chave no desenvolvimento tecnológico.

Esta reestruturação ocorreu em um momento em que a OpenAI estava sendo criticada pelo comportamento de seus modelos. O feedback dos usuários sobre o GPT-5 é misto, com alguns achando que ele é menos bajulador, mas parece excessivamente frio. Essas reclamações levaram a empresa a restabelecer o acesso a alguns modelos antigos e lançar uma atualização que faz com que o GPT-5 responda de forma mais amigável, mas sem exagerar nos elogios.

A ética e a responsabilidade da IA levantam preocupações

Os desenvolvedores de IA devem encontrar um equilíbrio entre a amigabilidade e a adulação excessiva. No mês passado, os pais de um menino de 16 anos processaram a OpenAI, alegando que o ChatGPT desempenhou um papel no suicídio de seu filho. De acordo com os documentos do processo, o jovem Adam Rain revelou seus planos de suicídio ao ChatGPT alguns meses antes de cometer o ato, mas o modelo de IA não conseguiu impedir seus pensamentos suicidas.

Desde o GPT-4, a equipe de comportamento do modelo tem estado envolvida no desenvolvimento de todos os modelos da OpenAI. Jang participou de projetos como a ferramenta de geração de imagem Dall-E 2 antes de formar este departamento de pesquisa, e trabalha na OpenAI há cerca de quatro anos. Na semana passada, ela anunciou nas redes sociais que vai "abrir um novo capítulo na OpenAI".

Para o laboratório OAI que está prestes a liderar, Jang afirmou: "Estou muito ansiosa para explorar algumas novas formas que vão além do modo de chat, sendo que o modo de chat atual está mais ligado à companhia, até mesmo enfatizando um modo de agente autônomo." Ela vê os sistemas de IA como ferramentas para realizar várias funções, como conectar, aprender e pensar, e está aberta a uma potencial colaboração com o ex-chefe de design da Apple, Jony Ive (que recentemente se juntou à OpenAI para liderar o hardware de IA), mas afirmou que pode começar por áreas de pesquisa com as quais está mais familiarizada.