Os modelos de linguagem alucinam, pois os procedimentos padrão de treinamento e avaliação incentivam palpites em vez de reconhecer a incerteza. Isso é mencionado em um artigo de pesquisa da OpenAI.
Na empresa foi dada a seguinte definição do problema:
"Alucinações são afirmações plausíveis, mas falsas, geradas por modelos de linguagem. Elas podem se manifestar de maneira inesperada, mesmo em respostas a perguntas que parecem simples."
Por exemplo, quando os pesquisadores perguntaram ao "chatbot amplamente utilizado" sobre o título da tese de doutorado de Adam Tauman Kalai (autor do artigo), ele forneceu três respostas diferentes, nenhuma das quais estava correta. Quando perguntaram ao IA sua data de nascimento, ele deu três datas incorretas.
Segundo a OpenAI, as alucinações persistem em parte porque os métodos modernos de avaliação impõem estímulos incorretos, fazendo com que as redes neurais "adivinhem" o próximo símbolo na resposta.
Como analogia, citaram a situação em que uma pessoa não sabe a resposta correta a uma pergunta em um teste, mas pode adivinhar e escolher aleatoriamente a resposta certa.
Comparação da precisão das respostas de dois modelos. Fonte: OpenAI.
"Suponha que um modelo de linguagem seja questionado sobre o aniversário de alguém, mas não sabe. Se ele adivinhar '10 de setembro', a probabilidade de resposta correta será de um em 365. A resposta 'não sei' garante zero pontos. Após mil perguntas de teste, um modelo baseado em adivinhação parece ter um desempenho melhor no placar do que um modelo cuidadoso que admite incerteza", explicaram os pesquisadores.
Do ponto de vista da precisão, o modelo mais antigo da OpenAI — o4-mini — funciona um pouco melhor. No entanto, a taxa de erro é significativamente maior do que a do GPT-5, uma vez que a adivinhação estratégica em situações incertas aumenta a precisão, mas também aumenta o número de alucinações.
Razões e soluções
Os modelos de linguagem são treinados inicialmente através do "pré-treinamento" — um processo de previsão da próxima palavra em enormes volumes de texto. Ao contrário das tarefas tradicionais de aprendizado de máquina, não há rótulos "verdadeiro/falso" anexados a cada afirmação. O modelo vê apenas exemplos positivos da língua e deve aproximar a distribuição geral.
"É duas vezes mais difícil distinguir afirmações verdadeiras de falsas quando não há exemplos rotulados como falsos. Mas mesmo com marcadores, os erros são inevitáveis", salientou a OpenAI.
A empresa apresentou outro exemplo. No reconhecimento de imagens, se milhões de fotografias de gatos e cães estiverem marcadas de forma correspondente, os algoritmos aprenderão a classificá-las de maneira confiável. Mas se cada fotografia do animal de estimação for distribuída pela data de nascimento, a tarefa sempre resultará em erros, independentemente de quão avançado seja o algoritmo.
Assim acontece também com o texto — a ortografia e a pontuação seguem padrões constantes, por isso os erros desaparecem com o aumento da escala.
Os pesquisadores afirmam que não é suficiente apenas introduzir "alguns novos testes que levem em conta a incerteza". Em vez disso, "as estimativas amplamente utilizadas, baseadas na precisão, precisam ser atualizadas para que seus resultados excluam tentativas de adivinhação."
«Se as principais [escala de avaliação] continuarem a incentivar palpites bem-sucedidos, os modelos continuarão a aprender a adivinhar», afirmam na OpenAI.
Recordamos que, em maio, a ForkLog escreveu que as alucinações permanecem o principal problema da IA.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Por que a IA alucina? Estudo da OpenAI
Os modelos de linguagem alucinam, pois os procedimentos padrão de treinamento e avaliação incentivam palpites em vez de reconhecer a incerteza. Isso é mencionado em um artigo de pesquisa da OpenAI.
Na empresa foi dada a seguinte definição do problema:
Por exemplo, quando os pesquisadores perguntaram ao "chatbot amplamente utilizado" sobre o título da tese de doutorado de Adam Tauman Kalai (autor do artigo), ele forneceu três respostas diferentes, nenhuma das quais estava correta. Quando perguntaram ao IA sua data de nascimento, ele deu três datas incorretas.
Segundo a OpenAI, as alucinações persistem em parte porque os métodos modernos de avaliação impõem estímulos incorretos, fazendo com que as redes neurais "adivinhem" o próximo símbolo na resposta.
Como analogia, citaram a situação em que uma pessoa não sabe a resposta correta a uma pergunta em um teste, mas pode adivinhar e escolher aleatoriamente a resposta certa.
Do ponto de vista da precisão, o modelo mais antigo da OpenAI — o4-mini — funciona um pouco melhor. No entanto, a taxa de erro é significativamente maior do que a do GPT-5, uma vez que a adivinhação estratégica em situações incertas aumenta a precisão, mas também aumenta o número de alucinações.
Razões e soluções
Os modelos de linguagem são treinados inicialmente através do "pré-treinamento" — um processo de previsão da próxima palavra em enormes volumes de texto. Ao contrário das tarefas tradicionais de aprendizado de máquina, não há rótulos "verdadeiro/falso" anexados a cada afirmação. O modelo vê apenas exemplos positivos da língua e deve aproximar a distribuição geral.
A empresa apresentou outro exemplo. No reconhecimento de imagens, se milhões de fotografias de gatos e cães estiverem marcadas de forma correspondente, os algoritmos aprenderão a classificá-las de maneira confiável. Mas se cada fotografia do animal de estimação for distribuída pela data de nascimento, a tarefa sempre resultará em erros, independentemente de quão avançado seja o algoritmo.
Assim acontece também com o texto — a ortografia e a pontuação seguem padrões constantes, por isso os erros desaparecem com o aumento da escala.
Os pesquisadores afirmam que não é suficiente apenas introduzir "alguns novos testes que levem em conta a incerteza". Em vez disso, "as estimativas amplamente utilizadas, baseadas na precisão, precisam ser atualizadas para que seus resultados excluam tentativas de adivinhação."
Recordamos que, em maio, a ForkLog escreveu que as alucinações permanecem o principal problema da IA.