Pourquoi l'IA hallucine-t-elle ? Une étude d'OpenAI

# Pourquoi l'IA hallucine-t-elle ? Recherche OpenAI

Les modèles linguistiques hallucinent, car les procédures d'apprentissage et d'évaluation standard encouragent les conjectures plutôt que la reconnaissance de l'incertitude. C'est ce qu'indique un travail de recherche d'OpenAI.

Dans l'entreprise, ils ont donné la définition suivante du problème :

«Les hallucinations sont des affirmations plausibles mais fausses, générées par des modèles linguistiques. Elles peuvent se manifester de manière inattendue même dans les réponses à des questions qui semblent simples.»

Par exemple, lorsque des chercheurs ont demandé à un « chatbot largement répandu » le titre de la thèse de doctorat d'Adam Tauman Kalai (auteur de l'article), il a donné avec confiance trois réponses différentes, aucune d'elles n'étant correcte. Lorsque l'IA lui a demandé sa date de naissance, il a donné trois fausses dates.

Selon OpenAI, les hallucinations persistent en partie parce que les méthodes d'évaluation modernes posent de mauvaises incitations, amenant les réseaux de neurones à « deviner » le prochain symbole dans la réponse.

Comme analogie, ils ont cité la situation où une personne ne connaît pas la bonne réponse à une question dans un test, mais peut deviner et choisir par hasard la bonne réponse.

![](https://img-cdn.gateio.im/webp-social/moments-ea976fc9eb9ecf1547b0d54a0cda8862.webp01Comparaison de l'exactitude des réponses de deux modèles. Source : OpenAI.

«Supposons qu'un modèle linguistique soit interrogé sur l'anniversaire de quelqu'un, mais qu'il ne le sache pas. S'il devine “10 septembre”, la probabilité d'une réponse correcte est d'un sur 365. La réponse “je ne sais pas” garantit zéro point. Après des milliers de questions de test, un modèle basé sur la devinette apparaît mieux sur le tableau que le modèle précis qui admet l'incertitude», ont expliqué les chercheurs.

En termes de précision, l'ancien modèle OpenAI — o4-mini — fonctionne un peu mieux. Cependant, son taux d'erreurs est nettement plus élevé que celui de GPT-5, car la stratégie de devinette dans des situations incertaines augmente la précision, mais accroît le nombre d'hallucinations.

Raisons et solutions

Les modèles linguistiques sont initialement formés par le biais de « préentraînement » - un processus de prédiction du mot suivant dans d'énormes volumes de texte. Contrairement aux tâches d'apprentissage automatique traditionnelles, il n'y a pas d'étiquettes « vrai/faux » attachées à chaque affirmation. Le modèle ne voit que des exemples positifs de la langue et doit approximer la distribution générale.

«Il est doublement difficile de distinguer les affirmations vraies des fausses lorsqu'il n'y a pas d'exemples étiquetés comme faux. Mais même avec des étiquettes, des erreurs sont inévitables», a souligné OpenAI.

Dans l'entreprise, un autre exemple a été donné. Dans la reconnaissance d'images, si des millions de photos de chats et de chiens sont étiquetées en conséquence, les algorithmes apprendront à les classer de manière fiable. Mais si chaque photo de l'animal de compagnie est répartie par date de naissance, la tâche entraînera toujours des erreurs, peu importe à quel point l'algorithme est avancé.

Il en va de même pour le texte : l'orthographe et la ponctuation suivent des lois constantes, donc les erreurs disparaissent avec l'augmentation de l'échelle.

Les chercheurs affirment qu'il ne suffit pas d'introduire « quelques nouveaux tests prenant en compte l'incertitude ». Au lieu de cela, « les évaluations largement utilisées, basées sur la précision, doivent être mises à jour pour que leurs résultats excluent les tentatives de deviner ».

«Si les principales [évaluations] continuent d'encourager les bonnes devinettes, les modèles continueront à apprendre à deviner», affirment OpenAI.

Rappelons qu'en mai, ForkLog a écrit que les hallucinations demeuraient le principal problème de l'IA.