¿Por qué la IA alucina? Estudio de OpenAI

verde ia green AI naturaleza cripto# ¿Por qué la IA tiene alucinaciones? Estudio de OpenAI

Los modelos de lenguaje alucinan porque los procedimientos estándar de entrenamiento y evaluación fomentan las conjeturas en lugar del reconocimiento de la incertidumbre. Esto se menciona en un trabajo de investigación de OpenAI.

En la empresa dieron la siguiente definición del problema:

«Las alucinaciones son afirmaciones plausibles pero falsas, generadas por modelos de lenguaje. Pueden manifestarse de manera inesperada incluso en las respuestas a preguntas que parecen simples.»

Por ejemplo, cuando los investigadores preguntaron a un "chatbot de uso general" sobre el título de la tesis doctoral de Adam Tauman Kalai (autor del artículo), él dio con confianza tres respuestas diferentes, ninguna de las cuales era correcta. Cuando se le preguntó a la IA por su cumpleaños, mencionó tres fechas incorrectas.

Según OpenAI, las alucinaciones persisten en parte porque los métodos modernos de evaluación plantean estímulos incorrectos, haciendo que las redes neuronales "adivinen" el siguiente símbolo en la respuesta.

Como analogía, se presentó la situación en la que una persona no sabe la respuesta correcta a una pregunta en un examen, pero puede adivinar y seleccionar accidentalmente la correcta.

![](https://img-cdn.gateio.im/webp-social/moments-ea976fc9eb9ecf1547b0d54a0cda8862.webp01Comparación de la precisión de las respuestas de dos modelos. Fuente: OpenAI.

«Supongamos que se le pregunta a un modelo de lenguaje sobre el cumpleaños de alguien, pero no lo sabe. Si adivina “10 de septiembre”, la probabilidad de respuesta correcta será de uno entre 365. La respuesta “no lo sé” garantiza cero puntos. Después de miles de preguntas de prueba, un modelo basado en adivinaciones parece tener mejor desempeño en el tablero que un modelo preciso que permite incertidumbre», explicaron los investigadores.

Desde el punto de vista de la precisión, el modelo más antiguo de OpenAI, o4-mini, funciona un poco mejor. Sin embargo, su frecuencia de errores es significativamente mayor que la de GPT-5, ya que la adivinanza estratégica en situaciones inciertas aumenta la precisión, pero también incrementa la cantidad de alucinaciones.

Causas y soluciones

Los modelos de lenguaje se entrenan al principio mediante "preentrenamiento" — un proceso de predicción de la siguiente palabra en grandes volúmenes de texto. A diferencia de las tareas tradicionales de aprendizaje automático, aquí no hay etiquetas de "verdadero/falso" adjuntas a cada afirmación. El modelo solo ve ejemplos positivos del lenguaje y debe aproximar la distribución general.

«Es el doble de difícil distinguir las afirmaciones correctas de las incorrectas cuando no hay ejemplos etiquetados como incorrectos. Pero incluso con las etiquetas, los errores son inevitables», subrayaron en OpenAI.

En la empresa dieron otro ejemplo. En el reconocimiento de imágenes, si millones de fotos de gatos y perros están etiquetadas respectivamente, los algoritmos aprenderán a clasificarlas de manera confiable. Pero si cada foto de mascota se clasifica por fecha de nacimiento, la tarea siempre conducirá a errores, sin importar cuán avanzado sea el algoritmo.

Igualmente ocurre con el texto: la ortografía y la puntuación siguen patrones constantes, por lo que los errores desaparecen a medida que aumenta la escala.

Los investigadores afirman que no es suficiente simplemente introducir "algunas pruebas nuevas que tengan en cuenta la incertidumbre". En cambio, "las estimaciones ampliamente utilizadas, basadas en la precisión, deben actualizarse para que sus resultados excluyan los intentos de adivinanza."

«Si las escalas de evaluación principales continúan fomentando las conjeturas exitosas, los modelos seguirán aprendiendo a adivinar», afirman en OpenAI.

Recordemos que en mayo ForkLog informó que las alucinaciones seguían siendo el principal problema de la IA.

GPT14.89%
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
0/400
Sin comentarios
  • Anclado
Opera con criptomonedas en cualquier momento y lugar
qrCode
Escanee para descargar la aplicación Gate
Comunidad
Español
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)