OpenAI explica por qué las alucinaciones persisten en ChatGPT incluso en GPT-5
Un nuevo informe de OpenAI revela que las “alucinaciones” en modelos de lenguaje como ChatGPT persisten debido a los incentivos estructurales en los procesos de entrenamiento y evaluación, que favorecen respuestas especulativas sobre la admisión de incertidumbre. Esta situación afecta directamente la confiabilidad de los sistemas en áreas críticas como educación, salud y atención al cliente.
¡Mantenete al tanto de las últimas noticias de San Nicolás y el país!
Unite a nuestro CANAL DE WHATSAPP y recibí las novedades directamente en tu teléfono.
📲 Click AQUÍ El término “alucinaciones” se refiere a afirmaciones plausibles pero falsas generadas por los modelos de lenguaje. Incluso ante preguntas simples, los sistemas pueden inventar datos: un ejemplo del informe muestra cómo un chatbot creó varios títulos incorrectos para la tesis doctoral de Adam Tauman Kalai, del equipo de OpenAI, y proporcionó tres fechas equivocadas para su cumpleaños.
El informe explica que durante el preentrenamiento, los modelos aprenden a predecir la siguiente palabra a partir de grandes volúmenes de texto, sin recibir información sobre la veracidad de los datos. Esto permite generar lenguaje coherente, pero falla con hechos poco frecuentes, como fechas de nacimiento o títulos de publicaciones.
El problema se intensifica debido al sistema de evaluación, que premia la exactitud y, por ende, incentiva a los modelos a arriesgar respuestas en lugar de reconocer su desconocimiento. OpenAI compara este mecanismo con los exámenes de opción múltiple: adivinar puede ser estadísticamente ventajoso frente a dejar una respuesta en blanco.
La comparación entre modelos muestra el impacto de reconocer la incertidumbre: GPT-5 tuvo una tasa de abstención del 52 % y un 26 % de error, mientras que un modelo anterior, OpenAI o4-mini, apenas se abstuvo en el 1 % de los casos pero tuvo un 75 % de errores. Esto evidencia que la disposición a admitir desconocimiento reduce los errores, aunque penaliza la puntuación bajo los criterios actuales.
El estudio sostiene que la solución pasa por rediseñar los sistemas de evaluación para penalizar más severamente los errores seguros y reconocer parcialmente la expresión de incertidumbre. Según OpenAI, “las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos equivocados… fomentan la suposición en lugar de la honestidad sobre la incertidumbre”.
OpenAI refuta la creencia de que las alucinaciones desaparecerán simplemente con modelos más grandes o con mayor precisión, y subraya que sistemas más pequeños podrían ser incluso más conscientes de sus limitaciones. La compañía anunció que trabaja en actualizar los criterios de evaluación para premiar la manifestación de incertidumbre y desalentar la adivinanza.
Según la empresa de Sam Altman, solo una reforma profunda de los sistemas de puntuación permitirá reducir significativamente las alucinaciones, un paso clave para aumentar la confianza y utilidad de la inteligencia artificial en aplicaciones críticas.
LEER: El FMI respalda plan económico de Milei tras la derrota en Buenos Aires y los mercados reaccionan con calma
