Las alucinaciones de IA son un clásico en los chatbots al estilo de ChatGPT, Gemini o DeepSeek. Los investigadores de OpenAI llegaron a asegurar que habían encontrado la razón por la que incluso los modelos siguen sufriendo este tipo de errores.
Los chatbots hacen afirmaciones con confianza, a pesar de que la información que aportan es totalmente falsa. ChatGPT y otros modelos están “optimizados para ser buenos candidatos para las pruebas” y que “adivinar cuando hay incertidumbre mejora el rendimiento en las pruebas”.
Wei Xing, profesor de la Universidad de Sheffield y experto en optimización de IA, ha explicado que hay un motivo de peso detrás de las alucinaciones de los modelos de inteligencia artificial. Es una estrategia de los gigantes de la industria.
ChatGPT se mueve por incentivos económicos
Los creadores de IA utilizan un sistema de incentivos. ChatGPT y otros chatbots nunca admitirán que no saben la respuesta, sino que aportarán información relacionada con el tema, incluso a riesgo de que pueda contener errores.
Esta puede ser una buena estrategia en un examen, pero es extremadamente peligroso cuando los usuarios solicitan consejos sobre temas sensibles como medicina o derecho. Las alucinaciones de IA siempre se presentarán como información “verificada” y será difícil de detectar para los usuarios.
OpenAI llegó a afirmar en una publicación en su blog que la solución es modificar el sistema de evaluación para “penalizar los errores de confianza más que penalizar la incertidumbre y dar crédito parcial por las expresiones apropiadas de cierta incertidumbre”. Wei Xing advierte que podría tener un impacto económico devastador.
El experto en IA ha dejado claro en un estudio publicado en The Conversation que los modelos no tendrían incentivos económicos para realizar los cambios, lo que aumentaría el coste enormemente. ChatGPT funciona a base de incentivos.
El fin de las alucinaciones acabaría con ChatGPT
Las alucinaciones de IA se han convertido en una parte esencial de los chatbots. Si ChatGPT admitiera que no sabe la respuesta, algo que ocurre cerca del 30% de las veces, podría ser demasiado frustrante para los usuarios, argumentó Xing.
“Los usuarios están acostumbrados a recibir respuestas seguras a prácticamente cualquier pregunta, muchos probablemente abandonarían dichos sistemas rápidamente”, en declaraciones del investigador de IA.
Además, acabar con las alucinaciones de IA no es rentable para los gigantes de Silicon Valley. A esto se suma el elevado coste de utilizar métodos para medir el nivel de incertidumbre y entrenar a ChatGPT para evaluar múltiples respuestas posibles y elegir aquella que genere más confianza.
Aumentar los costes operativos de ChatGPT y compañía, que ya de por sí son altísimos, y alejar a los usuarios admitiendo que no conoce la respuesta, podría dificultar su posición en la carrera de la IA.
“El coste de las alucinaciones supera con creces el gasto de lograr que los modelos decidan si son demasiado inciertas”, opina Wei Xing. “Los usuarios buscan sistemas que ofrezcan respuestas fiables a cualquier pregunta. Hasta que estos incentivos cambien, las alucinaciones persistirán”, añade el experto en optimización de IA.
Conoce cómo trabajamos en ComputerHoy.
Etiquetas: Inteligencia artificial, Chat
