La empresa OpenAI reconoció este martes que su chatbot de inteligencia artificial (AI) ChatGPT comete fallos en casos “sensibles” y prometió cambios tras recibir hoy una demanda por la responsabilidad de su tecnología en el suicidio de un menor de edad en EE.UU..
Este martes, los padres de un joven de 16 años que se quitó la vida tras meses de interactuar con ChatGPT demandaron en California a OpenAI y su dueño, Sam Altman, argumentando que el chatbot, bajo el modelo GPT-4o, no aplicó medidas de seguridad pese a reconocer las intenciones suicidas del joven.
OpenAI publicó una entrada de blog titulada “Ayudar a la gente cuando más lo necesitan” y, si bien no hizo referencia a la demanda, indicó que ChatGPT está entrenado para recomendar a aquellos usuarios que “expresen intención suicida” el contacto de organizaciones de ayuda profesional.
No obstante, reconoció que pese a tener ese y otros mecanismos de seguridad para cuando detecte que “alguien es vulnerable y puede estar el riesgo”, los sistemas de ChatGPT “se quedan cortos” y el chatbot “no se comportó como debía en situaciones sensibles”.
La empresa explicó que los mecanismos de seguridad funcionan mejor en intercambios cortos y puede fallar en interacciones largas que “degradan” el entrenamiento de la IA, por lo que trabaja específicamente en que tome medidas si detecta esa “intención suicida” en múltiples conversaciones.
ChatGPT, dijo la empresa, reconoce también cuándo el usuario es menor de 18 años para aplicarle medidas de protección, pero ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología, y explora la posibilidad de conectarlos directamente con un contacto de emergencia.
Entre otras cosas, la empresa dijo que sus sistemas de “mitigación” se han centrado en casos de autolesión pero ahora abarcarán también otros de “angustia emocional”, y el modelo GPT-5 será actualizado para ser capaz de “desescalar” situaciones de ese tipo “conectando a la persona con la realidad”.
Asimismo, estudia “conectar a la gente con terapistas certificados antes de que estén en una crisis aguda”, lo que implicaría crear “una red de profesionales licenciados a los que la gente pueda llamar directamente a través de ChatGPT”, pero consideró que esa posibilidad llevará tiempo
