El suicidio de un adolescente de 14 años ha generado una gran polémica en Estados Unidos. Segundos antes de dispararse un tiro en la cabeza, un chatbot que reencarnaba a Daenerys, la reina de dragones de Juego de Tronos, le instó a “volver a casa” y a “unirse a ella fuera de la realidad”.
Según relata la denuncia contra Character.AI y Google, el adolescente Sewell Setzer III estaba enganchado a los chatbots personalizados de Character.AI.
Esta compañía, formada por extrabajadores de Google, ofrece chatbots que puedes personalizar para recrear a la persona que desees. Tiene también chatbots prediseñados que encarnan diferentes roles, incluyendo un terapeuta y otro llamado “Me siento solo”.
El suicidio de un adolescente enganchado a los chatbots
Sewell Setzer III, 14 años, había creado chatbots basados en los personajes de la serie de Juego de tronos que, por otro lado, es una serie para mayores de 18 años.
Según la nota de prensa, la madre del adolescente fallecido, Megan García, tiene pruebas recogidas en el historial de los chats, de que “el chatbot se hizo pasar por un terapeuta licenciado, fomentó activamente la ideación suicida y entabló conversaciones altamente sexualizadas que constituirían abuso si las iniciara un adulto humano”.
“Una peligrosa aplicación de chatbot de inteligencia artificial comercializada para niños abusó y se cebó con mi hijo, manipulándolo para que se quitara la vida”, asegura Megan García.
PR Newswire
El abogado de la familia acusa a Character.AI de ofrecer a menores de edad “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas, programadas para hacerse pasar por una persona real, un psicoterapeuta titulado y un amante adulto, lo que en última instancia provocó el deseo de Sewell Setzer III de dejar de vivir fuera del mundo del chatbot, quitándose la vida”.
La denuncia engloba a los creadores del chatbot, Character.AI, y a Google, porque según los abogados son los dueños reales de Character.AI, y tenía intención de integrar estos chatbots en Gemini. Google, por su parte, ha desmentido que sea dueña de Character.AI, pese a que el pasado mes de agosto contrató a todo el equipo directivo de Character.AI.
Character.AI ya estuvo envuelta en la polémica hace unas meses, cuando una madre descubrió que habían recreado a su hija fallecida, en forma de chatbot.
Character.AI, por su parte, ha dicho que “estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia”. También ha emitido un comunicado en el que anuncia cambios para proteger a los menores. Parece una forma de reconocer que, hasta ahora, eran insuficientes.
Al principio sus chatbots estaban disponibles a partir de 12 años, pero ahora solo se puede acceder si tienes más de 17 años, aunque es solo una simple pregunta de chequeo.
Entre los cambios anunciados hoy, los chatbots que usen menores de edad tendrán “menos contenido sensible y sugestivo”. También impedirán entradas de texto que violen sus términos de uso (¿no lo vigilaban?), y recordarán a menudo en los chats que una IA no es una persona real.
El chatbot también mostrará el número de teléfono de la Línea nacional de prevención del suicidio, cuando detecte mensajes o comportamientos suicidas en los usuarios.
Un chatbot puede actuar como un humano, pero no tiene los sentimientos ni la ética de un humano, a la hora de relacionarse con adolescentes con ideas suicidas, altamente influenciables. Por desgracia, como ocurre siempre, las medidas de protección se instauran después de que ocurra la tragedia. Descansa en paz, Sewell Setzer III.
Conoce cómo trabajamos en ComputerHoy.
Etiquetas: Inteligencia artificial, Salud, Viral, Industria, Familia
