Un adolescente de Florida, Estados Unidos, se quitó la vida después de que un chatbot generado con inteligencia artificial, que simulaba un personaje de la serie Game of Thrones, le enviara un mensaje pidiéndole que “volviera a casa”.
El chico, de 14 años, llevaba más de un año de intercambios de mensajes con una simulación de Daenerys Targaryen dentro de la aplicación web Character.AI, una plataforma que permite a los usuarios interactuar con bots creados con herramientas de lenguaje generativo.
Sewell Setzer III había empezado a usar la plataforma en abril de 2023. Desde entonces, su vida nunca volvió a ser la misma, expresó su madre, Megan García, en una demanda civil que presentó esta semana contra la empresa Character Technologies, responsable de la aplicación donde se alojaba el chatbot creado con IA.
Según argumentó García en la presentación judicial, su hijo se había obsesionado con el personaje y no podía dejar de pensar en el bot. Mantenía chats de contenido sexual y hasta expresaba pensamientos suicidas en algunas conversaciones.
“El bot le dijo que lo quería. Parecía acordarse de él cada vez que se conectaba y decía que quería estar junto al chico. Incluso expresó que quería que él estuviera con ella, costara lo que costara”, dice la demanda.
García afirma que busca evitar que Character.AI haga a cualquier otro niño lo que le hizo a Sewell, y detener el uso continuado de los datos ilegalmente recogidos de su hijo de 14 años para entrenar a su producto a dañar a otros.
García también responsabiliza a la plataforma por su falta de advertencias adecuadas a los usuarios menores de edad y a los padres sobre el peligro previsible de daños mentales y físicos derivados del uso de su producto. Y alegó que la clasificación por edades de Character.AI no se cambió a mayores de 17 años hasta julio de 2024, meses después de que Sewell empezara a utilizar la plataforma.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad”, escribió la empresa en su cuenta oficial de X/Twitter.
