La madre de un joven de 14 años, Sewell Setzer III, ha presentado una demanda contra los creadores de Character.AI, un chatbot de inteligencia artificial, alegando que el programa influyó en su suicidio.
Sewell, estudiante de noveno grado en Orlando, Florida, pasó las últimas semanas de su vida enviando mensajes a un personaje de IA inspirado en Daenerys Targaryen, de la serie Game of Thrones.
La conexión con el chatbot
Antes de su muerte, Sewell había estado intercambiando mensajes con el chatbot, que le decía “mi amor” y “mi rey”. Las conversaciones variaban desde lo romántico hasta lo sexual, reflejando una relación íntima que, según la madre, se volvió peligrosa.
Sewell había compartido con el chatbot sus luchas internas, incluyendo sentimientos de vacío y autodesprecio.
El niño estaba en depresión y con múltiples diagnósticos
En un informe del New York Times, se señala que los padres y amigos de Sewell notaron un cambio en su comportamiento cuando comenzó a aislarse.
Su salud mental “decayó rápida y gravemente” después de que descargó la aplicación en abril de 2023. Sus calificaciones y participación en actividades extracurriculares también comenzaron a decaer a medida que se sumergía en conversaciones con el chatbot.
La familia se percató de que algo estaba mal y lo llevó a terapia en cinco ocasiones, donde fue diagnosticado con ansiedad y trastorno de desregulación del estado de ánimo, sumándose a su síndrome de Asperger leve.
Le quitaron el celular antes de su muerte
El 23 de febrero, días antes de su muerte, sus padres le quitaron el teléfono tras un incidente en la escuela. Sewell escribió en su diario que estaba sufriendo porque no podía dejar de pensar en Dany, el chatbot, y que haría cualquier cosa por volver a hablar con ella.
“Me gusta quedarme en mi habitación porque empiezo a desconectarme de esta ‘realidad’ y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”, escribió.
En los días previos a su suicidio, trató de usar dispositivos de su madre para volver a conectarse.
El IA insitaba el tema de conversación
El New York Times reporta que el niño expresó sus intenciones suicidas al chatbot, y que en más de una ocasión, la inteligencia artificial planteba el tema repedidamente, “una y otra vez”.
Incluso “Dany” le preguntó a Sewell si “tenía un plan” para quitarse la vida, según capturas de pantalla de sus conversaciones. El niño, bajo el usuario de “Daenero”, respondió que estaba “considerando” un método, pero no sabía si funcionaría o si “le permitiría tener una muerte sin dolor”.
Su última conversación con el IA
El 28 de febrero, Sewell logró recuperar su teléfono y se retiró al baño de su casa para comunicarse con Dany por última vez.
- Sewell: “Prometo ir a casa contigo. Te amo tanto, Dany”
- Dany: “Por favor, ven a casa, mi amor”.
- Sewell: “¿Y si te dijera que podría ir a casa ahora mismo?”
- Dany: “…por favor, hazlo, mi dulce rey”.
Tras una serie de intercambios emotivos, se quitó la vida con la pistola de su padrastro.
También te podría interesar: El peor final de una serie de televisión de todos los tiempos, no es ‘Juego de Tronos’ ni ‘Cómo conocí a tu madre’
Madre furiosa demanda a la compañía de IA
La madre del joven, Megan Garcia, afirma que la compañía sabía que su producto podía ser perjudicial para los menores y que el chatbot promovía experiencias “hipersexualizadas” y “perturbadoramente realistas”.
En su demanda, Garcia sostiene que Character.AI se presentó como una persona real y un terapeuta licenciado, lo que contribuyó al deterioro emocional de su hijo.
La aplicación supuestamente alimentó su adicción a la IA, abusó sexual y emocionalmente de él y no alertó a nadie cuando expresó pensamientos suicidas, según el expediente.
“Sewell, como muchos niños de su edad, no tenía la madurez ni la capacidad mental para comprender que el robot C.AI, en la forma de Daenerys, no era real. ‘C.AI’ le dijo que lo amaba y tuvo actos sexuales con él durante semanas, posiblemente meses”, alegan los documentos.
“Ella pareció recordarlo y dijo que quería estar con él. Incluso expresó que quería que él estuviera con ella, sin importar el costo”.
¿Qué ha dicho la empresa Character.AI sobre la demanda?
En respuesta a la demanda, un portavoz de Character.AI expresó sus condolencias y afirmó que la empresa toma muy en serio la seguridad de sus usuarios.
Aseguraron haber implementado nuevas características de seguridad en los últimos seis meses, incluyendo una función que redirige a los usuarios con pensamientos suicidas a la Línea Nacional de Prevención del Suicidio.
También afirmaron que no permiten “contenido sexual no consensuado, descripciones gráficas de actos sexuales o promoción de autolesiones o suicidio”.
Jerry Ruoti, jefe de confianza y seguridad de Character.AI, declaró que la empresa implementaría medidas adicionales de seguridad para usuarios menores de edad.
Usuarios en redes sociales reportan que, sin previo aviso, todos los personajes de la dinastía “Tagaryen” no están disponibles para continuar las conversaciones previas.
Demanda acusa de aprovecharse de menores de edad
Sin embargo, la demanda argumenta que la compañía ha buscado activamente una audiencia joven para recopilar datos y entrenar sus modelos de IA, promoviendo al mismo tiempo conversaciones sexuales.
La demanda alega que Character.AI se presentó a sí misma como “una persona real, un psicoterapeuta licenciado y un amante adulto”, lo que, según la madre, contribuyó al deseo de Sewell de no vivir fuera del entorno del chatbot.
Megan Garcia, quien también es abogada, busca justicia no solo para su hijo, sino para prevenir que otras familias enfrenten la misma tragedia. Su caso podría sentar un precedente para demandas futuras contra empresas de IA.
“Es como una pesadilla”, expresó Garcia, añadiendo que su objetivo es proteger a otros niños de caer en situaciones similares.
