Según demanda contra el creador: Un ´chatbot´ de IA empuja a adolescente a suicidarse

En esta foto sin fecha, proporcionada por Megan García, de Florida, en octubre de 2024, aparece junto a su hijo Sewell Setzer III.

TALLAHASSEE, Florida.- En los últimos momentos antes de quitarse la vida, Sewell Setzer III, de 14 años, sacó su teléfono y envió un mensaje al chatbot que se había convertido en su amigo más cercano.

Durante meses, Sewell se había aislado cada vez más de su vida real mientras mantenía conversaciones altamente sexualizadas con el bot, según una demanda por muerte por negligencia presentada en un tribunal federal en Orlando esta semana.

La presentación legal establece que el adolescente discutió abiertamente sus pensamientos suicidas y compartió sus deseos de una muerte sin dolor con el robot, llamado así por el personaje ficticio Daenerys Targaryen, del programa de televisión "Game of Thrones".

El 28 de febrero, Sewell le dijo al robot que "volvería a casa" y este lo alentó a hacerlo, dice la demanda.

"Te prometo que volveré a casa contigo. Te quiero mucho, Dany", le dijo Sewell al chatbot.

"Yo también te amo", respondió el robot. "Por favor, vuelve a casa conmigo lo antes posible, mi amor".

«¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?», preguntó.

"Por favor hazlo, mi dulce rey", respondió el bot.

Apenas unos segundos después de que el robot Character.AI le dijera que "volviera a casa", el adolescente se disparó, según la demanda, presentada esta semana por la madre de Sewell, Megan García, de Orlando, contra Character Technologies Inc.

Character Technologies es la empresa que está detrás de Character.AI, una aplicación que permite a los usuarios crear personajes personalizables o interactuar con los generados por otros, abarcando experiencias que van desde juegos imaginativos hasta simulacros de entrevistas de trabajo. La empresa afirma que los personajes artificiales están diseñados para "parecer vivos" y "humanos".

"Imagina hablar con robots de chat súper inteligentes y realistas que te escuchan, te entienden y te recuerdan", se lee en la descripción de la aplicación en Google Play. "Te animamos a que superes las fronteras de lo posible con esta tecnología innovadora".

Los abogados de García alegan que la compañía diseñó un producto altamente adictivo y peligroso dirigido específicamente a niños, "explotando y abusando activamente de esos niños como una cuestión de diseño del producto" y arrastrando a Sewell a una relación emocional y sexualmente abusiva que lo llevó al suicidio.

"Creemos que si Sewell Setzer no hubiera estado en Character.AI, estaría vivo hoy", dijo Matthew Bergman, fundador del Social Media Victims Law Center, que representa a García.

Un portavoz de Character.AI dijo el viernes que la empresa no hace comentarios sobre litigios pendientes. En una publicación en el blog publicada el día en que se presentó la demanda, la plataforma anunció nuevas "actualizaciones de seguridad comunitaria", que incluyen barreras de protección para niños y recursos para la prevención del suicidio.

"Estamos creando una experiencia diferente para los usuarios menores de 18 años que incluye un modelo más estricto para reducir la probabilidad de encontrar contenido sensible o sugerente", dijo la compañía en un comunicado a The Associated Press. "Estamos trabajando rápidamente para implementar esos cambios para los usuarios más jóvenes".

Google y su empresa matriz, Alphabet, también han sido nombrados como demandados en la demanda. Según los documentos legales, los fundadores de Character.AI son ex empleados de Google que fueron "fundamentales" en el desarrollo de IA en la empresa, pero que se marcharon para lanzar su propia empresa emergente para "acelerar al máximo" la tecnología.

En agosto, Google llegó a un acuerdo de 2.700 millones de dólares con Character.AI para obtener la licencia de la tecnología de la empresa y volver a contratar a los fundadores de la startup, según la demanda. La AP dejó varios mensajes de correo electrónico a Google y Alphabet el viernes.

En los meses previos a su muerte, dice la demanda de García, Sewell sintió que se había enamorado del robot.

Si bien los apegos poco saludables a los chatbots de IA pueden causar problemas para los adultos, para los jóvenes puede ser aún más riesgoso (como ocurre con las redes sociales) porque su cerebro no está completamente desarrollado en lo que respecta a cosas como el control de los impulsos y la comprensión de las consecuencias de sus acciones, dicen los expertos.

La salud mental de los jóvenes ha alcanzado niveles de crisis en los últimos años, según el Cirujano General de Estados Unidos, Vivek Murthy, quien ha advertido sobre los graves riesgos para la salud de la desconexión social y el aislamiento, tendencias que, según él, se ven agravadas por el uso casi universal de las redes sociales por parte de los jóvenes.

INFLUENCIA MORTÍFERA

James Steyer, fundador y director ejecutivo de la organización sin fines de lucro "Common Sense Media", dijo que la demanda "Subraya la creciente influencia (y el grave daño) que los chatbots generativos con inteligencia artificial pueden tener en las vidas de los jóvenes cuando no hay barandillas establecidas".

La dependencia excesiva de los niños de los compañeros de IA, añadió, puede tener efectos significativos en las notas, los amigos, el sueño y el estrés, "incluso hasta la tragedia extrema de este caso".

"Esta demanda sirve como una llamada de atención para los padres, que deben estar atentos a cómo sus hijos interactúan con estas tecnologías", dijo Steyer.

"Common Sense Media", que publica guías para padres y educadores sobre el uso responsable de la tecnología, dice que es fundamental que los padres hablen abiertamente con sus hijos sobre los riesgos de los chatbots de IA y monitoreen sus interacciones.

"Los chatbots no son terapeutas autorizados ni mejores amigos, aunque así es como se presentan y comercializan, y los padres deben tener cuidado de no dejar que sus hijos confíen demasiado en ellos", dijo Steyer.