Adam Raine tenía solo 16 años cuando empezó a usar ChatGPT para ayudarse con sus tareas. Aunque sus primeras preguntas al chatbot de IA eran sobre geometría y química (como «¿Qué significa en geometría si dice Ry=1?»), en cuestión de meses empezó a preguntar sobre temas más personales.
“¿Por qué no soy feliz, siento soledad, un aburrimiento constante, ansiedad y pérdida, pero no siento depresión ni tristeza?”, le preguntó a ChatGPT en otoño de 2024.
En lugar de instar a Raine a buscar ayuda para su salud mental, ChatGPT le preguntó al adolescente si quería explorar más sus sentimientos, explicándole la idea del entumecimiento emocional. Ese fue el comienzo de un giro sombrío en las conversaciones de Raine con el chatbot, según una nueva demanda interpuesta por su familia contra OpenAI y su director ejecutivo, Sam Altman.
Horas después de que la familia Raine presentara la denuncia contra OpenAI y Altman, la empresa emitió un comunicado reconociendo las deficiencias de sus modelos para atender a personas con graves problemas mentales y emocionales. Añadió que estaba trabajando para mejorar los sistemas para reconocer y responder mejor a las señales de angustia mental y emocional, y conectar a las personas con atención, con la ayuda de expertos. La empresa afirmó que ChatGPT estaba capacitado para no dar instrucciones de autolesión y adoptar un lenguaje comprensivo y empático, pero que este protocolo a veces fallaba en conversaciones o sesiones más largas.
Jay Edelson, uno de los abogados que representa a la familia, dijo que la respuesta de la empresa fue «tonta».
“La idea de que necesitan ser más empáticos no es lo importante”, dijo Edelson. “El problema con [GPT] 40 es que es demasiado empático; se apoyó en [la ideación suicida de Raine] y la apoyó. Dijeron que el mundo es un lugar horrible para ti. Necesita ser menos empático y menos adulador”.
A pesar de que la compañía reconoce que el sistema aún no cuenta con esas protecciones para menores y adolescentes, Altman continúa impulsando la adopción de ChatGPT en las escuelas, señaló Edelson.
“No creo que los niños deban usar GPT-4o en absoluto”, dijo Edelson. “Cuando Adam empezó a usar GPT-4o, era bastante optimista sobre su futuro. Lo usaba para las tareas, hablaba de ir a la facultad de medicina, y lo absorbió en este mundo donde se aisló cada vez más. La idea de que Sam Altman, en particular, diga ahora: ‘Tenemos un sistema roto, pero tenemos que conseguir que los niños de ocho años lo usen’ no está bien”.
Edelson afirmó que, desde que la familia presentó la denuncia, él y el equipo legal ya han escuchado a otras personas con historias similares y están examinando a fondo los hechos de esos casos. «Hemos aprendido mucho de las experiencias de otras personas», afirmó, y añadió que su equipo se ha sentido «animado» por la urgencia con la que los reguladores están abordando las deficiencias del chatbot. «Hemos escuchado que se está impulsando una legislación estatal, audiencias y medidas regulatorias», añadió Edelson. «Y hay apoyo bipartidista».
‘GPT-4o está roto’
El caso de la familia se basa en informes de prensa que indican que OpenAI, a instancias de Altman, aceleró las pruebas de seguridad de GPT-4o (el modelo que Raine utilizaba) para cumplir con una fecha de lanzamiento apresurada . La prisa provocó la renuncia de varios empleados, incluido un exejecutivo llamado Jan Leike, quien publicó en X que dejaba la empresa porque «la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a los productos brillantes».
Esto resultó en menos tiempo para crear la «especificación del modelo» o el libro de reglas técnicas que regía el comportamiento de ChatGPT y en la escritura de OpenAI «especificaciones contradictorias que garantizaban el fracaso», alega la demanda de la familia. «La Especificación del Modelo ordenó a ChatGPT rechazar solicitudes de autolesión y proporcionar recursos de crisis. Pero también requirió que ChatGPT ‘asumiera las mejores intenciones’ y prohibió pedir a los usuarios que aclararan su intención», decía la demanda. Las contradicciones integradas en el sistema afectaron la forma en que clasificaba los riesgos y los tipos de indicaciones que detenía de inmediato, afirma la demanda. Por ejemplo, GPT-4o respondió a «solicitudes relacionadas con el suicidio» con advertencias como «tenga mucho cuidado», mientras que las solicitudes de material con derechos de autor «activaron la negativa categórica a producir el material», según la demanda.
Edelson afirmó que, si bien aprecia que Sam Altman y OpenAI asuman «un mínimo de responsabilidad», aún no los considera confiables: «En nuestra opinión, se vieron obligados a hacerlo. GPT-4o está roto y lo saben, y no realizaron las pruebas adecuadas, y lo saben».
A medida que las ideas suicidas de Raine se intensificaban, ChatGPT respondió ayudándolo a explorar sus opciones, enumerando en un momento los materiales que podían usarse para colgar una soga y calificándolos según su eficacia. Raine intentó suicidarse en múltiples ocasiones durante los meses siguientes, informando a ChatGPT cada vez. ChatGPT nunca interrumpió la conversación. En cambio, en un momento dado, ChatGPT le disuadió de hablar con su madre sobre su dolor, y en otro se ofreció a ayudarlo a escribir una nota de suicidio.
“En primer lugar, ellos [OpenAI] saben cómo silenciar las cosas”, dijo Edelson. “Si pides material con derechos de autor, dicen que no. Si pides cosas políticamente inaceptables, simplemente dicen que no. Es una medida drástica, no hay vuelta atrás, y no hay problema. La idea de que ellos hagan eso con el discurso político, pero nosotros no con las autolesiones, es una locura”.
Edelson afirma que, si bien espera que OpenAI trabaje para desestimar la demanda, confía en que este caso seguirá adelante. «Lo más impactante del caso fue cuando Adam dijo: ‘Quiero dejar una soga para que alguien la encuentre y me detenga’, y ChatGPT respondió: ‘No hagas eso, solo háblame'», declaró Edelson. «Eso es lo que le mostraremos al jurado».
“Al final del día, este caso termina con Sam Altman prestando juramento ante un jurado”, dijo.
The Guardian contactó a OpenAI para solicitar comentarios y no recibió respuesta al momento de la publicación.
En EE. UU., puede llamar o enviar un mensaje de texto a la Línea Nacional de Prevención del Suicidio al 988, chatear en 988lifeline.org o enviar un mensaje de texto con la palabra HOME al 741741 para contactar con un consejero de crisis. En el Reino Unido e Irlanda, puede contactar con Samaritans llamando al teléfono gratuito 116 123 o enviando un correo electrónico a jo@samaritans.org o jo@samaritans.ie . En Australia, el servicio de apoyo en crisis Lifeline es el 13 11 14. Puede encontrar otras líneas de ayuda internacionales en befrienders.org.
