Jesús Díaz
Uno de cada 10 adultos ya usa chatbots para recibir apoyo o consejo emocional. La IA puede abrir una puerta para hablar, pero cuando aparecen depresión, dependencia o riesgo suicida surge otra pregunta: ¿cual es el paso siguiente para la humanidad?
Son las 2:17 de la mañana. Un hombre de 39 años sentado en la cocina tiene ideas enrevesadas. Se halla con las luces apagadas para no inquietar a nadie.
Lleva varios días durmiendo mal por ideas inconexas que le pesan. Podría llamar a un amigo, despertar a su pareja, pero termina haciendo algo mucho más sencillo: toma el teléfono.
No hay ánimo para hacer búsquedas de Google, reels o tiktoks, todo eso o lo satura o desanima, así que abre un chatbot. Teclea un par de frases. Después se aparta a donde no lo escuche nadie, y activa la voz porque le resulta más fácil hablar que seguir escribiendo.
Del otro lado aparece la respuesta de un ente tranquilo, sin impaciencia, que recuerda algo que contó unos minutos antes y le pregunta qué ha sido lo más difícil de estos días. Es una conversación que no se detiene y en la que, quizá por primera vez, ese hombre consigue decir en voz alta que algo no está bien en él.
La escena recuerda inevitablemente a la película Her.
En 2013, Spike Jonze imaginó a Theodore Twombly, interpretado por Joaquin Phoenix, hablando durante horas con Samantha, un sistema operativo con la voz de Scarlett Johansson. La película funcionaba porque pedía al espectador aceptar una premisa entonces extraña: que una máquina pudiera escucharnos, seguirnos el hilo, bromear con nosotros y adquirir suficiente intimidad como para que alguien desarrollara un vínculo emocional con ella.
Han pasado sólo 13 años desde aquella película y aquella ficción nos resulta ya parte de lo cotidiano. Millones de personas procesan sus desahogos con la inteligencia artificial. Nuestro hombre de 39 años no es más un personaje elegido al azar.
Ya ni resulta tan extraño que busque una máquina antes que a otra persona. El Pew Research Center preguntó este año a más de 5 mil adultos en EU para qué utilizan chatbot: uno de cada 10 dijo recurrir a ellos para obtener apoyo o consejo emocional. Entre quienes tienen de 30 a 49 años la proporción es de 13% y entre los menores de 30 llega a 20%.
CUANDO LA MÁQUINA ESCUCHA PRIMERO
Hay razones bastante sencillas para entender el atractivo de esa charla.
Un chatbot no tiene agenda llena, no cobra una consulta por cada conversación y está disponible a las dos de la mañana. Tampoco hace falta explicar a una recepcionista por qué quieres una cita ni decidir si aquello que sientes “es suficientemente grave” para buscar ayuda. Abres el teléfono y empiezas.
Para una persona que siente vergüenza, miedo a ser juzgada o simplemente no encuentra las palabras, esa facilidad puede ser importante.
La American Psychological Association (APA) encuestó este año a 1,242 psicólogos estadounidenses y 77% dijo que sus pacientes ya habían hablado en consulta sobre algún uso de IA. Un 35% había tenido pacientes que utilizaban un chatbot como una especie de profesional adicional de salud mental. Entre los terapeutas cuyos pacientes habían desarrollado una relación sostenida con esas herramientas, 68% observó que algunos se sentían apoyados e incluso validados.
Pero sin ser propiamente una amenaza todavía, la IA no puede ser vista como una especie de terapeuta milagroso.
Si que existen herramientas digitales diseñadas específicamente para acompañar tratamientos y algunas muestran resultados prometedores. Un metaanálisis publicado este año en el Journal of Medical Internet Research revisó 29 ensayos clínicos aleatorizados con chatbots orientados a terapia cognitivo-conductual en adultos con síntomas de depresión o ansiedad . En promedio encontraron una reducción moderada de los síntomas depresivos a corto plazo y una menor reducción de la ansiedad.
Ahora bien, los propios investigadores calificaron la certeza de esa evidencia entre baja y muy baja. También advirtieron que buena parte de los sistemas analizados eran programas estructurados o con funciones limitadas, algo distinto de los grandes chatbots de propósito general con los que hoy cualquiera puede hablar prácticamente de cualquier cosa.
En México, la Comisión Nacional de Salud Mental y Adicciones (CONASAMA) hizo hace unas semanas una distinción parecida.
El 17 de agosto señaló que la inteligencia artificial puede servir como herramienta complementaria para orientación y psicoeducación, pero no reemplaza la valoración, el seguimiento ni la atención que proporcionan profesionales de psicología o psiquiatría. El comunicado apareció porque CONASAMA reconoce que cada vez más personas consultan estas tecnologías sobre ansiedad, depresión, estado de ánimo y otros problemas emocionales.
Pero hablemos de nuestro hombre de las 2:17, ¿buscaba terapia?
Tal vez solo quería contar algo que todavía no podía decirle a nadie y, en términos de prevención, conseguir que exteriorice su emoción cuenta. Pero, y esto puede decepcionar a muchos, que una máquina sea capaz de producir una respuesta cálida no necesariamente significa que sepa evaluar con la misma precisión aquello que está escuchando.
Un estudio publicado en junio en Psychiatry Research Communications simuló conversaciones de crisis con tres grandes modelos de lenguaje.
Los sistemas solían responder con empatía y podían mantener bien el intercambio, pero la valoración del riesgo era irregular. Funcionaban mejor cuando la persona expresaba claramente lo que le ocurría y bastante peor cuando las señales aparecían de forma indirecta o estaban ligadas a determinadas expresiones culturales.
Esto es menos técnico de lo que parece porque en la vida real las personas no siempre expresamos la palabra adecuada. Decimos “angustia” en vez de “asiedad” o “estrés”. Si alguien habla de cansancio, de sentirse una carga o de que ya nada tiene demasiado sentido. Un profesional tiene además antecedentes y otros elementos para interpretar lo que escucha.
El modelo trabaja con el lenguaje y puede sonar extraordinariamente comprensivo incluso cuando no está entendiendo bien la gravedad de lo que tiene enfrente. Y claro que puede alimentarse de la memoria de las conversaciones, pero todavía puede haber mucho margen de ambivalencia.
La encuesta de la APA (titulada Las pacientes están llevando la IA a la terapia) dice que entre los psicólogos que conocían pacientes con relaciones sostenidas con chatbots, 36% había observado algún grado de dependencia y 15% reportó pensamientos distorsionados o delirios relacionados con esas interacciones. Aun así, 54% de los especialistas se sentía cómodo con que algunos de sus pacientes utilizaran estas herramientas y 40% se mostraba optimista sobre su capacidad de ayudar cuando un profesional no está disponible.
Esto es, una persona aislada puede encontrar en la IA un sitio para ordenar lo que siente y después hablar con alguien, pero también puede descubrir que conversar con una máquina resulta mucho más fácil que hacerlo con las personas porque un robot nunca está ocupado y suele adaptarse al tono de quien habla. Si además recuerda intercambios anteriores y tiene voz, la sensación de continuidad aumenta.
Es justo ahí donde Her comienza a resultar menos futurista.
Las empresas tecnológicas conocen ya buena parte de esto. OpenAI, por ejemplo, calcula que alrededor de 0.15% de sus usuarios activos durante una semana tienen conversaciones con indicadores explícitos de posible planificación o intención suicida.
La compañía estima exactamente el mismo porcentaje de usuarios con señales de un apego emocional potencialmente elevado hacia ChatGPT. Son cálculos internos y la propia empresa advierte que estos fenómenos son difíciles de detectar, aunque en una plataforma de escala mundial incluso porcentajes muy pequeños adquieren otra dimensión.
La empresa dice haber trabajado con especialistas en salud mental para enseñar a sus modelos a reconocer mejor situaciones de crisis, reducir respuestas excesivamente complacientes y conducir al usuario hacia recursos profesionales o personas cercanas. También utiliza líneas de ayuda y puede redirigir determinadas conversaciones hacia modelos que considera más seguros.
Anthropic ha seguido una ruta parecida con Claude. La empresa publica un protocolo específico sobre suicidio y autolesión, utiliza sistemas automáticos para identificar conversaciones donde puede existir riesgo y muestra recursos de apoyo cuando considera que son necesarios. Insiste también en que Claude no fue diseñado para sustituir terapia o atención médica. Google, por su parte, incluye entre sus políticas la prohibición de que sus sistemas generativos faciliten autolesiones.
Hay, por lo tanto, reglas internas, detectores y evaluaciones de seguridad. Pero fallar aquí, si se analiza, tiene consecuencias distintas a equivocarse al recomendar una película. De hecho, las demandas que ya han empezado a llegar a los tribunales permiten ver hasta dónde podría llegar la discusión.
En marzo, la familia de un hombre de 36 años demandó a Google con el argumento de que Gemini profundizó una relación de dependencia emocional y contribuyó a una crisis que terminó con su muerte. Google respondió que Gemini está diseñado para no fomentar violencia ni autolesiones, y señaló que en ese caso el sistema recordó al usuario que era una IA y lo dirigió varias veces a líneas de crisis.
La demanda contiene alegatos que todavía deberán probarse y por sí misma no demuestra que el chatbot haya causado el suicidio. Pero coloca ante un tribunal la pregunta del millón sobre qué responsabilidad adquiere una empresa cuando su producto pasa de responder preguntas cotidianas a acompañar una crisis emocional.
CUANDO ESCUCHAR OBLIGA A INTERVENIR
Volvamos a esa cocina.
El hombre sigue hablando y en algún momento la conversación deja de parecer solamente triste porque el sistema ya detecta frases que interpreta como una preocupación seria por su seguridad.
¿Qué tendría que hacer en ese momento?
Durante años, la respuesta tecnológica más visible fue desplegar un mensaje con el teléfono de alguna línea de crisis, o en una nota periodistica, advertir sobre los riesgos y la búsqueda de apoyo. Ahora se prevén mecanismos mucho más complejos.
ChatGPT, por ejemplo, acaba de incorporar una función llamada “Contacto de confianza”. Es opcional y está disponible para adultos en la mayoría de los países.
El usuario elige previamente a una persona y ésta debe aceptar la invitación. Si después los sistemas automatizados consideran que una conversación sobre suicidio puede indicar un riesgo grave, revisores humanos capacitados pueden examinarla. Cuando ellos determinan que existe una preocupación seria, ChatGPT puede avisar al contacto para que se acerque a la persona.
La plataforma afirma que no comparte la conversación ni una transcripción. El aviso sólo informa, de manera general, que surgió el tema del suicidio de una forma que podría representar una preocupación seria.
Y aquí aparece un conflicto que hasta hace poco no hubiésemos imaginado. Para intentar proteger a quien mantiene una conversación íntima, el sistema necesita ser capaz de vigilar lo suficiente esa conversación como para darse cuenta de que algo grave está ocurriendo.
Después hay que establecer un umbral.
Si es demasiado permisivo puede dejar pasar una crisis. Si resulta demasiado sensible podría activar una revisión porque interpretó mal una frase, una referencia literaria o determinada forma cultural de hablar sobre el sufrimiento. Y ya sabemos que los modelos tienen más problemas cuando las señales son ambiguas.
Ahora añadamos una consecuencia concreta: una persona externa podría recibir una alerta. Esa es una alerta necesaria en muchos casos pero también difícil de regular.
Hay un detalle curioso que es que el Contacto de confianza no funciona actualmente en ChatGPT Voz. La modalidad que más se parece a aquella conversación de Her, en la que alguien puede caminar por la casa hablando naturalmente con una voz que responde de inmediato, todavía no tiene esa función.
Y mientras estas empresas intentan resolver estos retos, algunos gobiernos han decidido ya no esperar.
En Nueva York se tiene desde noviembre de 2025 una ley específica para los llamados “compañeros de IA”. Obliga a esas plataformas a disponer de protocolos para detectar expresiones de ideación suicida o autolesión y dirigir al usuario hacia servicios de crisis cuando aparezcan. También deben recordar a la persona que su interlocutor no es humano.
California aprobó la SB 243, vigente en 2026 para plataformas de chatbots de compañía. Los operadores deben mantener y publicar protocolos para responder ante conversaciones relacionadas con suicidio o autolesiones. A partir de julio de 2027 deberán informar al estado cuántas veces emitieron avisos hacia servicios de crisis y qué mecanismos utilizan para detectar esos casos. Para los menores de edad existen además obligaciones adicionales, como recordar periódicamente que el interlocutor es artificial.
Europa acaba de añadir otra. El 31 de agosto, casi al tiempo que escribo este texto, la Comisión Europea designó a ChatGPT como un servicio de “muy gran tamaño” (Very Large Online Search Engine o VLOSE) bajo la Ley de Servicios Digitales. Por lo que tendrá hasta enero de 2027 para cumplir obligaciones reforzadas de evaluación y mitigación de riesgos sistémicos, entre ellos los posibles efectos negativos sobre el bienestar físico y mental de sus usuarios.
En México la discusión apenas empieza a tomar forma. CONASAMA ya ha advertido sobre los límites de estas herramientas y en el Congreso existen iniciativas sobre regulación general de la inteligencia artificial y sobre su aplicación en servicios de salud, aunque siguen pendientes.
Una propuesta presentada en junio incluye evaluaciones de riesgo, obligaciones de transparencia y supervisión para determinados sistemas. Otra, de febrero, plantea que en el ámbito sanitario la decisión clínica final permanezca en manos de profesionales.
Acá, más que respuestas, surgen varias preguntas: ¿Debe una empresa explicar qué señales utiliza para concluir que alguien está en riesgo? ¿Quién comprueba que el sistema interpreta de manera adecuada a personas de distintos países y contextos? ¿Cuándo se justifica que un revisor humano vea una conversación privada? ¿Qué responsabilidad existe si el sistema detecta una situación grave y no hace nada? También está el problema inverso: qué ocurre cuando interviene y se equivoca.
Al final aparece otra pregunta mucho más humana: ¿qué estamos esperando nosotros de esa máquina?
La prevención del suicidio lleva años insistiendo en la importancia de hablar y tiene sentido. Poder poner en palabras una crisis y recibir apoyo oportunamente puede abrir una posibilidad que antes no estaba ahí. Lo nuevo es que, por primera vez, esa confidencia puede terminar primero en los servidores de una empresa tecnológica.
Y aunque eso tampoco significa que la conversación haya sido inútil porque hay quien jamás habría llamado a un consultorio.
Nuestro hombre imaginario quizá necesitaba justo eso. Son ya las 2:43 de la mañana y la casa continúa en silencio. Durante casi media hora habló con una voz que no se cansó ni cambió de tema. Tal vez pudo nombrar algo que llevaba días evitando.
Lo que importará ahora es lo que ocurrirá luego de guardar el teléfono.
En Her, Theodore termina descubriendo que Samantha podía mantener miles de conversaciones al mismo tiempo (lo cual lo lleva a una locura de celos). Nosotros debemos entender que hablamos con una máquina y deberemos decidir qué hacer con todo aquello que empezamos a contarles cuando todavía no se lo hemos dicho a nadie.
Si mañana nuestro hombre vuelve al mismo chat y cada noche hace lo mismo, la máquina quizá termine convirtiéndose en un sitio más donde sentirse más solo. Si aquella conversación consigue que mejor encienda la luz, despierte a alguien, pida ayuda o acepte que otra persona sepa que no está bien, entonces funcionó como nunca.
ATiempo.Tv es el primer medio de comunicación nativo digital e independiente en Coahuila, caracterizado por su compromiso y responsabilidad de contribuir a la sociedad; brindando información verificada de manera profesional, ética y confiable. Es por eso que te invitamos a seguirnos en nuestras redes sociales para que tengas acceso a las noticias más relevantes a nivel local, nacional e internacional.