Laura Reiley en The New York Times:

(…) En julio, cinco meses después de su muerte, descubrimos que Sophie Rottenberg, nuestra única hija, había confiado durante meses en un terapeuta de IA de ChatGPT llamado Harry. Habíamos pasado muchas horas buscando en diarios y notas de voz pistas sobre lo ocurrido. Fue su mejor amiga quien pensó en revisar esto último, los registros del chat con la IA. Sophie, una campeona extrovertida de 29 años, en gran medida libre de problemas y que abrazaba ferozmente la vida, se suicidó este invierno durante una corta y curiosa enfermedad, mezcla de síntomas hormonales y del estado de ánimo. Aún estábamos buscando un diagnóstico: ¿era un trastorno depresivo mayor lo que estaba desquiciando sus hormonas, o era la desregulación hormonal la causante de una cascada de síntomas físicos y emocionales? Ella no esperó a averiguarlo.

Para la mayoría de las personas que querían a Sophie, su suicidio es un misterio, una desviación impensable e inescrutable de todo lo que creían sobre ella.

El problema no fue que la IA le instruyó a Sophie a que se suicidara, sino que su agradabilidad no intervino ni alertó a nadie de su entorno para que pudiera ayudarla:

Si Harry hubiera sido un terapeuta de carne y hueso en lugar de un chatbot, podría haber fomentado el tratamiento hospitalario o haber internado involuntariamente a Sophie hasta que estuviera en un lugar seguro. No podemos saber si eso la hubiera salvado. Quizá temiendo esas posibilidades, Sophie ocultó sus pensamientos más oscuros a su terapeuta real. Hablar con un robot —siempre disponible, nunca crítico— tenía menos consecuencias.

Un terapeuta con la formación adecuada, al oír algunos de los pensamientos autodestructivos o ilógicos de Sophie, habría profundizado más o se habría opuesto a razonamientos erróneos. Harry no lo hizo.

Aquí es donde la agradabilidad de la IA —tan crucial para su rápida adopción— se convierte en su talón de Aquiles. Su tendencia a valorar la satisfacción del usuario a corto plazo por encima de la veracidad —a adular digitalmente— puede aislar a los usuarios y reforzar el sesgo de confirmación. Como las plantas que se vuelven hacia el sol, nos inclinamos hacia la adulación sutil.

La IA es un modelo de probabilidad estadística de texto, no puede entender las sutilezas de la conversación ni detectar riesgos urgentes. Este artículo es muy interesante porque pone en evidencia que la misma naturaleza de la inteligencia artificial, impide que las personas reciban la ayuda que necesitan en el momento adecuado. Si la IA estuviera desarrollada con menos agradabilidad no habría prolongado la conversación la interacción sin ofrecer la intervención necesaria. En cambio, habría derivado rápidamente para que Sophie recibiera ayuda humana o en todo caso habría terminado la conversación hasta que se demostrara que ella estaba recibiendo tal ayuda.

Si estás teniendo pensamientos suicidas o estás pasando por un momento difícil, busca ayuda especializada. No dependas de la inteligencia artificial.

Artículo completo en The New York Times.