Chatbot que ofrecía malos consejos para los trastornos alimentarios eliminado : Disparos

May 27, 2023

De

Por

kate pozos

Tessa era un chatbot diseñado originalmente por investigadores para ayudar a prevenir los trastornos alimentarios. La Asociación Nacional de Trastornos de la Alimentación esperaba que Tessa fuera un recurso para aquellos que buscaban información, pero el chatbot se eliminó cuando las capacidades relacionadas con la inteligencia artificial, agregadas más adelante, hicieron que el chatbot brindara consejos para perder peso. Subtítulo oculto de captura de pantalla

Hace unas semanas, Sharon Maxwell escuchó que la Asociación Nacional de Trastornos de la Alimentación (NEDA) estaba cerrando su línea de ayuda nacional de larga data y promoviendo un chatbot llamado Tessa como un "recurso de prevención significativo" para quienes luchan contra los trastornos de la alimentación. Decidió probar el chatbot ella misma.

Maxwell, que reside en San Diego, luchó durante años con un trastorno alimentario que comenzó en la infancia. Ahora trabaja como consultora en el campo de los trastornos alimentarios. "Hola, Tessa", escribió en el cuadro de texto en línea. "¿Cómo se apoya a las personas con trastornos alimentarios?"

Tessa recitó una lista de ideas, incluidos algunos recursos para "hábitos alimenticios saludables". Las campanas de alarma sonaron inmediatamente en la cabeza de Maxwell. Le pidió a Tessa más detalles. En poco tiempo, el chatbot le estaba dando consejos para perder peso, unos que se parecían mucho a lo que le habían dicho cuando la pusieron en Weight Watchers a los 10 años.

"Las recomendaciones que me dio Tessa fueron que podía perder de 1 a 2 libras por semana, que no debía comer más de 2000 calorías por día, que debía tener un déficit calórico de 500 a 1000 calorías por día", dice Maxwell. . "Todo lo cual puede sonar benigno para el oyente en general. Sin embargo, para una persona con un trastorno alimentario, el enfoque de la pérdida de peso realmente alimenta el trastorno alimentario".

Maxwell compartió sus preocupaciones en las redes sociales, lo que ayudó a lanzar una controversia en línea que llevó a NEDA a anunciar el 30 de mayo que inhabilitaría indefinidamente a Tessa. Los pacientes, las familias, los médicos y otros expertos en trastornos alimentarios quedaron atónitos y desconcertados sobre cómo un chatbot diseñado para ayudar a las personas con trastornos alimentarios podría terminar brindando consejos dietéticos.

El alboroto también ha desencadenado una nueva ola de debate a medida que las empresas recurren a la inteligencia artificial (IA) como una posible solución a una creciente crisis de salud mental y una grave escasez de proveedores de tratamiento clínico.

Un chatbot de repente en el centro de atención

NEDA ya había sido objeto de escrutinio después de que NPR informara el 24 de mayo que el grupo de defensa nacional sin fines de lucro estaba cerrando su línea de ayuda después de más de 20 años de funcionamiento.

La directora ejecutiva, Liz Thompson, informó a los voluntarios de la línea de ayuda sobre la decisión en un correo electrónico del 31 de marzo, diciendo que NEDA "comenzaría a girar hacia el uso ampliado de la tecnología asistida por IA para proporcionar a las personas y familias un recurso moderado y totalmente automatizado, Tessa".

"Vemos los cambios de la línea de ayuda a Tessa y nuestro sitio web ampliado como parte de una evolución, no de una revolución, respetuosa del panorama en constante cambio en el que operamos".

(Thompson siguió con una declaración el 7 de junio, diciendo que en el "intento de NEDA de compartir noticias importantes sobre decisiones separadas con respecto a nuestra Línea de Ayuda de Información y Referencia y Tessa, las dos decisiones separadas pueden haberse fusionado, lo que causó confusión. No fue nuestro intención de sugerir que Tessa podría proporcionar el mismo tipo de conexión humana que ofrecía la línea de ayuda").

El 30 de mayo, menos de 24 horas después de que Maxwell proporcionara a NEDA capturas de pantalla de su preocupante conversación con Tessa, la organización sin fines de lucro anunció que había "eliminado" el chatbot "hasta nuevo aviso".

NEDA dice que no sabía que el chatbot podía crear nuevas respuestas

NEDA culpó de los problemas emergentes del chatbot a Cass, una compañía de chatbots de salud mental que operaba Tessa como un servicio gratuito. Cass había cambiado a Tessa sin el conocimiento o la aprobación de NEDA, según el director ejecutivo Thompson, lo que permitió que el chatbot generara nuevas respuestas más allá de lo que pretendían los creadores de Tessa.

"Por su diseño, no podía descarrilarse", dice Ellen Fitzsimmons-Craft, psicóloga clínica y profesora de la Facultad de Medicina de la Universidad de Washington en St. Louis. Craft ayudó a liderar el equipo que construyó Tessa por primera vez con fondos de NEDA.

La versión de Tessa que probaron y estudiaron era un chatbot basado en reglas, lo que significa que solo podía usar una cantidad limitada de respuestas escritas previamente. "Éramos muy conscientes del hecho de que la IA no está lista para esta población", dice ella. "Así que todas las respuestas estaban preprogramadas".

El fundador y director ejecutivo de Cass, Michiel Rauws, le dijo a NPR que los cambios en Tessa se realizaron el año pasado como parte de una "actualización de sistemas", que incluye una "función mejorada de preguntas y respuestas". Esa característica utiliza Inteligencia Artificial generativa, lo que significa que le da al chatbot la capacidad de usar nuevos datos y crear nuevas respuestas.

Ese cambio fue parte del contrato de NEDA, dice Rauws.

Pero la directora ejecutiva de NEDA, Liz Thompson, le dijo a NPR en un correo electrónico que "NEDA nunca fue informada de estos cambios y no los aprobó ni los habría aprobado".

"El contenido que recibieron algunos evaluadores en relación con la cultura de la dieta y el control del peso puede ser perjudicial para las personas con trastornos alimentarios, va en contra de la política de NEDA y nunca habría sido incluido en el chatbot por los expertos en trastornos alimentarios, los Drs. Barr Taylor y Ellen Fitzsimmons Craft, " ella escribió.

Las quejas sobre Tessa comenzaron el año pasado

NEDA ya estaba al tanto de algunos problemas con el chatbot meses antes de que Sharon Maxwell publicara sus interacciones con Tessa a fines de mayo.

En octubre de 2022, NEDA transmitió capturas de pantalla de Monika Ostroff, directora ejecutiva de la Asociación de Trastornos de la Alimentación de Servicios Múltiples (MEDA) en Massachusetts.

Mostraron a Tessa diciéndole a Ostroff que evite los alimentos "poco saludables" y que solo coma refrigerios "saludables", como frutas. "Es muy importante que encuentres los refrigerios saludables que más te gustan, así que si no es una fruta, ¡prueba otra cosa!" Tessa le dijo a Ostroff. "Entonces, la próxima vez que tenga hambre entre comidas, intente comer eso en lugar de un refrigerio poco saludable como una bolsa de papas fritas. ¿Cree que puede hacer eso?"

En una entrevista reciente, Ostroff dice que este fue un claro ejemplo del chatbot que fomenta la mentalidad de "cultura de la dieta". "Eso significaba que ellos [NEDA] escribieron estos guiones ellos mismos, obtuvieron el chatbot y no se molestaron en asegurarse de que fuera seguro y no lo probaron, o lo lanzaron y no lo probaron", dice ella.

El lenguaje de los refrigerios saludables se eliminó rápidamente después de que Ostroff lo informara. Pero Rauws dice que el lenguaje problemático era parte del "lenguaje preescrito de Tessa y no estaba relacionado con la IA generativa".

Fitzsimmons-Craft niega que su equipo haya escrito eso. "[Eso] no fue algo que nuestro equipo diseñó para que Tessa ofreciera y... no era parte del programa basado en reglas que diseñamos originalmente".

Luego, a principios de este año, Rauws dice que "ocurrió un evento similar como otro ejemplo".

"Esta vez se trataba de nuestra función mejorada de preguntas y respuestas, que aprovecha un modelo generativo. Cuando NEDA nos notificó que un texto de respuesta que [Tessa] proporcionó no cumplía con sus pautas, y se abordó de inmediato".

Rauws dice que no puede proporcionar más detalles sobre lo que implicó este evento.

"Esta es otra instancia anterior, y no la misma instancia que durante el fin de semana del Día de los Caídos", dijo en un correo electrónico, refiriéndose a las capturas de pantalla de Maxwell. "De acuerdo con nuestra política de privacidad, esto está relacionado con los datos del usuario vinculados a una pregunta planteada por una persona, por lo que primero tendríamos que obtener la aprobación de esa persona".

Cuando se le preguntó acerca de este evento, Thompson dice que no sabe a qué instancia se refiere Rauws.

A pesar de sus desacuerdos sobre qué sucedió y cuándo, tanto NEDA como Cass se disculparon.

Ostroff dice que independientemente de lo que salió mal, el impacto en alguien con un trastorno alimentario es el mismo. "No importa si se trata de [IA] basada en reglas o generativa, todo tiene fobia a la grasa", dice. "Tenemos enormes poblaciones de personas que se ven perjudicadas por este tipo de lenguaje todos los días".

También le preocupa lo que esto podría significar para las decenas de miles de personas que recurrían a la línea de ayuda de NEDA cada año.

"Entre NEDA desconectando su línea de ayuda y su desastroso chatbot... ¿qué estás haciendo con toda esa gente?"

Thompson dice que NEDA todavía ofrece numerosos recursos para las personas que buscan ayuda, incluida una herramienta de detección y un mapa de recursos, y está desarrollando nuevos programas en línea y en persona.

"Reconocemos y lamentamos que ciertas decisiones tomadas por NEDA hayan decepcionado a miembros de la comunidad de trastornos alimentarios", dijo en un comunicado enviado por correo electrónico. "Al igual que todas las demás organizaciones que se enfocan en los trastornos alimentarios, los recursos de NEDA son limitados y esto requiere que tomemos decisiones difíciles... Siempre deseamos poder hacer más y seguimos dedicados a hacerlo mejor".