Peligros y complejidades de utilizar chatbots en proyectos de asistencia

Como en muchos otros aspectos de la vida, pero en especial en tecnología, el tiempo es la clave. Quien lanza primero un producto, quien presenta antes una innovación o quien usa más aceleradamente una tecnología se convierte en referente y, consecuentemente, eso se traduce en oportunidades, en prestigio, en dinero. Sin embargo, ¿qué pasa cuando esta necesidad de salir rápido al mundo impide hacer las pruebas e iteraciones necesarias para asegurarnos de que esa tecnología funcione bien, pensando en y para todas las personas? O mucho más, ¿qué pasa cuando es aplicada para necesidades para las que no fue creada?

Hera Hussain es la fundadora y directora de Chayn, una organización global sin fines de lucro que genera  recursos online para combatir las violencias por motivos de género. Criada en Pakistán, Hera cree en el uso del poder de la tecnología del código abierto para ensayar soluciones para los problemas del mundo, y que hacerlo a la vez ayuda a atravesar situaciones traumáticas.

En 2010, los chatbots experimentaron un notable aumento en su utilización y popularidad en el sector social. A pesar de esta creciente adopción, los datos exhaustivos sobre los logros generales, los posibles problemas y las ventajas y desventajas asociadas a esta automatización siguen siendo limitados. Las organizaciones sociales -como el resto de las organizaciones- buscan aprovechar las nuevas tecnologías para cumplir su misión, sólo que en estos casos su objetivo no es vender productos o servicios, sino asistir a personas que, muchas veces, están en riesgo de vida.

En 2017, Chayn decidió desarrollar su propio chatbot: Little Window, un asistente de búsqueda que intentaba reducir drásticamente el tiempo que las mujeres tardan en obtener información, lo que en muchos casos puede salvar vidas. Sin embargo, en 2020 decidieron retirarlo.

Ser valiente analizando constantemente el equilibrio entre tecnología y humanidad  

A pesar de todas las consideraciones, precauciones y las mejores intenciones -incluido un cuidadoso proceso de diseño en el que participaron mujeres que convivieron con situaciones de violencias por motivos de género-, la revisión de los registros de chat mostró que la gente lo utilizaba exactamente de la forma que querían evitar: como un servicio de crisis y no de prevención o información. El resultado fue una tasa de error alarmantemente alta. 

De los registros de chat se desprendía claramente que la gente ignoraba o no prestaba atención a su mensaje inicial que indicaba que Little Window no contaba con personal humano que pudiera asistir, un factor importante para alguien que atraviesa un momento complejo y precisa contención Era dolorosamente obvio lo frustrante que resultaba la experiencia del error para las personas usuarias, que podían estar experimentando una emergencia y esa interacción no haya sido de ayuda.  

Para quienes quieran lanzar su propio chatbot de apoyo a la lucha contra la violencia por motivos de género, el consejo general es ”no lo hagas”. Y si vas a hacerlo, hazlo del modo correcto.

Los chatbots son una excelente forma de ayudar a la gente a navegar por contenidos estructurados. Quitan presión y pueden ayudar a dirigir el tráfico a las organizaciones adecuadas. Para lo que no sirven es para proporcionar apoyo conversacional a personas  en situaciones de riesgo. No se puede sustituir la atención humana. Y, aunque pudiéramos, con la IA generativa, no deberíamos. Los riesgos son demasiado altos si nos equivocamos.

Chayn ofrece ahora un chat 1 a 1 con un equipo entrenado de personas  a través de su plataforma Bloom, y consideran que ese servicio gratuito y sin fronteras en 14 idiomas es precisamente la dirección en la que quieren continuar.  

Frecuentemente, nos vemos atrapados en el dilema de pensar cómo utilizar la tecnología para curar los abusos de la propia tecnología. Entonces, es mejor construir buena tecnología, pensada desde perspectivas sociales, que incorpore las voces y necesidades de aquellas personas que la usan para resolver los problemas más urgentes.

*Los créditos de la imagen pertenecen a https://www.chayn.co.