Que los humanos introducimos nuestros sesgos en los algoritmos no es ninguna novedad y es una de las principales fuentes de preocupación sobre estas tecnologías. Lo que no sabíamos hasta ahora es que el proceso puede suceder a la inversa: la máquina también puede contagiarnos a nosotros sus errores sistemáticos y estos se pueden perpetuar. Es lo que concluyen las investigadoras españolas Lucía Vicente y Helena Matute después de realizar una serie de experimentos cuyos resultados publican este martes en la revista Scientific Reports.
Para abordar el asunto, las dos científicas de la Universidad de Deusto en Bilbao realizaron tres experimentos muy sencillos en los que proponían a los sujetos voluntarios que realizaran una tarea simulada de diagnóstico médico asistida por un sistema de inteligencia artificial (IA) sin decirles que existía un sesgo de partida. Mientras que el grupo de control actuaba bajo su propio criterio, en el grupo que era ayudado por el algoritmo la recomendación aparecía en forma de etiqueta en la parte superior encima de cada muestra, que podían seguir o no. Y la máquina cometía sistemáticamente un error que los voluntarios desconocían.
“En cada caso presentado hay una serie de estímulos más claros y más oscuros”, explica Matute a elDiario.es. “A los voluntarios les decimos que cuando es más claro se trata de un caso positivo de la enfermedad y cuando es más oscuro es negativo de la enfermedad. Nosotros manipulamos la proporción y cuando hay un determinado porcentaje, 40-60, la inteligencia artificial se equivoca siempre y aunque tire hacia clarito lo da como si fuera negativo, un tipo de error que es muy frecuente en este tipo de sistemas”.
Lo que sucedió fue que las personas que estaban haciendo la tarea con ayuda de la IA cometían exactamente el mismo error que estaba cometiendo la inteligencia artificial. Mientras que los del grupo de control, a los que no se había introducido el sesgo, lo hacían correctamente. “Los que tenían esta asistencia se equivocaban justo donde lo hacía la IA. Había una diferencia espectacular entre los dos grupos”, indica Vicente. “El problema afecta al que tiene ayuda de la IA y se deja llevar, que anula su propio sentido crítico”, añade Matute.
Influencia perversa
En una segunda fase del experimento se dejó a los voluntarios repetir la prueba sin asistencia de la inteligencia artificial y saltó la segunda sorpresa. Aquellos que habían aprendido a hacer la clasificación del diagnóstico con ayuda de la IA seguían repitiendo el error a la hora de evaluar los casos intermedios, incluso sin asistencia del algoritmo. Habían heredado el error de la máquina. Y, una vez más, este efecto no se observó en los participantes del grupo de control, que realizaron la tarea sin ayuda desde el principio.
Aquellos que habían aprendido a hacer la clasificación del diagnóstico con ayuda de la IA seguían repitiendo el error a la hora de evaluar los casos intermedios, incluso sin asistencia del algoritmo.
Para rematar el trabajo, en un tercer experimento las autoras quisieron invertir los términos en otro grupo de voluntarios. En este caso los sujetos aprendían primero a hacer la tarea solos y luego les ayudaba la IA. “Queríamos ver si adquirir más experiencia haciendo la tarea sin recomendaciones podría protegerlos de los sesgos”, explica Lucía Vicente. “Lo que vimos fue que se vieron influidos por la IA en la misma medida que los primeros”. En otras palabras, los errores se mantuvieron al mismo nivel, aunque no existiera la IA, “como si los participantes adaptaran su comportamiento a los resultados que estaban viendo a la IA, aunque contradijera lo que les habíamos dicho al principio”, señala la primera autora del artículo.
Las inteligencias artificiales no tienen siempre la razón
El trabajo pone sobre la mesa un problema que hasta ahora ha pasado bajo el radar en casi todos los trabajos sobre IA: la posibilidad de que su influencia nos conduzca a errores nuevos, además de los propios.
En los clásicos “experimentos de conformidad de Asch” ya se había demostrado cómo las personas ceden ante la presión de grupo y están dispuestos a señalar como correcto un resultado, aunque sepan que no lo es y solo porque todo el grupo dice lo contrario. “En este caso, la persona no se deja influir por la presión social”, matiza Lucía Vicente, “sino por un agente que se identifica como un agente artificial que la gente suele influir como algo objetivo y fiable”. En otras palabras, en entornos donde se trabaja con la asistencia de algoritmos, podría suceder que incluso aunque estemos viendo algo que es una recomendación equivocada, modifiquemos nuestro criterio de respuesta porque la IA nos parece más fiable.
Podría suceder que incluso aunque estemos viendo algo que es una recomendación equivocada, modifiquemos nuestro criterio de respuesta porque la IA nos parece más fiable.
“Hay un riesgo de generar un bucle”, subraya Vicente. “La IA aprende de datos que ya están sesgados por las personas, pero si las personas interactúan con herramientas que les proporcionan datos sesgados, se produce un bucle eterno que puede ir amplificando estos errores”. “La IA es un agente en el que estamos confiando cada vez más en muchos ámbitos”, advierte Matute. “Los algoritmos nos están asesorando sobre qué libro comprar, qué película ver… Y tendemos a censurar nuestro propio juicio. Lo que hemos visto es que los voluntarios no se atreven a llevar la contraria a la autoridad de la IA”.
Aprender a enfrentarse a la IA
Las autoras temen que en los escenarios reales este mecanismo acabe teniendo consecuencias graves. “Si hay un error histórico en un hospital, la persona puede asumir los errores y pasarlos a la siguiente generación”, asegura Matute. “Estamos dando vueltas a variables que podrían paliar todo esto”. Una posible vía es la educación, según la catedrática de Psicología Experimental. “Las personas que estén trabajando con IAs, que cada vez somos más, tienen que tener muchísima información sobre cuál es el porcentaje de error, porque muchas veces no lo tienen, no se plantean que puede tener un 20% de error, por ejemplo”. Y no solo deben conocer los fallos, asegura, “hay que educarlos para que puedan enfrentarse a la IA”.
Otro argumento que desmontan estos resultados es el de la falsa seguridad que da que haya un humano supervisando. “Cuando nos dicen eso de no te preocupes que hay un humano vigilando, tenemos que ver cómo conseguimos que ese humano vigile de verdad”, indica Matute. Las autoras del nuevo trabajo creen que habría que investigar muy a fondo todas estas interacciones con los algoritmos que hasta ahora pasan desapercibidas. “Hasta ahora se ha investigado solo la parte técnica, incluso cuando se audita una IA nos olvidamos de la interacción con los humanos y hasta qué punto influye en las decisiones humanas”, asegura Matute.
Cuando nos dicen eso de no te preocupes que hay un humano vigilando, tenemos que ver cómo conseguimos que ese humano vigile de verdad
Siempre que hemos imaginado nuestra guerra contra la inteligencia artificial nos hemos planteado escenarios bélicos del estilo de Terminator, pero podría haber una batalla de fondo de carácter psicológico en la que ni siquiera hemos reparado. “Se lanzan productos al mercado sin ningún entrenamiento y luego se ve qué pasa en las interacciones con humanos”, señala Matute. “A lo mejor lo hay que hacer es pensar en crear IAs que conociendo las limitaciones humanas sean beneficiosas, en lugar de lanzar los productos a la realidad y esperar a ver dónde fallan para ir parcheándolos”.
Gemma Galdón, especialista en la auditoría de algoritmos y fundadora de Eticas Consulting, cree que esta es una investigación muy interesante y necesaria. “En Estados Unidos se habla del automation bias, que es el sesgo humano ante la inteligencia artificial, que apunta a que las personas tendemos a confiar más en resultados técnicos que en una valoración de una persona”, explica. En ese sentido coincide con las autoras en que el peligro es crear un bucle, que los sesgos del mundo real sean reforzados y amplificados por la IA que los devuelve a la sociedad. “O conseguimos que los algoritmos no reproduzcan esos sesgos, o tendremos un problema muy grave”, señala. “Me alegro que empiecen a salir este tipo de estudios, porque hasta ahora estábamos dejando fuera esa retroalimentación entre lo tecnológico y lo humano; no podemos arreglar la inteligencia artificial arreglando solo la parte técnica”.
Estábamos dejando fuera esa retroalimentación entre lo tecnológico y lo humano; no podemos arreglar la inteligencia artificial arreglando solo la parte técnica
Ignacio Castillejo Ruiz, investigador en Psicología por la Universidad Autónoma de Madrid, considera que no está claro que la causa del sesgo sea que la gente confiaba en la IA. “El estudio no indaga experimentalmente en el porqué y habrá que esperar a otros estudios para arrojar luz empírica sobre esta cuestión”, asegura. Aun así, apunta, debemos tener en cuenta que el experimento está enfocado a un contexto clínico donde los errores pueden costar vidas. “Por eso los resultados que se presentan en este estudio son de grandísima importancia: si hay una pequeña posibilidad de que el uso de la IA derive en errores, hay que tenerlo en cuenta para buscar soluciones”, afirma. “Usar adecuadamente herramientas tan versátiles y potentes pasa por identificar cuándo hay peligro de caer en malas prácticas”.