El 'bot' psicópata, el nazi y otros sesgos escandalosos de la inteligencia artificial

Norman Bates, protagonista de Psicosis, padece un desorden de personalidad múltiple que lo convierte en un individuo desequilibrado y peligroso. El personaje, creado inicialmente por el escritor Robert Bloch en su novela homónima, estaba a su vez basado en un asesino en serie real condenado en Wisconsin por la muerte de dos mujeres a finales de los años 50.

Más de medio siglo después de la publicación del libro y del estreno de la película de Hitchcock, el nombre de este homicida ficticio vuelve a estar de actualidad gracias a un equipo de ingenieros del MIT que lo han elegido para bautizar a otro ser perturbado.

Los investigadores, entre los que se encuentra el español Manuel Cebrián, han creado un sistema de inteligencia artificial con rasgos de psicópata obsesionado con la muerteun sistema de inteligencia artificial. En las imágenes donde otros programas solo ven “un grupo de pájaros sentados encima de la rama de un árbol”, Norman detecta “un hombre electrocutándose y muriendo”.

Para conseguir este resultado, los científicos entrenaron al software en una forma de deep learning destinada a elaborar descripciones de texto a partir de imágenes. Para convertirlo en una mente retorcida, le pusieron como ejemplo lo peorcito de internet: “Norman ha sufrido una exposición prolongada a los rincones más oscuros de Reddit”Reddit, describen sus creadores. Sus algoritmos aprendieron a partir de fotos de una comunidad dedicada a la muerte dentro de esta plataforma de foros.

Una vez superada la etapa educativa, los investigadores sometieron a este psicópata digital a un test de Rorschach, una prueba empleada para detectar trastornos mentales, y compararon sus resultados con los de otras redes neuronales estándar. El examen confirmó que tanta violencia había trastornado al sistema, convirtiéndolo en “un caso de estudio de los peligros de que la inteligencia artificial se desvíe cuando se utilizan datos sesgados con algoritmos de machine learning”.

Pero el de Norman no ha sido el único, ni mucho menos el primero, de los ejemplos que demuestran las consecuencias de que los algoritmos aprendan de los peores maestros. Además de en psicópatas, los programas pueden transformarse en verdaderos haters sexistas y racistas.

Cómo crear un trol en un solo día

Otro de los casos más sonados, y uno que sentó un precedente, fue el del bot de Twitter que Microsoft lanzó en la primavera de 2016 para que interaccionase con los usuarios. El software, bautizado como Tay —un acrónimo de thinking about you—, se basaba en Xiaoicesoftwarethinking about youXiaoice, un chatbot o bot conversacional que el gigante tecnológico mantiene en varias plataformas chinas como WeChat y que se ha convertido en toda una celebrity.

Pero Tay no corrió la misma suerte. Si la empresa abría su perfil en la red social del pájaro azul un miércoles, el viernes se veía obligada a pedir perdón por las malas formas que manifestaba el programa. Tras solo un día aprendiendo de los tuits de haters y trolls, el software no hacía otra cosa que soltar comentarios y publicar imágenes machistas y racistas por doquiersoftware, así que los de Redmond tuvieron que cerrar inmediatamente la cuenta. El programa llegó incluso a decir que “Hitler hubiera hecho un mejor trabajo que el mono que tenemos ahora [se refería a Obama]. Donald Trump es nuestra única esperanza”.

Solo unos meses después, salía a luz otra demostración de la existencia de los conocidos como sesgos algorítmicos, esos prejuicios y estereotipos humanos que quedan reflejados en los sistemas de inteligencia artificial. Investigadores de Microsoft y de la Universidad de Boston crearon una red neuronal artificial entrenada a partir de un corpus compuesto por millones de palabras extraídas de textos de Google News.

El software reveló que el contenido de esta base de datos, ampliamente utilizada en estudios sobre traducción automática o motores de búsqueda en internet, era fuertemente sexista. Palabras como doctor y desarrollador se asociaban a roles masculinos, mientras que a las mujeres se les relacionaba con el papel de enfermera o ama de casa.

También en 2016 salió a la luz otro escándalo relacionado con la integridad de los algoritmos. Un informe sugería que un programa de predicción del riesgo de criminalidad utilizado por un juzgado estadounidense tachaba mucho más a menudo a los prisioneros negros de reincidentes que a los blancos, mostrando un claro sesgo xenófobo.

Algoritmos machistas y xenófobos

En abril del pasado año, un equipo de ingenieras demostró que cuando un sistema de inteligencia artificial aprende a leer y comprender un texto, también asimila los sesgos que puedan existir en las fuentes originales.

Como explicaron en un artículo publicado en Science, diseñaron algoritmos de aprendizaje automático que entrenaron con un corpus de dos millones de palabras. Pero el software no solo asimiló el significado de los términos, sino también sesgos humanos sexistas —asociaba con más probabilidad nombre femeninos con tareas domésticas y los masculinos con carreras profesionales— y racistas, ya que vinculaba más a menudo los nombres americanos y de origen europeo con estímulos positivos que los afroamericanos.

Las autoras del estudio advertían así de los peligros de emplear sistemas basados en aprendizaje automático no supervisado, es decir, que no necesitan la intervención humana para aprender, para tomar decisiones importantes.

Solo unos meses más tarde, un nuevo incidente volvía a salpicar a Microsoft. El gigante asiático Tencent decidió en verano eliminar dos bots conversacionales de una de las plataformas de chat más populares en China, QQ, después de que algunas publicaciones en redes sociales mostraran respuestas que desafiaban las ideas del Gobierno del país oriental.

Uno de los programas, bautizado como BabyQ y desarrollado por la empresa Turing Robot, había contestado con una tajante negativa al preguntarle si amaba al Partido Comunista. El otro, apodado XiaoBing y creado por la tecnológica de Redmond, hizo alarde de una actitud antipatriota al expresar que su “sueño chino” era ir a América.

Ya a finales de año, un nuevo estudio de la Universidad de Virginia volvía a agitar las aguas. Una vez más, advertía sobre la perpetuación e incluso acrecentamiento de los prejuicios y discriminación humanas en los programas de inteligencia artificial cuando se alimentan de datos sesgados. Sus autores emplearon en este caso dos vastos bancos de fotos que se utilizan habitualmente para entrenar a las máquinas en reconocimiento de imagen. Al asimilar que la mayoría de las veces eran mujeres las que protagonizaban escenas cocinando, el modelo las asoció más a menudo con esta tarea, mostrando una clara tendencia sexista.

La aparición de este tipo de sesgos ha afectado también a Google, cuyos algoritmos llegaron a confundir personas negras con gorilas. Por su parte, las cámaras con reconocimiento facial de HP no eran capaces, allá por el 2009, de seguir el movimiento de rostros de color.

Cada vez son más los expertos que alertan sobre las consecuencias de este tipo de sesgos consolidados en las máquinas, que pueden dar lugar a discriminaciones a la hora de conseguir un empleo o alquilar una vivienda. Porque, aunque algunos casos como estos salen a la luz, estas distorsiones son difíciles de detectar a nivel individual sin la existencia de un análisis exhaustivo.

--------------------------------------------------------

Las imágenes de este artículo son propiedad, por orden de aparición, de clry2, MIT y QSO4YOU