Un algoritmo de inteligencia artificial (IA) aprendió a asociar mujeres con imágenes de cocinas, basado en decenas de miles de fotografías de internet, porque aparecen más mujeres que hombres fotografiadas en cocinas en la Web. Mientras aprendía, el algoritmo multiplicó el sesgo presente en el conjunto de datos en el que se basaba, amplificando (no simplemente replicando) la asociación sesgada entre cocinas y mujeres. Este es uno de varios estudios de caso que están demostrado cómo los sistemas de aprendizaje automático –conocidos como machine learning (o ML)— incorporan y aumentan los sesgos de género.
La asociación de mujeres con cocinas y cocinas con el trabajo doméstico, típicamente vulnerable, es problemática. Esto se debe a los estereotipos. Difundidas por plataformas digitales, estas imágenes estereotipadas son vistas por cualquier persona con acceso a contenido en línea, perpetuando e intensificando los papeles de género desequilibrados.
ML es un sistema automático que contiene paquetes de algoritmos que, alimentados por macro datos (incluidos datos audiovisuales como fotos), hacen posible la llamada inteligencia artificial (IA). Gracias a las técnicas estadísticas, estos algoritmos aprenden, es decir, utilizan datos para perfeccionar tareas para las que no habían sido programados. “Estas capacidades de aprendizaje otorgan a los algoritmos cierto grado de autonomía”, lo que hace que las tareas de IA sean “difíciles de predecir”, lo que obstaculiza “la identificación y reparación de desafíos éticos en el diseño y operación de algoritmos” dice un grupo de investigadores de la Universidad de Oxford en un artículo sobre la ética de los algoritmos.
Sesgos basados en imágenes y sonido
Uno de los mayores desafíos son los efectos adversos que estamos viviendo las mujeres como resultado de la decisión algorítmica. Especialmente relevantes son datos audiovisuales, incluidas las imágenes y el sonido del cine, los videos musicales, las plataformas de intercambio social y la publicidad.
La atención al sesgo de género en los textos está bien establecida (por ejemplo, en este estudio). Sin embargo, hay relativamente menos estudios sobre los sesgos en imágenes y sonido pesar de su creciente relevancia dado el masivo aumento global de datos audiovisuales. A medida que el contenido en línea se vuelve más visual y el aprendizaje automático, omnipresente, los datos y los sesgos algorítmicos vinculados con las imágenes y sonido son cada vez más importantes.
La imagen de las mujeres es especialmente notable. Múltiples estudios hablan de cómo las mujeres y las niñas han sido estereotipadas y sexualizadas a través de sus imágenes (por ejemplo, este). Entretanto, la cosificación de las mujeres en algunos medios de comunicación puede generar problemas psicológicos, discriminación y violencia de género. Además, la tergiversación de la violencia de género –por ejemplo, en algunos en videojuegos y publicidad— que retrata el abuso como algo aceptable, irrelevante o absurdo es un fenómeno bien estudiado.
El surgimiento de las plataformas como modelo económico dominante lo cambia todo. El machine learning hace posibles todas las interacciones que tenemos con plataformas como Amazon, Facebook, Google y Netflix. La IA decide qué ofrecer mediante la personalización de los resultados. La desigualdad en la publicidad, el cine, los videos musicales y la televisión cobra una nueva vida cuando las plataformas toman decisiones algorítmicas basadas en estos contenidos, lo que potencialmente multiplica los prejuicios y establece un círculo vicioso. El problema es que los sesgos algorítmicos se encuentran en todas las plataformas.
Operando en la oscuridad, esta tecnología puede ser un amplificador de las desigualdades, ya que estos sistemas se emplean cada vez más para determinar, por ejemplo, quién es elegible para recibir atención médica, préstamos, ofertas de trabajo, sentencias y ayudas. La discriminación de género algorítmica, además, puede integrar otras dimensiones, incluidas el color de la piel, el estado civil, el código postal y los ingresos.
Entendiendo el sesgo algorítmico
Los sesgos algorítmicos de las plataformas no son necesariamente injustos. El sesgo en ML es una condición previa para la acción inteligente, explica Bishop. Sin embargo, puede ser problemático cuando “se deriva de aspectos de una cultura que se sabe que conduce a un comportamiento dañino” replican Caliskan, Bryson y Narayanan.
Un obstáculo para abordar los prejuicios es que la decisión algorítmica se percibe como más justa que la decisión humana. Las capacidades de los algoritmos fomentan la tendencia a proyectar una agencia humana sobre ellos, ya que esta tecnología determina qué servicios, trabajos y resoluciones están disponibles para quién. Además, la industria ha venido y de defendido sus algoritmos como objetivos. Y algunos estudios apoyan esta idea. Una encuesta publicada por el Pew Research Center indica que el 40% de las personas en los EEUU piensan que los ordenadores pueden tomar decisiones sin sesgos.
Sin embargo, los datos en bruto, sin cocina, no existen fuera de la imaginación, dice Boellstorff, ya que son siempre producto de procesos cocinados y de otros datos. Y los algoritmos no deciden ni aprenden. Solo los humanos pueden actuar con la agencia humana, lo que conlleva los procesos de acción basados ​​en la reflexión, la intención y autoconsciencia. Este artículo se basa en esta idea: Los sesgos algorítmicos no ocurren de manera espontánea, independientemente de las personas. Es decir, tanto los conjuntos de datos como las decisiones computarizadas ofrecen una representación imperfecta del mundo; constituyen juicios humanos que reflejan una visión sobre cómo es el mundo.
En realidad, no existe una definición estándar de sesgo algorítmico. Para Mehrabi, Morstatter, Saxena, Lerman y Galstyan, se refiere al tipo de preferencias incorporadas por el algoritmo en contraposición a otros sesgos arraigados en los conjuntos de datos o causados ​​por las personas que manejan los datos en origen. En aras de la brevedad, yo uso el término “sesgo algorítmico” para referirme tanto a sesgos presentes en los conjuntos de datos como a los relacionados con los propios algoritmos.
Existen diferentes tipos de sesgos algoritmos; los más relevantes aquí son:
El sesgo de presentación se deriva de la ubicación en la página web de un contenido particular porque solo se puede hacer clic en las cosas que ven. No existen estudios sobre el sesgo de presentación algorítmica en contenidos audiovisuales desde una perspectiva de género; sin embargo, las imágenes de las mujeres se ven afectadas por los sesgos de presentación en los medios todo el tiempo. Por ejemplo, un estudio determinó que las mujeres aparecían en la portada de los periódicos del Reino Unido solo cuando son celebridades o se las presenta como víctimas.
El sesgo de filtro se produce cuando quien busca información solo encuentra contenido que refuerza sus ideas, gustos y preferencias. Es decir, los filtros o las burbujas de información no solo reflejan las identidades del/a usuario/a definidas por los algoritmos, sino también las opciones que tiene éste/a al integrar sus propios sesgos. Por eso, los resultados que ilustran este artículo están condicionados por mis sesgos.
El sesgo de selección o el sesgo de muestreo surge debido a un muestreo no aleatorio. Puede suceder tanto en la fase de diseño cuando, por ejemplo, los datos para entrenar los algoritmos de reconocimiento facial se basan en imágenes sobre todo de hombres blancos; como en su uso, cuando se busca en línea. Como una minoría de agentes genera la mayor parte del contenido en línea, los/as usuarios/as de la Web no estamos “tomando muestras al azar” de un conjunto completo de datos, sino eligiendo entre un contenido ya predeterminado, explica Coleman. El sesgo de selección dificulta la generalización.
El sesgo histórico es la toma de decisiones algorítmica basada en datos del pasado; el problema es que pueden afianzar tendencias indeseables. Por ejemplo, algoritmos entrenados en imágenes de expresidentes de Estados Unidos pronosticaron que Donald Trump ganaría las elecciones en 2016. Nunca ha habido una mujer presidenta en EEUU, y si es por estos algoritmos, nunca la habrá.
El sesgo de agregación es típico en la discriminación contra la mujer; sucede cuando se obtienen conclusiones algorítmicas para mujeres a partir de conjuntos de datos que agregan información sobre poblaciones en general.
El sesgo de interacción es introducido por los/as usuarios/as cuando buscan en línea guiados por sus propios prejuicios. Puede verse influenciado por sesgos de presentación y otros.
Algunos de estos sesgos actúan juntos. Combinando sesgos de interacción, selección y presentación, el sistema de publicidad en línea de Google propone los trabajos mejor remunerados a los hombres. Google defendió el resultado diciendo que permite a sus clientes orientar sus anuncios según el sexo. Aun así, su algoritmo puede haber determinado que los hombres eran más aptos para ocupar puestos ejecutivos, habiendo aprendido del comportamiento de sus usuarios/as y sobre la base de sesgos históricos y de presentación. Si las únicas personas que ven y hacen clic en anuncios de trabajos bien remunerados son hombres, el algoritmo aprende a mostrar esos anuncios solo a ellos.
Entendiendo el papel de los datos audiovisuales
La investigación ha producido literatura que invita a la reflexión sobre cómo las máquinas y los datos pueden estar sesgados. Por ejemplo, Williams, Brooks y Shmargad denuncian cómo la “censura” sobre sexo y raza en los sistemas de toma de decisiones automáticos basados ​​en datos puede conducir a la invisibilización de las mujeres. Al observar el contenido visual en línea, Otterbacher, Bates y Clough comparan la distribución de género en las fotos recuperadas por Bing (un motor de búsqueda) para la consulta “persona” con respecto a diferentes cualidades. Este estudio concluye que las imágenes de mujeres se vinculan con mayor frecuencia con rasgos cálidos y emocionales mientras que los rasgos que indican acción e inteligencia están vinculados preferentemente con fotos de hombres. Estudios similares revelan estereotipos en los textos que otorgan a las mujeres roles débiles y sumisos.
Sin embargo, un problema adicional con la imagen y el sonido es que tienen enorme impacto. La discriminación no verbal a través de la imagen o el tono de voz, por ejemplo, hace que las mujeres tenga menos consideración en las entrevistas de trabajo.
Problemas con las voces
Los estereotipos de género tienen lugar cuando las voces de las mujeres en los medios se asocian con ruidos estridentes y desagradables o con funciones dóciles y serviles.
Los audios son también la base de diferentes formas de sesgo algorítmico de género. Los sistemas de reconocimiento de voz y las interfaces de voz (conocidas como VUI), también conocidos como altavoces inteligentes, voz robótica y asistentes de voz, han generado una gran cantidad de estudios. Y estos revelan que los prejuicios de género son omnipresentes; se encuentran, por ejemplo, en los sistemas de reconocimiento de voz de Google y en los subtítulos generados automáticamente por YouTube, así como en la transcripción automatizada de noticias transmitidas.
Además, el habla de las asistentes de voz muestra un alto grado de sesgo de género. Por ejemplo, el informe de la UNESCO titulado “Me sonrojaría si pudiera” deriva su título de la respuesta dada por Siri cuando un usuario le dice: “¡Eres una zorra!”. El informe analiza cómo los asistentes de voz de IA, Alexa de Amazon y Siri de Apple, que usan las voces de mujeres jóvenes, propagan los prejuicios de género.
The Guardian denuncia que los centros de llamadas para firmas de corretaje en Japón usan voces femeninas para ofrecer cotizaciones de acciones, pero prefieren una voz masculina para confirmar las transacciones. La justificación de las empresas para la elección de las voces de VIU es que la gente prefiere las voces femeninas. La percepción estereotipada de las voces de las mujeres como agradables y útiles (son solo estridentes y despreciables en mujeres políticas o en posiciones de poder), parece haber llevado a las corporaciones a hacer que sus asistentes de voz sean jóvenes y femeninas.
Problemas con las imágenes
Los videos musicales merecerían un artículo aparte. Los estereotipos de género que transmiten influyen en la normalización de la violencia de género, por ejemplo, según un informe que analiza las actitudes de niños y niñas en seis países europeos. Si los algoritmos pueden multiplicar los sesgos existentes, la toma de decisiones algorítmicas prejuiciosas ligadas al contenido audiovisual es motivo de preocupación.
La exploración del sesgo de género algorítmico visual se ha centrado en los algoritmos de procesamiento de imágenes (conocidos en inglés como image processing algorithms o IPA) y, en concreto, en los sistemas de reconocimiento facial. Por ejemplo, un estudio revela que tres de las IA de reconocimiento facial (IBM, Microsoft y Megvii) podrían identificar el género de una persona en una fotografía el 99% de las veces, pero solo en el caso de hombres blancos; para las mujeres de piel oscura, la precisión se redujo al 35%. Otro proyecto, Gender Shades, evalúa tres sistemas de clasificación comercial, IBM, Microsoft y Face, con un conjunto de datos que incluye fotografías de personas de todos los tonos de piel para concluir que “las mujeres de piel más oscura son el grupo peor clasificado (con tasas de error de hasta al 34,7%)”. Parece que hombres blancos, que son solo el 31% de la población en los EEUU, tienen el 65% de los cargos públicos y obtienen todo el “reconocimiento” (facial).
¿Qué se puede hacer?
Las mujeres son autoras de abundantes contenidos audiovisuales y estudios sobre cuestiones algorítmicas. Sin embargo, siguen siendo una minoría tanto en la generación de datos audiovisuales como de algoritmos, en el testeo y uso de soluciones algorítmicas, y en funciones de supervisión sobre decisiones algorítmicas.
En lo que se refiere a la creación, las mujeres están en inferioridad de condiciones. Al observar la industria del cine en los EEUU, por ejemplo, Lauzen concluye que solo el 8% de los directores que trabajaron en las 250 películas más taquilleras en 2018 eran mujeres. Un estudio sobre personajes femeninos en películas populares mostró que solo el 31% de todos los personajes hablantes eran mujeres y que la sexualización de las mujeres es omnipresente.
Además, menos de una de cada cinco personas que se gradúa en ciencias de la computación son mujeres, y la industria del ML emplea una proporción aún menor de mujeres que el resto del sector tecnológico. Las mujeres ocupan solo el 5% de los puestos de liderazgo en la industria de la tecnología. Más de dos tercios de las empresas emergentes en los EEUU –que sobre todo son tecnológicas— no tienen mujeres en sus juntas directivas. La informática es una de las pocas disciplinas relacionadas con la ciencia, la tecnología, la ingeniería y las matemáticas en las que el número de mujeres ha ido disminuyendo. Una vez dentro de las empresas de tecnología, es más probable que las mujeres mencionen la discriminación como la razón para dejar esta carrera.
Una pista para explicar lo que sucede podría provenir de los medios de comunicación, también generadores de contenido audiovisual. El círculo perverso de Djerf-Pierre observado en las salas de redacción suecas funciona así: directores hombres dependen de reporteros hombres para las noticias más importantes (economía, política y deportes), que cuentan con fuentes masculinas para sus historias y que pueblan las portadas de los diarios y las noticias de televisión que abren los telediarios. Estos reporteros son luego promocionados por su trabajo y la rueda gira nuevamente. Existe una correlación entre el equilibrio de género en la fuerza laboral de los medios y un contenido más equilibrado.
En los sesgos algorítmicos podría existir un mecanismo similar. Pero la falta de mujeres en la toma de decisiones y creadoras es solo un factor. En su libro, “Technically Wrong: Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech”, Wachter-Boettcher analiza dos problemas más. Primero, la falta de mujeres en los testeos de las tecnologías. Cuando los investigadores no incluyen a todo tipo de personas en las pruebas de productos, pueden introducir asimetrías. En segundo lugar, faltan mujeres como clientes de productos basados ​​en algoritmos. El diseño de producto típico incorpora los objetivos de los clientes. Por ejemplo, los clientes que contratan servicios de reclutamiento de personal pueden introducir sesgos al describir los requisitos de un trabajo.
¿Muchos datos o pocos datos?
Al introducir datos e imágenes demográficas, se pueden agregar estereotipos, pero incluir demasiados datos puede llevar a la discriminación. Es decir, los conjuntos de datos pueden exhibir espacios ciegos (ausencia) o puntos críticos (exceso) que terminen en sesgos de género. El asunto de la presencia en los datos plantea muchos desafíos. Si los datos están sesgados, como suele ser en el contenido audiovisual, se produce el efecto que en computación se llama “(datos) basura dentro-(resultados) basura fuera” (en inglés, “garbage in, garbage out”).
Siempre han existido los problemas con los datos. Pero estos empeoran cuando los algoritmos aprenden a través de conjuntos de datos que ponen el acento en sectores de la población basándose en prejuicios o incorporan huecos. Por un lado, los puntos ciegos ocurren cuando no se desagregan datos por sexo, lo que puede llevar a la invisibilización de las mujeres; por otro lado, surgen puntos críticos cuando los datos sobre las mujeres se seleccionan, lo que puede llevar a la discriminación. Por ejemplo, los primeros 112 hallazgos cuando busco “CEO” (director/a ejecutivo/a) en Google Images son en su mayoría imágenes de hombres. Esta búsqueda se llevó a cabo el 28 de febrero de 2020. Los resultados incluyen 90 hombres que aparecen solos, nueve mujeres solas, cinco grupos de hombres y ocho grupos mixtos. Aunque esta selección no es representativa, es revelador que solo el 8% de las imágenes que representan a directivos/as muestran mujeres no acompañadas.
Puede haber demasiada o poca presencia en los datos. Los datos insuficientes sobre las mujeres las ocultan a ellas y sus luchas; cuando los conjuntos de datos no están disponibles, no se puede diseñar una política informada. Las mujeres directoras ejecutivas que no aparecen en las búsquedas de Google son, después de todo, grupos privilegiados, pero hay poca o ninguna señal proveniente de algunas comunidades. Millones de personas no tienen acceso a teléfonos inteligentes, banca en línea o ciudades monitoreadas por CCTV; entre estas, las mujeres y las niñas son las más vulnerables y las tienen menos acceso a la tecnología. Algunas organizaciones están llenando algunos vacíos y visualizando historias ocultas sobre mujeres. ProPublica escaneó grupos de Facebook y sitios de crowdfunding para recopilar 5.000 narrativas visuales de daños maternos que habrían pasado desapercibidos.
Y María Salguero mapea historias de mujeres asesinadas en México.
Pero la integración de datos sin examinar sus consecuencias puede hacer que las mujeres sean más vulnerables. Existe una larga tradición en la creación de registros de comunidades marginadas que terminan siendo discriminadas. Algunas ONG especializadas en los derechos de las personas transgénero, por ejemplo, cuestionan la idea de la desagregación porque los datos de género pueden resultar en una clasificación errónea.
Debido al silenciamiento o enfatización de las mujeres en los conjuntos de datos, la sociedad organizada que lucha por los derechos digitales se divide en dos grupos, en términos muy simples: las que defienden la privacidad de las comunidades vulnerables ante el empleo invasivo de las tecnologías de datos y las que abogan por la inclusión de estas comunidades en dichas tecnologías, para que las mujeres tengan voz.
Desafíos para abordar el contenido audiovisual sesgado
Existen tres desafíos principales:
- falta de claridad sobre la presencia de datos,
- falta de comprensión sobre cómo funciona el ML, y
- falta de incentivos para que las corporaciones prevengan y corrijan los sesgos.
Estos desafíos están presentes en todos los procesos algorítmicos, no solo los que afectan a las mujeres o los relacionados con los datos audiovisuales; sin embargo, pueden ayudar a comprender cómo las mujeres acaban siendo discriminadas en procesos algorítmicos basados ​​en datos audiovisuales.
Primero, la falta de claridad sobre la presencia o ausencia de datos puede convertirse en un problema. Narayanan señala que lo que constituye un sesgo o prejuicio en una aplicación puede ser el dato que falta en otra. Debido a que no hay claridad sobre la presencia correcta de datos, algunos autores y autoras se refieren a la equidad como un indicador. Mehrabi y colegas hablan de equidad en términos técnicos: la equidad individual da predicciones similares a individuos similares, la equidad grupal trata a diferentes grupos por igual y la equidad de subgrupos elige una restricción de equidad de grupo y pregunta si se mantiene en otros subgrupos. Algoritmos más transparentes pueden contribuir a la solución para que se puedan evaluar caso por caso. Varias entidades públicas y privadas están buscando modelos de ML que puedan explicar cómo toman decisiones. Pero la transparencia por sí sola no es suficiente, como se ve a continuación.
En segundo lugar, no todos los resultados problemáticos en los procesos de IA se deben a fallas en los datos; el código también puede ser opaco o inescrutable. Estos dos problemas presentan desafíos diferentes. Las leyes de secreto empresarial y los regímenes de propiedad intelectual pueden contribuir a hacer que el código sea inaccesible a la auditoría, generando el efecto caja negra. Los algoritmos son opacos por razones de propiedad o por diseño deliberado. Este problema es tan generalizado que Malgieri y Comandé ha acuñado el término “sociedad de caja negra”. Esta dificultad se ve acentuada por la concentración del mercado, ya que coloca un poder creciente en un puñado de actores privados multinacionales con poder algorítmico. La falta de transparencia hace inviable disputar los resultados. Por ello, el sector público debería estipular que los proveedores renuncien a los mecanismos de protección del código.
Pero otro asunto es la “ininteligibilidad” de algunos algoritmos, que dificulta la detección de problemas Varios autores y autoras sugieren que incluso las personas que escriben el código de los algoritmos no entienden cómo funcionan. Es decir, si algunos algoritmos son impenetrables, nadie puede hacer nada al respecto. Los modelos ML son tan intrincados que pueden compararse con la alquimia. Rahimi, de Amazon, asegura que, dado que el aprendizaje automático ha ido más allá de los sistemas de intercambio de fotos a los sistemas que gobiernan la atención médica, el diálogo cívico y las elecciones, debe basarse en conocimientos verificables.
Y tercero, la industria tecnológica no está haciendo lo suficiente para abordar estos sesgos. El problema no es solo que están ocultos, sino también que la mayoría de las empresas que utilizan algoritmos similares ni siquiera quieren saber que incurren en ellos, o necesitan saber, ya que no hay incentivos para ello. No existe un estándar universal para etiquetar el sesgo algorítmico y es poco probable que los desarrolladores de IA revelen voluntariamente su perfil de sesgo algorítmico. Los casos mencionados en este artículo fueron descubiertos por unidades de investigación o investigaciones, no por las corporaciones que crearon los algoritmos.
La “condición algorítmica” está alterando los derechos humanos, que prohíben la discriminación por razón de sexo o género. En una sociedad en la que todo lo que hacemos se transforma en datos, procesados, digeridos y mediados por algoritmos que contribuyen a decisiones críticas, los derechos de las mujeres dependen de una ética y una agenda de investigación que promueva la igualdad de manera proactiva.