Sexismo en la IA: “Subestimamos el componente humano de estas herramientas”

Sin demasiadas sorpresas, la nueva ola de la llamada inteligencia artificial “generativa” ha demostrado que estos algoritmos de vanguardia no escapan a los prejuicios de género. Contenidos que hipersexualizan a las mujeres, reproducción de estereotipos o discriminación de género: estos resultados dicen mucho sobre los límites y los problemas de estas herramientas presentadas como revolucionarias. Sin embargo, para Estelle Pannatier, responsable de política y promoción de AlgorithmWatch CH, ya existen recursos legales para controlar estos abusos. Aun así, la creación y el uso de la IA carecen de transparencia para evidenciar la discriminación que causan.

¿Qué entendemos por sesgo sexista en el campo de la IA?

El término sesgo algorítmico se utiliza generalmente para describir los errores sistemáticos de un sistema informático que crean resultados injustos, favoreciendo una categoría sobre otra de forma injustificada. En este contexto, un sesgo sexista sería, por ejemplo, el hecho de que un algoritmo asigne diferentes puntuaciones de riesgo en función del género de la persona en un contexto donde esta diferencia no está justificada. La noción de sesgo es, sin embargo, un poco reduccionista. Su uso se limita generalmente a la calidad de los datos de los sistemas bajo la siguiente idea: son los datos los que causan sesgos y llevan a las IA a hacer distinciones basadas, por ejemplo, en el género. No obstante, las desigualdades de género provocadas por el uso de la IA tienen varias causas.

Entonces, ¿estas discriminaciones sexistas no son simplemente el resultado de los sesgos presentes en las bases de datos utilizadas?

Obviamente, la calidad de los datos influye. La fecha en la que fueron recogidos, la forma en que fueron procesados, etc., pero existen muchas decisiones humanas detrás de este trabajo. Más allá de la problemática de los datos, también está la cuestión de los modelos de IA utilizados por estos algoritmos, es decir, los parámetros que se eligen y, en última instancia, el uso de estos sistemas. Incluso un sistema tecnológicamente perfecto puede tener consecuencias discriminatorias si se utiliza incorrectamente.

¿Cómo afectan exactamente estos sesgos al funcionamiento de la IA?

Tomemos el ejemplo de un algoritmo basado en el autoaprendizaje diseñado para el proceso de contratación de una empresa. Si históricamente en esta compañía las mujeres ocupan menos puestos de responsabilidad que los hombres y el algoritmo se entrena con estos datos sin ninguna corrección, reproducirá este desequilibrio. En cuanto a los modelos, para un algoritmo que clasifique currículos, por ejemplo, los humanos tendrán que establecer criterios de exclusión para aquellos que no sean seleccionados. Pero esos criterios pueden estar sesgados.

¿Qué efecto pueden tener estos sesgos sobre las mujeres?

Para las personas afectadas las consecuencias pueden ser importantes. La situación puede conducir a un acceso desigual al empleo. Llevamos a cabo una investigación que reveló que, en Facebook, las ofertas de trabajo se mostraban según el género del usuario. Un anuncio para la conducción de camiones se mostraba más a hombres, mientras que otro sobre el cuidado de niños se mostraba más a mujeres. También hay un ejemplo muy mediático en Austria, donde el servicio nacional de empleo utilizó un algoritmo para evaluar las posibilidades de que los desempleados encontraran trabajo. El sistema restaba puntos a las mujeres que tenían personas a su cargo, pero no así a los hombres en la misma situación, lo que podía privarlas injustamente del acceso a ciertas prestaciones sociales.

La falta de mujeres, tantas veces señalada en los distintos campos de la tecnología, ¿influye también en el desarrollo de la IA?

Las personas que conciben estas tecnologías les infunden sus propias ideas durante su diseño. Existe una tendencia a subestimar el componente humano de estas herramientas. Contar con una mayor diversidad en la fase de creación de la inteligencia artificial solo puede ser positivo, independientemente del tipo de discriminación. Pero también hay que implementar procesos, como evaluaciones de impacto en los derechos fundamentales, para garantizar que estos sistemas no conduzcan a una discriminación.

Hace apenas un año empezábamos a hablar de la IA generativa. En el ámbito de la tecnología, da la impresión de que a menudo la legislación se queda anticuada. ¿No está sucediendo todo esto demasiado rápido como para poder regularlo eficazmente?

Es un campo que está evolucionando muy rápido, pero debemos recordar que no estamos en un desierto legal. Las leyes y normas vigentes también se aplican a la IA. Se están poniendo en marcha varias iniciativas para subsanar los vacíos legales, como el Reglamento sobre IA de la Unión Europea o la Convención sobre IA, que se está debatiendo actualmente en el Consejo de Europa. En Suiza, el Consejo Federal va a analizar las necesidades regulatorias de la IA hasta finales de 2024.

¿Cómo podemos controlar algo en continuo movimiento para evitar que reproduzca sesgos sexistas?

En primer lugar, se debe garantizar la transparencia para las personas implicadas y para la sociedad en general, especialmente cuando estos sistemas se utilizan para tomar decisiones sobre los humanos. El diseño y el uso de los sistemas también debe estar sujeto a análisis de impacto para identificar y mitigar los riesgos en materia de derechos fundamentales. Por último, debe aumentarse la protección contra la discriminación algorítmica, especialmente reforzando las vías de recurso para los afectados.

Más allá de la discriminación, también hemos observado que estas herramientas llamadas generativas se han utilizado para crear deepfakes pornográficos o contenido que hipersexualizar a las mujeres.

En algunas de estas situaciones pueden aplicarse medidas legales, concretamente las relacionadas con el derecho al honor. Pero aún queda mucho trabajo por hacer en cuanto a la aplicación del marco legal: se necesita mucho tiempo y esfuerzo para lograr que se elimine cierto contenido. También debemos aclarar las responsabilidades, por ejemplo, definir quién es el responsable cuando se genera un contenido ilegal.

¿Cuáles son los principales retos que surgen actualmente para evitar la deriva de la IA?

Existe una verdadera dificultad para identificar los casos de discriminación relacionados con el uso de sistemas algorítmicos, tanto para las personas afectadas por la discriminación como para las personas que intentan denunciarla, porque a menudo es necesario poder “entrar en la máquina”. Sin embargo, estas cuestiones son fundamentales, especialmente en el caso de algoritmos que intervienen en la toma de decisiones y que pueden tener un impacto significativo en la vida de una persona, por ejemplo, en el contexto de la migración o el procesamiento penal.