Un algoritmo utilizado por los servicios sociales del condado de Allegheny (Estados Unidos) considera que nacer en una familia pobre o de clase trabajadora es un factor de riesgo para sufrir maltrato infantil. Esto se traduce en una mayor vigilancia de las familias latinas y negras, ya que en general son las que tienen una renta más baja. Las familias racializadas tienen también más posibilidades de recibir una visita de un asistente social y de perder a sus hijos que las familias blancas.
El uso de tecnologías de reconocimiento facial, de policía predictiva, de asignaciones de ayudas sociales o de concesión de permisos penitenciarios automatizados son, cada vez más, una realidad y no una fantasía futurista, a pesar de que la mayor parte de la ciudadanía desconoce dónde y cómo se están utilizando este tipo de sistemas de Inteligencia Artificial (IA). Con el fin de investigar cómo la inteligencia artificial está afectando y condicionando la vida de las personas racializadas y migrantes en España, un grupo interdisciplinar formado por seis personas ha decidido desarrollar el proyecto AlgoRace.
El periodista Youssef M. Ouled y la comunicadora social Paula Guerra Cáceres, ambos militantes dentro del activismo antirracista, cuentan en una entrevista concedida a elDiario.es que AlgoRace nace con la intención de “vincular el movimiento antirracista y anticolonial con el debate sobre la inteligencia artificial”. Es decir, analizar “cómo la IA afecta a los derechos de las personas, la discriminación que puede generar y los sesgos de los algoritmos”, agrega Ouled.
La idea nació de manera informal y por el interés personal por la inteligencia artificial de los miembros del grupo. Más tarde, la Fundación para la Promoción y la Iniciativa por una Sociedad Abierta (OSIFE, en sus siglas en inglés) les ofreció su apoyo y consiguieron recursos para desarrollar aquella idea inicial. El proceso se completó con la búsqueda de personas expertas en el campo y que, además, estuvieran investigando y analizando la deriva racista de ciertas aplicaciones de la IA y de las políticas migratorias.
El equipo actual de AlgoRace está formado por seis integrantes, tres de ellos racializados y tres blancos, especialistas en IA, antirracismo, anticolonialismo y en comunicación. En algunos casos, como en el de Ouled y Guerra, su implicación con el proyecto va más allá de la experiencia profesional, porque a esta suman su propia experiencia como personas racializadas y de militancia antirracista en organizaciones como SOS Racismo Madrid, entidad de la cual Guerra fue presidenta hace unos años.
(Des)racializar la IA
“La racialización es el proceso mediante el cual a todas las personas se nos asignan características y cualidades positivas o negativas en base a la categoría racial con la que se nos identifica”, desarrolla Guerra. “Esta categoría puede ser la de 'persona blanca', 'persona negra', 'persona gitana', etcétera”, dice.
La hipótesis de los miembros AlgoRace es que, en la actualidad, la Inteligencia Artificial actúa como un mecanismo más de racialización porque hace desaparecer a la persona real y la reemplaza por un conjunto de atribuciones positivas o negativas en base a patrones históricos de marginación, estigmatización y/o criminalización. “La IA refuerza el lugar de privilegio de los blancos porque refuerza la creación de una otredad, es decir, de un lugar subalterno y marginal dentro de la sociedad, y en ese sentido está jugando un rol clave en las relaciones de poder de la sociedad”, agrega la comunicadora social.
Como ejemplo, la activista menciona la tecnología predictiva que la policía utiliza en ciertos lugares, como EEUU. “Se utilizan datos de criminalidad del pasado para predecir futuros posibles crímenes y, cuando haces eso, se están replicando patrones de discriminación, porque se tendrán más datos de determinados barrios, en este caso se ha visto que coinciden con aquellos donde viven más personas negras y latinas”, cuenta Guerra.
La inteligencia artificial y los algoritmos son racistas porque se programan y se crean “en un contexto histórico de racismo sistémico y estructural”, expone Ouled. “Se trata del racismo, las políticas y las lógicas de siempre solo que se pasan a la inteligencia artificial”, añade. Ouled, que investiga y divulga sobre la perfilación racial que hace la policía, lo desarrolla con un ejemplo: “La implementación de estas tecnologías significa que ahora ya no es un policía el que te para por ser racista”, sino que es “un sistema algorítmico el que señala como más sospechosas a las personas negras, árabes o latinas”.
“Desracializar” la IA es que esta deje de ser un mecanismo de discriminación o, al menos, hacerla lo menos racista posible, subrayan. “Es un objetivo muy ambicioso y entendemos que tenemos un largo camino por delante”, puntualiza Guerra. Desde AlgoRace, consideran que la inteligencia artificial no se debería utilizar para determinadas cuestiones como la policía predictiva, la asignación de ayudas sociales o la recogida de datos biométricos, pero también son conscientes de que algunas de ellas se terminarán poniendo en marcha de todas maneras, así que apuestan por desracializarlas lo máximo posible.
En el caso concreto de los programas policiales predictivos, el objetivo de AlgoRace es concienciar a la gente de que esta práctica vulnera sus derechos a la presunción de inocencia, su libertad al monitorizar y hipervigilar a personas con un cierto perfil racial y que, por tanto, no se debería emplear.
Falsa sensación de neutralidad
En el mundo anglosajón ya se han denunciado diversos ejemplos de discriminación ejercida a través de la tecnología, como un programa que decidía la retirada de la custodia u otro que determinaba la fianza, la puesta en libertad o la concesión de permisos penitenciarios. Un sistema como este último mencionado se tuvo que dejar de utilizar en EEUU porque no permitía a las personas negras acceder ni al pago de fianzas, ni a permisos carcelarios ni a la libertad condicional, según explica Ouled. “Es evidente que esto ocurría porque los datos con los que había sido alimentado el programa vinculaban a las personas negras con el crimen”, sentencia el activista.
En los Países Bajos tuvieron que cancelar el uso de un algoritmo que determinaba la concesión de ayudas sociales porque hipervigilaba a familias de origen marroquí y turco y, como consecuencia de ello, denunciaba casos de fraude, de manera que algunas de aquellas familias acabaron perdiendo sus casas. A raíz de aquel caso, todo el gobierno de Mark Rutte terminó dimitiendo.
“La tecnología no es tan neutral como se nos quiere vender muchas veces, porque detrás de ella hay personas”, afirma Ouled. Esas personas que trabajan en el mundo tecnológico, además, suelen ser hombres blancos de clase media-alta. Desde AlgoRace creen que es “fundamental y de justicia social” que las personas racializadas accedan a ese tipo de trabajos, pero no suficiente porque “que haya policías racializados no ha hecho que la policía deje de ser una institución racista”, enfatiza el periodista. “Lo realmente útil es que construyamos espacios dentro de la sociedad civil donde se pidan explicaciones y justificaciones sobre los usos que las instituciones están dando a la IA”, añade
La opacidad y falta de transparencia de ciertas instituciones del estado español ha sido el primer escollo con el que se han encontrado los miembros de AlgoRace. “Sabemos que se están utilizando ciertos algoritmos, pero desconocemos dónde se están aplicando, quién gestiona los datos o para qué los utilizan, por eso, es más difícil analizar las discriminaciones que generan”, cuenta Ouled. Asimismo, sostiene que como sociedad tenemos derecho a saber y debatir sobre la tecnología que monitoriza y guarda nuestros datos y exigir que se cancele el uso de un algoritmo cuando este no es transparente o no tiene en cuenta la discriminación estructural. A pesar de esto, los integrantes de AlgoRace aseguran que ya ha habido ciertos partidos políticos que se han interesado por su proyecto.
“Los algoritmos tienen que ser constantemente actualizados y revisados por observadores externos para que su actualización vaya a la par de los cambios sociales”, subraya Guerra. En su opinión, no se puede programar un algoritmo en 2022 y hacerlo funcionar de la misma manera cinco años después. Además subraya que si no existen observadores externos, se tienden a replicar modelos endogámicos que suelen tener la falsa sensación de estarlo haciendo todo bien, pero que en realidad están produciendo desigualdad.
Por otro lado, los integrantes de AlgoRace destacan que uno de los problemas más graves que puede generar el uso de la tecnología de reconocimiento facial es que cuando se trata de emparejar dos rostros no blancos, los programas tienen un alto porcentaje de error, aunque cuando se trata de caras caucásicas aciertan casi al cien por cien. “Esto es muy peligroso porque los algoritmos pueden confundir a una persona con otra y que, por ejemplo, le acaben abriendo un expediente por un supuesto acto terrorista a la persona equivocada”, explica Guerra. “Con esto no queremos decir que queramos que se arreglen estos algoritmos para que se hagan bien los reconocimientos faciales; lo que queremos decir es que no queremos que se utilicen”, puntualiza Ouled.
Uso discriminatorio de la IA en España
Javier Sánchez, investigador en inteligencia artificial y miembro de AlgoRace, ha estudiado las barreras que existen en el proceso de solicitud del ingreso mínimo vital. La primera pregunta que te plantea el sistema es si has residido en España en el último año. Si contestas que no, ya no puedes continuar con el trámite, por lo que quedan excluidas de manera automática muchas personas migrantes. Por otro lado, el sistema detectaba desde qué área geográfica estaba hecha la solicitud.
Sánchez comprobó que si se accedía desde una zona en la que viven, por ejemplo, personas gitanas, era más difícil conseguir cita para ir al SEPE, pero que si la petición se hacía desde otro lugar, se conseguía la cita mucho más rápido. “Esto es un claro ejemplo del uso discriminatorio de la inteligencia artificial”, remarca Ouled.
En Europa se está produciendo ahora mismo un debate sobre la normativa de la inteligencia artificial y sobre la posible prohibición de la recogida de datos biométricos y del reconocimiento facial. Sin embargo, apunta Ouled, es muy probable que estas prácticas se prohíban con ciertas excepciones, una de ellas son las fronteras. Esto se conoce como frontera digital o inteligente y se traduce en la recogida de datos biométricos de todo tipo de las personas que llegan a un paso fronterizo: voz, cara, huella dactilar, retina, etc.
“El hecho de que en las fronteras de Europa, por ejemplo Ceuta, se recojan tus datos biométricos genera desigualdad entre los europeos y los no europeos, porque al mismo tiempo te están diciendo que recoger esos mismos datos de personas europeas está mal, pero si son personas migrantes no hay problema”, cuenta Ouled. “Esto haría el control migratorio todavía más racista de lo que ya es”, recalca. Por otro lado, él afirma que estos datos se podrían utilizar para impedir que personas que llegan a la Unión Europea a través de la frontera de Ceuta puedan pedir asilo en Francia, donde es posible que tengan familia, porque como sus datos habían sido filiados en Ceuta se ven obligados a quedarse en España.
Desde AlgoRace abogan por la prohibición y cancelación total de la recogida de datos biométricos y de la frontera digital. Por otra parte, destacan también que si la frontera digital se acaba poniendo en práctica en las fronteras españolas y de otros países del sur, se estaría utilizando a estos países como territorio de contención y limitando el derecho de movimiento de las personas migrantes.