“La capacidad de la inteligencia artificial para servir a la población es innegable, pero también lo es su capacidad de contribuir a violaciones de derechos humanos en gran escala, de manera casi indetectable”, avisa la Alta Comisionada de las Naciones Unidas para los Derechos Humanos, Michelle Bachelet. Su Oficina ha publicado esta semana un informe que alerta de que los estados no están prestando la suficiente atención a la expansión de esta tecnología, a pesar de los graves riesgos que entraña. Por ello, pide que se imponga una moratoria en la venta y aplicación de algunos de estos sistemas, como los de reconocimiento de emociones, identificación biométrica o aquellos que necesitan una recolección masiva de datos personales.
La ONU recoge múltiples investigaciones que han mostrado que la IA refleja los sesgos de sus programadores y puede tomar decisiones clasistas, machistas o racistas. Sin embargo, avisa que los gobiernos están incorporando la inteligencia artificial a sus sistemas de seguridad, judiciales o de concesión de ayudas sociales sin las debidas garantías.
Además de la paralización de los sistemas más peligrosos para los derechos humanos, el informe incluye una serie de recomendaciones a los estados. Entre ellas destaca el deber de “aumentar drásticamente la transparencia de su uso de la IA, incluso informando adecuadamente al público y a las personas afectadas y permitiendo una auditoría independiente y externa de los sistemas automatizados”.
La investigación recoge ejemplos de todo el mundo y sus recomendaciones son globales. No obstante, España no es una excepción en la tendencia que contrasta Naciones Unidas. El uso más extendido es la detección biométrica. Los servicios de seguridad de estaciones y aeropuertos emplean reconocimiento facial y algoritmos de la forma del cuerpo para identificar individuos sospechosos. Este año Renfe llegó a sacar a concurso la contratación de un sistema capaz de detectar la etnia, el tipo de vestimenta o estado de ánimo de los viajeros, aunque se vio obligada a cancelarlo por la polémica generada.
Las tecnologías biométricas, que se están convirtiendo en un comodín para los Estados y las empresas, necesitan urgentemente más directrices de derechos humanos
La tendencia va más allá de las fuerzas públicas de seguridad. Un número creciente de empresas privadas analizan las posibilidades de esta tecnología. Mercadona puso en marcha en pruebas un sistema de reconocimiento facial que analizaba a todos los clientes de sus establecimientos solo para detectar a aquellos a los que la justicia había impuesto órdenes de alejamiento (un total de 37 personas en toda España). La Agencia de Protección de Datos multó a la empresa de Juan Roig con 2,5 millones de euros al fallar el pasado julio que el sistema era “desproporcionado”. Ante las dudas legales sobre el mecanismo, la compañía decidió abandonar el proyecto.
El de los reconocimientos biométricos es uno de los ámbitos que más preocupa a Naciones Unidas y por el que que ha pedido que se paralice la implantación de la inteligencia artificial, “al menos hasta que las autoridades responsables puedan demostrar el cumplimiento de las normas de privacidad y protección de datos y la ausencia de problemas significativos de precisión e impactos discriminatorios”. “Las tecnologías biométricas, que se están convirtiendo en un comodín para los Estados, las organizaciones internacionales y las empresas de tecnología, necesitan urgentemente más directrices de derechos humanos”, añade.
La UE también está negociando una moratoria como la que pide Naciones Unidas para los sistemas de reconocimiento biométrico. No obstante, en el borrador que ha presentado Bruselas se añade una excepción para situaciones que afecten a la seguridad, lo que da vía libre a su uso por parte de policías y cuerpos de seguridad. 60 organizaciones de la sociedad civil de toda Europa han organizado una campaña para pedir a la Comisión Europea que endurezca las normas europeas contra “los usos de la biometría que puedan dar lugar a una vigilancia masiva ilegal”. Hasta el momento la han suscrito 60.600 ciudadanos.
Tecnologías sin base científica
El reconocimiento emocional es un derivado del reconocimiento facial. Parte de la industria de la inteligencia artificial defiende que sus sistemas pueden detectar y predecir los sentimientos de una persona a partir de su cara y sus gestos. Su objetivo es venderlos como programas útiles para, por ejemplo, la protección de fronteras, donde puede elevar alertas sobre personas en las que detecte ansiedad o culpa.
El problema es que ese tipo de reconocimiento carece de base científica, según cada vez más estudios e investigadores. Naciones Unidas ha recogido esa alerta y encuadra la tecnología de reconocimiento emocional en el grupo de inteligencias artificiales que pide paralizar: “Los sistemas de emociones operan bajo la premisa de que es posible inferir automática y sistemáticamente el estado emocional de los seres humanos a partir de sus expresiones faciales, lo cual carece de una base científica sólida”.
En este sentido, la ONU pide que deje de utilizarse el reconocimiento emocional para calificar a los empleados en su puesto de trabajo o para evaluar su valía para un determinado puesto, otros dos de los usos más extendidos. Recalca además que, junto al reconocimiento facial, el emocional es el que supone una mayor amenaza de recolección masiva e indiscriminada de datos e imágenes de personas que no son sospechosas de ningún delito.
Ayudas sociales decididas por máquinas
Otro de los usos de la inteligencia artificial sobre el que el informe de Naciones Unidas llama la atención a los estados son los procesos de concesión de ayudas sociales. “Se utilizan cada vez más para ayudar a la prestación de servicios públicos, a menudo con el objetivo declarado de desarrollar sistemas más eficientes”, explica. Sin embargo, la opacidad del método de decisión hace que puedan convertirse en injustos “y una distopía de cibervigilancia”.
Una de las principales preocupaciones en relación con el uso de la inteligencia artificial para los servicios públicos es que puede ser discriminatoria, en particular con respecto a los grupos marginados
La ONU recuerda el caso de los Países Bajos, que ha servido de ejemplo internacional por una sentencia judicial que prohibió un sistema algorítmico cuya misión era detectar el fraude con las ayudas sociales. Los jueces neerlandenses consideraron que infringía el derecho a la intimidad de los solicitantes, puesto que recopilaba un gran número de datos sobre ellos. El peligro que acarrean estos sistemas es el de imponer una doble pena a aquellos que se ven obligados a solicitar prestaciones, puesto que ven su privacidad violada y se “socavan la autonomía y la capacidad de elección individuales”, dice el informe.
En España se conoce el uso de varios de estos algoritmos en los servicios públicos, pero se ha cuestionado la transparencia de todos ellos. La Policía usa el conocido VioGen, que evalúa el riesgo que corren las denunciantes de violencia de género. El Ministerio del Interior se ha negado a abrir el algoritmo para que sea auditado por organizaciones independientes. Otro caso es el del programa BOSCO, que otorga o deniega el derecho a recibir la ayuda del bono social de la luz. El Gobierno se ha negado a revelar su código fuente ante una petición de transparencia de Civio y actualmente el caso se encuentra en los tribunales.