¿Quién controla al algoritmo? La Generalitat Valenciana obliga a mostrar las fórmulas que influyan en las políticas públicas

Las Administraciones Públicas caminan hacia un escenario en el que las fórmulas automatizadas hagan más eficiente su trabajo. La Agencia Tributaria, la Policía Nacional, el sistema de protección a las víctimas de violencia machista (Viogen), Sanidad o la Seguridad Social utilizan sistemas automatizados, inteligencia artificial o fórmulas algorítmicas que influyen en la toma de decisiones públicas, pero muchos no son conocidos.

Pero la tecnología, como toda herramienta diseñada por la mano humana, tiene sus riesgos, sus sesgos, sus errores. Y en el caso de las Administraciones Públicas, que prestan un servicio a las personas, con el componente de imprevisibilidad y el coste humano, no puede permitirse delegar por completo las decisiones en una fórmula matemática, a menudo plenamente opaca. En los últimos años crecen las voces que claman por los derechos digitales ante la inteligencia artificial y por una tecnología ética, asumiendo las vertientes negativas que puede tener una tecnología sin control. El filosofo Daniel Inneranity, que acaba de crear la Cátedra de Inteligencia Artificial y Democracia en el Instituto Europeo de Florencia, aboga por no asimilar la inteligencia artificial a la humana y propone un diálogo en el que se planteen escenarios compatibles entre humanos y máquinas.

En el caso de los algoritmos que emplean los gobiernos de todas las escalas, entra además en juego el principio de transparencia: ¿Si un ciudadano puede acceder a un decreto que regula subvenciones, por qué no puede conocer la fórmula que decide cómo se reparten? En esta línea, el Gobierno Valenciano ha modificado su ley de Transparencia para obligar a la Administración a mostrar sus algoritmos.

La norma, modificada el pasado abril, establece la obligación de publicar “la relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad”.

“Es la primera ley en la que se incluye como una obligación directa publicar estos sistemas” recalca Andrés Gomis, director general de Transparencia del Gobierno valenciano. Su departamento trabaja con la Cátedra Pagoda de Gobierno Abierto de la Universitat de València para poner en marcha este punto de la norma, que la convierte en una de las más avanzadas en Europa, y tener un registro público de algoritmos durante 2023. La filosofía es que si hay una Administración que se rige por unas reglas que son públicas, también deben serlo los sistemas que funcionan de forma equivalente, en aras de mantener el principio de rendición de cuentas que defiende el departamento dirigido por Rosa Pérez Garijo.

El desarrollo normativo sigue la estela de la carta de derechos digitales, pero se topa con algunas complicaciones, como encontrar una fórmula garantista con la privacidad y la protección de datos. Muchos de estos sistemas los desarrollan terceros y afectan a información personal, recuerda Lorenzo Cotino, catedrático de Derecho y parte del grupo que trabaja con la Conselleria de Transparencia. “La mayoría de los sistemas no los conocemos”, señala el catedrático, que enfatiza la necesidad de que la población tenga información sobre el desarrollo de las políticas públicas. Si estas se desarrollan por sistemas más o menos automatizados, aunque requieran la validación de un trabajador, los ciudadanos tienen derecho a conocer cuáles son los criterios, a recurrir o enmendar posibles errores y a tener información sobre los sesgos.

El trabajo de desarrollo normativo, apunta Cotino, consistirá en determinar qué es el impacto sobre la política pública y obtener información para, de manera comprensible, saber cómo opera la fórmula y a quién dirigirse. Qué fórmula se emplea, de dónde sale -si la creación es pública o de terceros- y cómo se ha interpretado, insiste. La modificación legal incorpora un texto lo suficientemente amplio para que quepan todas las definiciones de procesos automatizados que intervienen en la administración, tengan capacidad de autoaprendizaje y autonomía en la toma de decisiones o requieran la validación de un operador público.

Las Administraciones Públicas caminan hacia un escenario en el que las fórmulas automatizadas hagan más eficiente su trabajo. La Agencia Tributaria, la Policía Nacional, el sistema de protección a las víctimas de violencia machista (Viogen), Sanidad o la Seguridad Social utilizan sistemas automatizados, inteligencia artificial o fórmulas algorítmicas que influyen en la toma de decisiones públicas, pero muchos no son conocidos.

Pero la tecnología, como toda herramienta diseñada por la mano humana, tiene sus riesgos, sus sesgos, sus errores. Y en el caso de las Administraciones Públicas, que prestan un servicio a las personas, con el componente de imprevisibilidad y el coste humano, no puede permitirse delegar por completo las decisiones en una fórmula matemática, a menudo plenamente opaca. En los últimos años crecen las voces que claman por los derechos digitales ante la inteligencia artificial y por una tecnología ética, asumiendo las vertientes negativas que puede tener una tecnología sin control. El filosofo Daniel Inneranity, que acaba de crear la Cátedra de Inteligencia Artificial y Democracia en el Instituto Europeo de Florencia, aboga por no asimilar la inteligencia artificial a la humana y propone un diálogo en el que se planteen escenarios compatibles entre humanos y máquinas.