El Ministerio del Interior y la Policía Nacional utilizan varios algoritmos en sus procesos de toma de decisiones. Estos algoritmos (o “inteligencia artificial”, según su denominación comercial) consisten en un sistema de fórmulas matemáticas que, apoyándose sobre una base de datos de información contrastada, son capaces de hacer una predicción sobre hecho en función a una serie de variables. Veripol por ejemplo, el algoritmo que usa la Policía para detectar si una denuncia es falsa, rastrea en la base de datos de denuncias falsas del cuerpo las palabras que suelen emplearse en este tipo de estafas y busca coincidencias en las nuevas denuncias.
“El programa procesa el texto, extrayendo características útiles para su clasificación utilizando técnicas de procesamiento del lenguaje natural. Estas características se pasan a un modelo matemático que estima la probabilidad de falsedad de la denuncia”, explica la Policía. Según sus experimentos, el programa tiene una precisión superior al 90%, aunque solo opera sobre delitos patrimoniales.
El sistema se implantó en octubre, “no necesita ninguna información por parte del usuario y es completamente automático”. La Policía explica que el algoritmo se probó por primera vez en 2015 en 1.000 denuncias presentadas en toda España. En 2017, un estudio piloto en Málaga y Murcia ayudó a elevar su precisión hasta el 80%. “La investigación en detección de mentiras sobre texto está dando sus primeros pasos y VeriPol es el primer modelo que se ha estimado y validado sobre documentos reales y no sobre textos ficticios o redactados específicamente para la investigación”, asegura la Policía, que defiende que su algoritmo en es el primero en el mundo en su género.
El Ministerio tiene en VeriPol su joya de la corona en la automatización de procesos, ya que además de ayudar en la toma de decisiones, espera que desaliente a aquellos que pudieran pensar en presentarlas, lo que por un lado reduciría los delitos cometidos (presentar una denuncia falsa lo es) y, por otro, ahorrar recursos policiales. Pero no está solo, puesto que el Ministerio del Interior utiliza otros algoritmos para predecir comportamientos de la ciudadanía.
Uno de los que se ha implantado más recientemente es el que detecta el discurso del odio en redes sociales. En este caso el sistema no se utiliza tanto para la detección de delitos (para lo cual hay otros equipos policiales especializados en rastrear las redes) sino en analizar hacia dónde se mueven los insultos en cada momento y el nivel de violencia del lenguaje. “Todavía está en fase de desarrollo y estudio”, explican fuentes de Interior a eldiario.es.
No obstante, el decano es VioGén, un algoritmo usado en la lucha contra la violencia de género. Su misión es valorar el riesgo que tiene una denunciante de ser agredida de nuevo. Su base de datos se nutre de los Formularios de Valoración Policial, que tiene unos 30 indicadores. “El algoritmo que subyace bajo los Formularios es una combinación de pesos que se asignan a los distintos indicadores”, revelan desde el Ministerio. “No todos ellos pesan y si lo hacen, no todos pesan por igual. Además, determinadas combinaciones de indicadores suben el riesgo si se dan en un momento dado”, puntualizan.
VioGén está calibrado para prevenir la reincidencia y también sirve como método de seguimiento. La fórmula detecta los patrones comunes donde la situación ha evolucionado a peor a partir de “un estudio pormenorizado de los casos a lo largo del tiempo”. El programa, presente en todas las comisarias de la Policía Nacional y cuarteles de la Guardia Civil, atribuye un nivel de riesgo en función del cual se asignan, o no, unas determinadas medidas de prevención. El pasado 25 de septiembre, VioGén falló.
¿Qué pasa cuando las matemáticas se equivocan?
“El pasado 25 de septiembre, un hombre asesinó a sus hijas. Había amenazado antes con hacerlo. Varias veces. Sin embargo, la valoración policial del riesgo para ese caso era de riesgo bajo”, interpeló esta semana la senadora de En Comú María Freixanet a la secretaria de Estado de Seguridad, Ana Botella, en la comisión de Interior de la Cámara Alta. “Hay fallos y por casos como este, en octubre Interior comunicó que iba a cambiar el test y el algoritmo que valora el riesgo”, continuó la senadora. El nuevo sistema, informó entonces el Ministerio, valora más las amenazas y la violencia psicológica.
“La tecnología de la que hablamos es una muy buena herramienta, pero solo si se utiliza bien”, expuso Freixanet, que preguntó a Botella sobre la política de Interior para implementar un determinado algoritmo, si se imparte formación para los funcionarios que trabajan con ellos o existe algún código de buenas prácticas, así cómo por la transparencia y auditabilidad de su sistema de decisiones. También se interesó por el proceso previsto para interponer una reclamación ante una decisión algorítmica que el afectado considere injusta: “¿Qué sucede a día de hoy si el algoritmo toma una decisión discriminatoria sobre una persona?”, quiso saber.
Botella no contestó. O mejor dicho, explicó a la senadora el funcionamiento de VioGén y achacó a un error en la preparación de la respuesta no poder contestar a las preguntas planteadas Freixanet. Tras reconocer que no podía ofrecerle información sobre dichas cuestiones, invitó a la senadora a reunirse con el equipo técnico informático del Ministerio.
“Voy a llamar para concertar esa cita cuanto antes”, adelanta Freixanet en conversación con eldiario.es. “A mí lo que me interesa es saber si ellos están dando valor a esta cuestión, conocer la respuesta a mis preguntas, pero también trasladarles esta alerta. Para mí era lo importante, que le pongan foco”, recalca.
Algoritmos auditables
La reclamación de la senadora de En Comú llega en un momento de creciente investigación sobre la necesidad de asegurar la transparencia de los procesos de decisión automáticos. “A medida que el uso de algoritmos sigue creciendo, existe una reclamación cada vez mayor responsabilidad en el uso, diseño e implementación de algoritmos, sobre todo por su capacidad para normalizar y amplificar las desigualdades sociales a través de la discriminación algorítmica”, reflejaba un estudio publicado en 2018 por la investigadora de la Universidad de Nueva York, Virginia Aubanks.
Científicas como la matemática Cathy O'Neil alertan de que, pese a basarse en procesos matemáticos, los algoritmos pueden ser tan racistas, machistas o discriminatorios como aquel que los programa. “Siempre funcionan bien para la gente que los diseña, pero no sabemos si funcionan bien para la gente objetivo de esos algoritmos. Pueden ser tremendamente injustos para ellos”, aseveró O'Neil en una reciente entrevista con este medio.
La Fundación Éticas también ha estudiado la problemática en España. Desde esta organización advierten de que incluso “los atributos simples de una persona, como los nombres, son suficientes para hacer que los algoritmos tomen decisiones injustas que podrían evitar que las personas tengan las mismas oportunidades de obtener un préstamo o de ser seleccionados para un trabajo”.
“Usando un algoritmo de predicción del crimen, un departamento de policía genera una lista de 1.000 personas con una mayor probabilidad de cometer un crimen violento en una comunidad específica. Si bien el departamento afirma que el algoritmo no usa directamente detalles sobre la raza, género o vecindario, es un algoritmo de aprendizaje automático basado en datos producidos por personas, y por lo tanto, refleja los sesgos de las personas. Como resultado, la mayoría de los individuos listados viven en una zona específica de la ciudad y tienen la misma raza y antecedentes, aunque al analizar los perfiles de manera objetiva, algunas de las personas no tienen motivos para ser incluidos en la lista”.
Se trata de un ejemplo explicado por la Fundación Éticas, de cómo puede contribuir a la desigualdad un algoritmo empleado en el sector público. Pese a estar basados en modelos matemáticos los algoritmos beben de los prejuicios humanos, y la organización avisa de que esto no supone un problema técnico, sino político.
“La discriminación algorítmica no es simplemente un problema tecnológico, es el resultado de problemas sociales más amplios con ramificaciones tecnológicas desafortunadas. Muestra claramente cómo la falta de evaluaciones de impacto en el desarrollo tecnológico afecta a las partes vulnerables de la sociedad. Es un problema complicado que nos afecta a todos en nuestra vida diaria, lo hayamos notado o no”.