La violencia machista también está en los algoritmos

En el año 2023, la Brigada Central de Información Tecnológica de la Policía Nacional detectó más de 20.000 fotografías alteradas con IA y difundidas en páginas de contenido pornográfico. La violencia de género digital se ha convertido sin lugar a duda en el gran reto del presente más inmediato, y su desconocimiento, magnitud y normalización la convierten en una potente forma de abuso hacia las mujeres.

Los enormes avances tecnológicos que estamos presenciando como sociedad se han consolidado como una herramienta revolucionaria en diversos campos, desde la medicina hasta la educación. Sin embargo, su aplicación en contextos de igualdad y violencia de género no está exenta de riesgos. Si bien estas tecnologías tienen el potencial de generar soluciones innovadoras, su mal uso o diseño deficiente pueden exacerbar las desigualdades existentes, perpetuar estereotipos y, en el peor de los casos, poner en peligro la seguridad de las mujeres.

La violencia de género digital abarca un abanico enorme de modalidades de violencia, desde el acoso o el control digital, hasta la difusión no consentida de contenido íntimo (revenge porn o pornografía por venganza), pasando por el sexting, grooming, suplantación de la identidad, violencia económica digital, misoginia en red o sextorsión. Estas son algunas de las formas más comunes en las que se manifiesta esta forma de violencia, y la ausencia de información, la escasa formación en seguridad en red, especialmente de las generaciones más jóvenes y que son nativas digitales, la normalización de determinados comportamientos y el negacionismo de la violencia machista son el caldo de cultivo más proclive para su amplificación, difusión y alcance.

Un riesgo particularmente preocupante es el uso de plataformas digitales para la generación y amplificación de discursos de odio y desinformación contra las mujeres. Las redes sociales, potenciadas por algoritmos que priorizan el contenido viral, son terreno fértil para la propagación de mensajes misóginos. Esto puede tener un impacto devastador en la reputación, seguridad y bienestar de las afectadas. La capacidad de estas herramientas para crear y difundir contenido falso pone en entredicho la capacidad de las mujeres de defenderse frente a estos ataques, en un contexto de negacionismo de la violencia machista y de cuestionamiento de los avances feministas de los últimos años.

El marco legal y ético en torno al uso de la tecnología en estos contextos aún es incipiente. La ausencia de normativas claras que obliguen a las empresas tecnológicas a desarrollar sistemas libres de sesgos de género y a rendir cuentas por los impactos negativos de sus productos es un problema global. La falta de transparencia en los algoritmos dificulta el escrutinio público y la evaluación de su impacto en los derechos fundamentales.

Por otro lado, la falta de representación de mujeres en el diseño y desarrollo de sistemas tecnológicos contribuye a la perpetuación de las desigualdades. La industria tecnológica continúa siendo dominada por hombres, lo que implica una perspectiva limitada en la identificación y mitigación de riesgos relacionados con la igualdad de género y la violencia contra las mujeres.

La tecnología es una herramienta poderosa y valiosa, pero su mal uso puede tener consecuencias devastadoras, especialmente en contextos de desigualdad y violencia machista. La clave para mitigar estos riesgos radica en un diseño ético, transparente e igualitario, acompañado de una regulación adecuada que garantice la protección de los derechos fundamentales.

Sin una supervisión adecuada, la tecnología no sólo perpetuará las desigualdades existentes, sino que también podría convertirse en una herramienta que agrave la violencia de género y la discriminación hacia las mujeres. Es responsabilidad de las instituciones, las empresas tecnológicas y la sociedad en su conjunto garantizar que éstas se utilicen para promover la justicia y la igualdad, y no para socavarlas.