Esta vez no fallaron las encuestas

Pronosticar los resultados de unas elecciones es una tarea difícil. Más si cabe en nuestro país con un contexto pluripartidista y un sistema electoral caracterizado por un gran número de circunscripciones electorales, en las que el número de escaños no es proporcional a su peso poblacional, y en el que la aplicación de la Ley D’Hondt hace que en muchas ocasiones la atribución de un escaño se vea determinada por una diferencia mínima de votos.

A esta dificultad se une el hecho, ampliamente tratado por la metodología de encuestas en los últimos años, de que cada vez son menos los ciudadanos y ciudadanas que tienen alguna probabilidad de ser contactados para participar en una encuesta y los que, en caso de serlo, están dispuestos a responder a ellas. Así, en el caso de la entrevista telefónica, el modo de administración empleado en la práctica totalidad de las encuestas pre-electorales realizadas en España, se estima que cerca de la mitad de la población no tiene ninguna probabilidad de formar parte de sus muestras, bien porque no disponen de teléfono fijo en el hogar, bien porque su número no aparece en los directorios telefónicos que la mayoría de estas encuestas emplean como marco muestral. A este segmento de la población no contactable, ya de por sí elevado, habría que sumarle la población que rechaza participar en una encuesta de este tipo (no respuesta total) y la que, accediendo a responder a la encuesta, se inhibe en las preguntas en las que se basa la estimación de voto (no respuesta parcial).

Todos estos motivos hacen que el balance de la precisión de las encuestas electorales en nuestro país no haya sido especialmente positivo en los últimos años. Desde las pasadas elecciones generales, celebradas en noviembre de 2011, el fracaso de las encuestas ha ocupado titulares en prensa tras la celebración de tres de las últimas siete convocatorias: las autonómicas andaluzas y catalanas de 2012 y las elecciones al Parlamento Europeo de mayo de 2014. Concretamente, en el caso de las anteriores elecciones autonómicas andaluzas, las encuestas publicadas supieron pronosticar la victoria del PP-A pero fallaron al otorgarle una ventaja de nueve puntos de media sobre el PSOE-A que quedó reducida a poco más de un punto en los resultados definitivos y que no sirvió a este partido para formar gobierno.

La mayor complejidad del contexto actual, con nuevos partidos que venían creciendo con fuerza y una caída sin precedentes en la fidelidad de voto de los partidos mayoritarios, hacían prever un mal rendimiento de las encuestas a la hora de pronosticar los resultados de las elecciones que se celebraron el pasado domingo 22 de marzo. Sin embargo, la mayoría de las estimaciones publicadas han sabido adelantar de manera acertada las principales tendencias de los resultados: con un PSOE-A que ganaría las elecciones pero lejos de la mayoría absoluta, un fuerte descenso en el voto al PP-A y a IULV-CA y la potente irrupción en el arco parlamentario de Podemos y Ciudadanos. Partido éste último cuyo crecimiento se ha ido viendo reflejado encuesta a encuesta a medida que se acercaba la fecha de los comicios.

Uno de los aspectos en los que se ha traducido esta complejidad es la mayor disparidad en los pronósticos realizados por las diferentes empresas encuestadoras en comparación con convocatorias anteriores en las que las estimaciones tendían a converger entre sí. Esto hace particularmente interesante llevar a cabo una evaluación más pormenorizada del nivel de precisión obtenido por las distintas encuestas.

Entre el 24 de enero y el 22 de marzo de 2015 se publicaron los resultados de un total de 21 encuestas pre-electorales y una encuesta a pie de urna producidas por 13 empresas e instituciones distintas. La siguiente tabla muestra la lista de estas encuestas ordenadas en función de su nivel de precisión global medido a través del error absoluto (la suma de las desviaciones de la estimación de voto a cada partido con respecto al resultado obtenido por ese partido en la elección) cometido. Asimismo, la tabla identifica aquellas encuestas que han ofrecido alguna estimación que se desvía del resultado electoral por encima del margen de error muestral declarado y sobre qué partido y en qué dirección se producen estos sesgos.

Un primer elemento a destacar de estos datos es que hay una clara relación entre la precisión de la encuesta y su fecha de realización, que se traduce en que las encuestas más cercanas al 22 de marzo tienen un nivel de error significativamente más bajo que las que se publicaron en los meses de enero y febrero. Además, buena parte del error cometido por estas encuestas más lejanas se produce porque subestiman el voto a Ciudadanos y sobrestiman el voto al PP. Este hecho apuntaría más a que se habría producido un cambio en la tendencia de voto de parte del electorado del PP hacia Ciudadanos a medida que avanzaba el proceso electoral y no tanto a problemas en el diseño técnico-metodológico o en los modelos de estimación de voto aplicados por las empresas. Será necesario esperar a analizar los resultados de la encuesta post-electoral del CIS para ver si se confirma esta hipótesis. Menos problemático parece haber resultado para el conjunto de las empresas estimar el voto del PSOE-A, IU-CA y Podemos, para los que el número de encuestas que presentan sesgos significativos es mucho menor. La gran mayoría de las encuestas ha estimado bien el voto a Podemos, un partido para el que no existía un histórico suficiente que permitiera afinar en sus pronósticos.

Podemos afirmar, por tanto, que las encuestas han cumplido razonablemente bien con su misión de avanzar los resultados de las elecciones, sobre todo teniendo en cuenta las dificultades añadidas que entrañaba esta convocatoria para una tarea ya de por sí difícil. Sin embargo, estos datos también aportan indicios de la existencia de sesgos, posiblemente relacionados con la representatividad de las muestras obtenidas, que no son corregidos en su totalidad en los modelos de estimación del voto. Sólo dos encuestas proporcionan una estimación que no se desvía significativamente de los resultados obtenidos por los principales partidos. El resto presenta sesgos superiores al que explicaría el nivel de error muestral de la encuesta en la estimación de voto de alguno o varios de los partidos.

Este resultado nos avisa de la importancia de mantener la guardia, analizando las posibles fuentes de sesgos de estas encuestas e incorporando a la práctica los avances metodológicos que tratan de solucionar los retos a la representatividad de sus muestras (encuestas a móviles, técnicas de marcado aleatorio, etc.). Este esfuerzo debería ir acompañado de una mayor transparencia en la difusión de los resultados de las encuestas electorales, en particular en lo que se refiere a sus características técnico-metodológicas, los datos de intención directa de voto y los procedimientos de estimación empleados. Todo ello contribuiría a mejorar la calidad de las encuestas y la confianza del público en esta técnica y en las empresas e instituciones que trabajamos con ella.