Durante las elecciones presidenciales de 1936 en Estados Unidos ocurrió un hecho trascendental que ha marcado la investigación por encuestas desde entonces. La revista Literary Digest predijo incorrectamente una victoria aplastante de Landon sobre Roosevelt, con un 55% por frente a un 41% de los votos, probablemente con la encuesta electoral más grande jamás recolectada en la historia. El resultado fue bien distinto. Roosevelt ganó en 46 de los (entonces) 48 estados y obtuvo el 60,8% del total de votos, frente a sólo el 36,5% de Landon. Los estadounidenses tuvieron que esperar casi 60 años, hasta 1984, para volver a ver una victoria tan aplastante en unas elecciones presidenciales.
La revista Literary Digest, que había acertado correctamente el ganador de las elecciones norteamericanas desde 1914, decidió lanzar la mayor encuesta nunca antes concebida. Envió más de 10 millones de cartas y fue capaz de construir una encuesta con cerca de 2,5 millones de respondientes. La revista utilizó su lista de suscriptores, añadiendo registros de propietarios de automóviles, socios de clubs y abonados de telefonía.
El resultado de su encuesta, sin embargo, fue una catástrofe. En las encuestas, más no siempre es sinónimo de mejor, como acertadamente demostró, en esas mismas elecciones, uno de sus competidores: George Gallup. Utilizando las matemáticas y aplicando técnicas de la incipiente disciplina de la estadística, George Gallup anticipó correctamente la victoria de Roosevelt con una muestra representativa de sólo 5.599 votantes.
Después del crash del 29, el mundo se encontraba sumido en la Gran Depresión. En Europa crecían los totalitarismos y en EE.UU. la situación había llevado a la puesta en marcha del New Deal. La muestra de Literary Digest estaba sesgada hacia la capas más ricas de la sociedad y menos castigadas por la crisis económica. La recién nacida industria de investigación por encuesta rápidamente asimiló la lección y, desde entonces, la representatividad se ha considerado el estándar de oro en los estudios de mercado. Hasta tal punto se buscan muestras representativas que la práctica habitual en España rompe la selección aleatoria (el camino más sencillo para alcanzar la representatividad) en la última etapa de selección, eligiendo encuestados utilizando cuotas de edad y sexo.
Durante los últimos años, sin embargo, y con una tendencia creciente desde mitad de los años ochenta del siglo XX, las muestras que se recogen son cada vez menos representativas. Cada vez hay menos hogares con teléfono fijo, cada vez se necesitan más intentos para conseguir completar una encuesta. La disponibilidad a colaborar de los ciudadanos es cada vez menor. Por poner sólo un ejemplo de la experiencia norteamericana, las tasas de respuesta en las encuestas telefónicas se han reducido en una cuarta parte en sólo 15 años: desde el 36% de 1997 al 9% de 2012. Las muestras recolectadas por los medios tradicionales son cada vez más caras y más sesgadas. En este contexto, los analistas han tenido que ir progresivamente ideando nuevos mecanismos (recetas de la denostada “cocina”) para tratar de corregir los sesgos en las muestras recolectadas.
Ante este panorama, y alentados por el éxito conseguido con algunos trabajos con muestras sesgadas, cada vez más investigadores estamos llegando al convencimiento de que es posible utilizar muestras “de conveniencia”, es decir, muestras que ni siquiera intentan ser representativas, y extraer de ellas una señal valiosa -separada del ruido- para realizar pronósticos acertados que, gracias a internet, comportan un bajo coste económico.
Internet ha supuesto una auténtica revolución que está abriendo muy interesantes posibilidades de investigación a los científicos sociales. Las nuevas experiencias provienen principalmente del mundo académico. Desde el empleo de respuestas recolectadas a los usuarios de la consola Xbox, utilizado con éxito por un equipo de estadísticos de EEUU en 2014 (1), a emplear mecanismos donde la población potencial de respondientes no es seleccionada por el encuestador, sino que los encuestados se auto-seleccionan, por ejemplo, mediante una “bola de nieve” (quien responde a una encuesta invita a otras personas de su red de contactos a hacerlo también, si lo desean). En estos casos, el éxito depende, sobre todo, de los modelos matemáticos que se emplean para el análisis de los datos; y no de lo que podríamos llamar la “calidad inicial” de los datos, su capacidad para reflejar de forma representativa a la opinión pública.
Durante la campaña de las pasadas elecciones generales en España tuvimos dos experiencias de esa naturaleza, con muestras autoseleccionadas. Una liderada por la web encuestamos.com, donde cualquiera puede darse de alta y sumar puntos con los que obtener regalos, y otra desarrollada por el grupo de investigación en procesos electorales y opinión pública de la Universitat de Valencia (GIPEyOP), que reclutaba encuestados mediante bola de nieve.
Las encuestas realizadas por los institutos de investigación y publicadas en los medios de comunicación fueron casi todas ellas realizadas mediante teléfono a muestras diseñadas como representativas de la población. Las excepciones, en cuanto al método de recogida, son la encuesta del CIS, publicada justo antes de la campaña, que se lleva a cabo mediante entrevistas presenciales en hogares, y la de MyWord, realizada por internet a una muestra escogida.
A la vista de los resultados que se pueden observar en la tabla adjunta, las estimaciones realizadas por encuestemos.com y por GIPEyOP a partir de muestas autoseleccionadas fueron de una precisión comparable a la del resto de los encuestadores. Además de tener un error relativamente bajo, fueron de las pocas que situaron a los cuatro primeros partidos en el orden correcto. Si atendemos a los datos brutos que ofreció GIPEyOP, puede verse que esto se pudo llevar a cabo aun disponiendo] de unos datos de muy baja “calidad inicial”.
---
(1) Wei Wang, David Rothschild, Shara Goel y Andrew Gelman “Forecasting Elections with Non-Representative Polls” Iinternational Journal of Forecasting 2014.
