“Los confinamientos tuvieron poco o ningún efecto sobre la salud pública, pero impusieron enormes costes económicos y sociales donde se adoptaron. En consecuencia, son infundados y deberían ser rechazados como políticas pandémicas”. Estas dos frases se han viralizado en los últimos días como prueba de que las medidas más controvertidas en la lucha contra la COVID-19 no solo no funcionaron, sino que fueron contraproducentes. Su origen: un estudio publicado por la prestigiosa Universidad Johns Hopkins (EEUU).
“La catástrofe de los confinamientos”, titulaba una columna de opinión del Wall Street Journal. “Los cierres y confinamientos no han servido para evitar muertes, pero han causado daños económicos y sociales. […] Teníamos razón. Madrid Abierto es lo mejor para hacer frente a la pandemia”, tuiteaba la presidenta de la Comunidad de Madrid, Isabel Díaz Ayuso. Esto, a pesar de que el artículo señala que “cerrar negocios no esenciales parece tener algo de efecto (al reducir la mortalidad un 10,6%), lo que probablemente se deba al cierre de los bares”.
En realidad, no se trata de un estudio publicado. La institución académica se ha distanciado del documento; sus autores mantienen conflictos de intereses diversos y todos los investigadores consultados ponen en duda la calidad del trabajo y sus conclusiones.
Desde la Universidad Johns Hopkins señalan a elDiario.es una de las primeras líneas del texto: “Las opiniones expresadas en cada documento de trabajo son las de los autores y no necesariamente las de las instituciones a las que están afiliados”. Subrayan, además, que no se trata de un preprint pendiente de revisión por pares sino de un “documento de trabajo”. A pesar de eso, el documento muestra el escudo de la institución en la primera página y en gran tamaño.
La conexión con esta universidad viene a través de uno de los tres economistas que firman el artículo. Steve Hanke es el fundador y codirector del Instituto Johns Hopkins de Economía Aplicada, Salud Global y Estudio de Empresas. Además de haber sido consejero económico del presidente de los Estados Unidos Ronald Reagan, es miembro del Instituto Cato, un laboratorio de ideas de tendencia liberal cofundado por el polémico multimillonario Charles Koch.
Koch financió durante la pandemia la también controvertida Great Barrington Declaration, que Hanke y al menos otro de sus coautores apoyan. Sus defensores apostaban por seguir una estrategia de “protección focalizada” que intentaría evitar que los más vulnerables se contagiaran, mientras el resto de la sociedad continuaba su vida con normalidad para aumentar la inmunidad poblacional.
Esta visión ha sido criticada por la mayoría de los expertos. Un artículo de opinión publicado en la revista British Medical Journal llamaba a los proponentes de la Great Barrington Declaration “nuevos mercaderes de la duda”, en referencia a los investigadores a sueldo de petroleras y tabacaleras. Aun así, el manifiesto recibió una gran atención mediática en un momento en el que la ausencia de vacunas aún impedía la relajación de muchas medidas.
“Sabemos que los confinamientos tienen consecuencias en la salud y el tejido económico, pero [los firmantes de la Great Barrington Declaration] plantean un escenario no real”, aseguraba en octubre de 2020 el director del Observatorio de Salud Pública de Cantabria, Adrián Aginagalde. Este consideraba el análisis “pobre” y criticaba que se propusieran “situaciones no ensayadas” en lugar de “lo que se sabe que funciona”.
Basura entra, basura sale
Todo lo expuesto hasta ahora es irrelevante a la hora de evaluar los resultados del estudio. Irónicamente, aunque ha sido compartido miles de veces en redes sociales y cubierto por numerosos medios, este diario ha tenido problemas para encontrar un investigador dispuesto a leer con detalle lo que uno ha llegado a definir como “rollo” cuyos autores “parece que jueguen a confundirnos”. Otros lo califican de “desastre premeditado”. El documento tiene, bibliografía aparte, más de 50 páginas.
El trabajo ha recibido atención entre quienes se oponen a los confinamientos por sus conclusiones, pero también por el tipo de estudio. Se trata de una revisión sistemática y metaanálisis, en el que se bucea en la literatura existente sobre un tema para hacer un estudio de estudios y obtener resultados —en teoría— más robustos que los alcanzados por cada artículo por separado.
Si los ensayos controlados aleatorizados se consideran la “evidencia de oro”, los metaanálisis son la de “platino”. Este título, sin embargo, es cuestionado por algunos investigadores. Existen varios problemas: uno es que son estudios difíciles de realizar, hasta el punto de que hay investigadores especializados en la materia e incluso organizaciones dedicadas a ello como la Colaboración Cochrane. Además, estos trabajos son tan buenos como los estudios de los que se nutren, una limitación que suele resumirse con la expresión “basura entra, basura sale”.
“El metaanálisis no proporciona una base objetiva para evaluar hipótesis porque al hacerlo deben tomarse numerosas decisiones que permiten una amplia libertad para que la subjetividad influya en su resultado”, advertía el filósofo de la ciencia Jacob Stegenga en un artículo de 2011. Estas decisiones incluyen qué estudios se tienen en cuenta, qué estudios se descartan y qué peso se da a cada uno de los escogidos.
Un trabajo que “no vale la pena”
En el caso del trabajo de Hanke, de los más de 18.000 estudios identificados, solo 24 fueron incluidos. El estadístico de la Universidad Politécnica de Cataluña Erik Cobo explica que esto no es algo negativo per se: “El problema no es de cantidad, sino de calidad”.
Los trampantojos están por todo el documento. Por ejemplo, el economista de la Universidad de Carolina del Norte en Chapel Hill (EEUU) explicaba en Twitter de dónde sale el escaso -0,2 % de reducción de la mortalidad atribuida a los confinamientos que han repetido muchos medios. Aunque la estimación oscilaba entre un -35% y un +0,1%, los autores decidieron dar la mayoría del peso a un solo estudio: el único que consideraba que las medidas aumentaron la mortalidad (en un 0,1%) y que fue publicado en una revista potencialmente depredadora.
Cobo considera que se trata de un documento sin revisión y, más importante, sin protocolo previo. Esto hace que el trabajo esté expuesto al llamado “sesgo de selección” por el que los autores escogen, adrede o no, los estudios que más les interesan para lograr la conclusión deseada.
“Recomiendo no creerse nada de metaanálisis basados en estudios observacionales, sin protocolo y sin revisión por pares independiente”, advierte Cobo. Cree que no vale la pena entrar en un estudio observacional “que no reconoce sus limitaciones” porque “las preguntas sobre causas suelen ser retrospectivas y sin protocolos, por lo que siempre son opinables; solo las preguntas sobre efectos son estimables”.
El epidemiólogo Pedro Gullón cree que el principal problema del trabajo es que se centra solo en el impacto de los confinamientos sobre la mortalidad, por lo que deja fuera los muchos estudios que analizaron su efecto sobre la incidencia.
“En una medida no farmacológica no hay ninguna razón para pensar que algo que reduzca la incidencia no disminuya también la mortalidad, así que dejarte fuera esos estudios es una forma de introducir un potencial sesgo de selección para quedarte con lo que te pueda interesar”.
El investigador de estadística y salud pública del Imperial College London (Reino Unido) Samir Bhatt —que participó en un estudio excluido por el metaanálisis de Hanke por ser un modelo— asegura al Science Media Centre que la lista de estudios que miraron las infecciones durante el período analizado “es muy larga”, y su ausencia sugiere “un metaanálisis altamente incompleto”.
“La ciencia de las enfermedades es compleja y tiene muchas sorpresas, pero hay métodos apropiados para estudiarla y métodos inapropiados”, añade su compañero Seth Flaxman. “Este estudio excluye intencionalmente todos los estudios enraizados en la epidemiología”. Esta omisión deliberada es una crítica que comparten la mayoría de los investigadores.
¿Qué es un confinamiento?
Los investigadores también critican la definición que hacen los autores de “confinamiento”. Bhatt cree que el paper debe ser interpretado “con mucho cuidado” y señala la “reinterpretación” de lo que es un confinamiento como el aspecto más “inconsistente” de todo.
“Lo definen como ‘la imposición de al menos una intervención no farmacológica obligatoria’, lo que convertiría una política sobre llevar mascarillas en un confinamiento”, explica. Esto es algo que considera “extraño”. El investigador Neil Ferguson era más cáustico: “Según esa definición Reino Unido lleva en confinamiento permanente desde marzo de 2021”.
Por eso científicos como Bhatt defienden abandonar la palabra “confinamiento”, un “término paraguas” que aglutina un “conjunto de políticas estrictas diseñadas para reducir el número de reproducción básico y parar el crecimiento exponencial”. Y recuerda: “El confinamiento en Dinamarca y en Reino Unido están hechos de políticas individuales muy diferentes”.
El estudio, además, se centra en la primera ola de COVID-19 en un limitado número de países, e ignora datos de confinamientos posteriores. Según Gullón, esto hace que “compares a gente en confinamientos con gente en confinamientos más duros”, en referencia a que la mayoría de los países tenía medidas estrictas por aquel entonces.
“No hay artículos que comparen con una situación sin confinamiento”. Por eso piensa que en las conclusiones hacen un “salto mortal”, cuando tendría más sentido comparar un confinamiento más severo con medidas restrictivas más focalizadas como el cierre de comercios no esenciales: “Eso es más factible, pero no es lo que dicen”.
Las críticas no se detienen ahí. Por ejemplo, es difícil separar el hecho de que los países con peores epidemias tienden a tomar más medidas y más duras, y resulta imposible saber cómo le habría ido a ese mismo sitio de no haberlas tomado. De hecho, estas son introducidas e intensificadas cuando aumentan las hospitalizaciones y muertes. Es lo que el director médico de Inglaterra Chris Whitty llamó una “inversión de la realidad”, debido a que no se pueden hacer comparaciones con un mundo sin COVID-19.
Además, según explica Bhatta, “comparar la mortalidad un mes antes y después del confinamiento probablemente no tendrá efecto”, ya que los fallecimientos muestran un desfase respecto a la transmisión.
Muchos investigadores han intentado evaluar a lo largo de la pandemia la efectividad de las medidas no farmacológicas. Algunos, como el investigador de la Universidad de Stanford Noah Haber, llegaron a la conclusión de que los estudios realizados tienen demasiadas limitaciones como para obtener una respuesta satisfactoria. Esto, sin embargo, no significa que no funcionaran: solo que es muy difícil medirlas bien.
Las enormes limitaciones del estudio de Hanke hacen poco probable que vea la luz en su estado actual en una revista de prestigio tras superar una revisión por pares, pero los investigadores creen que ese no era su objetivo, que ha cumplido con creces. Aunque solo sirva para convencer a los creyentes y nunca sea publicado, la atención recibida es irreversible y siempre será mayor que cualquier corrección posterior.