Análisis de subgrupos en metanálisis.

Durante siglos, la medicina occidental se basó en una idea tan fascinante como colorida: la teoría de los cuatro humores. Según Hipócrates y sus sucesores, nuestra salud dependía del equilibrio entre sangre, flema, bilis amarilla y bilis negra.

Si éramos propensos a la ira, nos clasificaban en el subgrupo de los “coléricos”; si estábamos deprimidos, claramente nos sobraba bilis negra. Así, los médicos de la antigüedad dividieron a toda la humanidad en cuatro pulcras categorías para intentar explicar por qué las enfermedades y los remedios afectaban de forma tan distinta a cada persona.

Hoy en día, esto nos suena a charlatanería de feria, pero esa vieja obsesión por clasificarlo todo para entender la variabilidad de los resultados sigue más viva que nunca.

En la investigación moderna ya no usamos sanguijuelas para equilibrar humores, pero al evaluar montañas de evidencia empírica nos asalta la misma duda: ¿funciona un tratamiento igual de bien para todos, o su eficacia cambia drásticamente si aplicamos un análisis de subgrupos según el tipo de paciente, la dosis o el diseño experimental?

El problema es que el cerebro humano es experto en ver patrones donde solo hay ruido. ¿Cómo sabemos si esa aparente discrepancia entre dos grupos es una diferencia real o una simple ilusión provocada por el azar? Para no acabar diagnosticando excesos de flema metodológica, necesitamos un árbitro imparcial: la Q de Cochran.

Así que poneos cómodos, porque en la entrada de hoy vamos a explorar las entrañas de los datos para dominar el análisis de subgrupos dentro de un metanálisis y descubrir cómo separar, esta vez con rigor matemático, la verdadera heterogeneidad de los espejismos.

Macedonia de datos

Antes de entrar en el problema de los subgrupos del metanálisis, he de confesaros un pequeño secreto: en la habitación del metanálisis hay un elefante enorme que nunca debemos perder de vista. Este animal no es otro que la heterogeneidad.

Cuando juntamos varios estudios primarios para calcular una medida resumen (el ansiado efecto global), lo normal es que nos encontremos con una auténtica macedonia de datos y que los estudios no arrojen exactamente el mismo resultado numérico. Hay variabilidad. Al fin y al cabo, los estudios no salen de una cadena de montaje: se hacen en países distintos, con poblaciones diferentes y por investigadores que no siempre miden las cosas igual.

Esta variabilidad puede ser debida simplemente al azar o estar en relación con diferencias reales entre las poblaciones de las que proceden los estudios. Por eso, los metodólogos nos ofrecen dos caminos principales para abordar el problema de obtener la medida resumen global.

El primero es el llamado modelo de efecto fijo (en singular). Este enfoque es la ingenuidad hecha algoritmo. Asume que todos y cada uno de los estudios están midiendo exactamente el mismo efecto verdadero (como si asumiera que todos los trozos de la macedonia saben solo a manzana). De esta manera, la variabilidad de los resultados de los estudios se debe única y exclusivamente a la mala suerte, es decir, al error de muestreo o puro azar.

El segundo es el llamado modelo de efectos aleatorios. Aquí entra el pragmatismo que más a menudo nos salva la vida. Este modelo asume que el efecto verdadero varía de un estudio a otro porque provienen de poblaciones distintas con un efecto “real” diferente en cada una (reconociendo que en nuestra macedonia hay peras, uvas y kiwis). En este caso, la medida resumen que calculemos deberá asumir esta distribución de diferentes efectos.

Dicho de forma sencilla y elegante, el modelo de efectos aleatorios acepta que el mundo es complejo y que la eficacia de un tratamiento puede fluctuar intrínsecamente dependiendo del contexto de cada población.

Hasta aquí la cosa es más o menos sencilla. Solo tendremos que estudiar la variabilidad y decidir cuál de los dos modelos aplicar para extraer la medida global que resuma el conjunto de los resultados de los estudios primarios del metanálisis.

Pero aquí viene el giro de guion que le da sentido a esta entrada: ¿qué pasa si esa variabilidad no es solo el capricho del azar o un ruido natural inevitable? ¿Y si esa macedonia esconde un motivo de peso? Quizás el nivel de madurez de los plátanos, el uso de melocotón en almíbar en lugar de fresco o la proporción desmedida de kiwis ácidos sean los verdaderos responsables de que el sabor final de los resultados baile de un lado a otro.

Para descubrir si estas variaciones provienen de características reales de las poblaciones subyacentes (nuestros particulares ingredientes) o si son simples jugarretas del azar, no nos queda otra que empezar a separar los trozos de fruta para analizarlos.

El problema de las churras y las merinas: análisis de subgrupos

Así que ya sabemos que, cuando hacemos un metanálisis, a menudo nos topamos con una cantidad considerable de variabilidad entre los estudios y que esta variabilidad no siempre es un simple ruido molesto, sino una variación que podría tener una explicación útil para nuestros fines. Aquí es donde brilla el análisis de subgrupos (también conocido como análisis de variables moderadoras), ya que nos permite probar hipótesis específicas sobre por qué un tipo de estudio produce efectos mayores o menores que otro.

Para entender bien su filosofía, es preciso dejar claro un supuesto básico imprescindible: en el análisis de subgrupos formulamos la hipótesis de que los estudios de nuestro metanálisis no provienen de una única población general, sino que caen en diferentes subgrupos, y asumimos que cada subgrupo tiene su propio efecto general verdadero.

Esto puede sonar parecido a lo que acabamos de decir sobre los modelos de efecto fijo y de efectos aleatorios, pero, si lo pensamos un momento, es un poco más complejo que cualquiera de estos dos modelos por separado. Vamos a verlo.

Un híbrido metodológico

Llevar a cabo un análisis de subgrupos implica dos pasos fundamentales. El primero será combinar los estudios en los diferentes subgrupos que consideremos y obtener la medida resumen de cada subgrupo. El segundo, comparar las medidas resumen de cada subgrupo para tratar de dilucidar si sus diferencias son o no debidas al azar.

Pero ¿de dónde salen estos subgrupos? Por norma general, no vienen dictados por ninguna fuerza mística, sino que nacen del puro y duro criterio del investigador. Observando las características de las poblaciones de donde provienen los estudios primarios, el analista decide por dónde pasar el bisturí metodológico para establecer las categorías que sospecha que están causando el alboroto estadístico.

Como asumir que todos los estudios de un subgrupo provienen exactamente de la misma población es un acto un poco ingenuo, utilizamos un modelo de efectos aleatorios para esta primera agrupación.

Una vez hecha la agrupación de estudios, realizamos una especie de metanálisis individual de cada subgrupo por separado. Al hacerlo, como no podía ser de otra forma, volveremos a enfrentarnos con cierta variabilidad interna dentro de cada categoría.

Aquí es donde hace su entrada estelar nuestra querida tau-cuadrado (τ²), que es el parámetro estadístico que mide la dispersión de los efectos individuales de cada estudio dentro del grupo, por lo que nos informa de la varianza o heterogeneidad no debida al azar que existe entre los estudios de un mismo grupo.

En un mundo ideal y sin preocupaciones, calcularíamos una τ² independiente para cada subgrupo. Sin embargo, en la práctica nos topamos con un problema: los subgrupos con muy pocos estudios arrojarían estimaciones de τ² muy imprecisas e inestables. Es como querer deducir la personalidad de alguien solo por cómo tose.

Para solucionar este embrollo estadístico, los valores individuales se suelen sustituir por una versión combinada de la varianza. Es decir, en lugar de que cada subgrupo tenga su propia τ², calculamos un único valor agrupado a través de todos los subgrupos combinados y se lo adjudicamos a cada uno de ellos por igual. Es un pequeño compromiso para asegurar que los cálculos se mantienen robustos y no colapsan por culpa de los subgrupos más pequeños.

Para entender por qué los estadísticos decidieron bautizar a este híbrido metodológico como modelo de efectos fijos (en plural), hay que desgranar su doble personalidad.

Por un lado, se dice en plural porque asume que no hay un único efecto real, sino que existen varios efectos verdaderos, uno por cada subgrupo. Por otro lado, se apellidan “fijos” porque las categorías que estamos comparando son las que nos interesan y no se han elegido al azar.

En definitiva: asumimos que hay variabilidad aleatoria dentro de cada subgrupo (como en el modelo de efecto fijo), pero variabilidad real entre los diferentes subgrupos (como en el modelo de efectos aleatorios).

El juez implacable: la Q de Cochran

Una vez que hemos calculado los efectos individuales de los subgrupos, nos queda compararlos para ver si las distinciones que hemos hecho tienen fundamento. La forma más elegante de evaluar esto es fingir que el efecto combinado de cada subgrupo es simplemente el tamaño del efecto observado de un único y gigantesco estudio.

Así, al disfrazar a nuestros subgrupos de mega estudios individuales, podemos lanzarles la Q de Cochran exactamente igual que haríamos para buscar heterogeneidad en un metanálisis normal.

La Q funciona como una prueba ómnibus que evalúa la hipótesis nula de que todos los tamaños del efecto de los subgrupos son iguales. Si el valor de Q observado supera el valor esperado (basado en una distribución ji-cuadrado), el valor de p será significativo. ¡Buenas noticias! Nuestro análisis de subgrupos acaba de demostrar que existen diferencias reales entre las categorías y que la división en subgrupos que hemos hecho tiene sentido real.

No todo en el monte es orégano

Antes de emocionarnos y empezar a hacer un análisis de subgrupos para todo, hay que tener cuidado, ya que esta técnica tiene algunas limitaciones importantes que pueden arruinar nuestro entusiasmo.

En primer lugar, el análisis de subgrupos es una prueba con poca potencia estadística. Como los subgrupos se combinan a menudo con modelos de efectos aleatorios con su propia heterogeneidad, la precisión disminuye y los intervalos de confianza se ensanchan.

Debido a esto, puede ser difícil encontrar diferencias significativas en el análisis de subgrupos, por lo que debemos recordar una regla de oro: la ausencia de evidencia no es evidencia de ausencia. No encontrar diferencias no prueba que los tratamientos sean equivalentes.

Un segundo problema es la denominada causalidad imaginaria. Los resultados de un análisis de subgrupos son puramente observacionales. Incluso si solo incluimos ensayos controlados aleatorizados, que un tratamiento parezca mejor que otro en nuestro análisis podría deberse a que el tipo de tratamiento está confundido con otros factores metodológicos, como usar distintos grupos de control, por poner un ejemplo de los muchos posibles.

Por último, no podemos olvidarnos de que el análisis de datos agregados tiene el riesgo de sufrir un sesgo ecológico. Es muy tentador usar información agregada para definir categorías en un análisis de subgrupos. Por ejemplo, podríamos encontrar que los estudios con una edad media más alta tienen efectos mayores a nivel global, mientras que a nivel individual (si miráramos a los participantes reales) la relación podría ser exactamente la contraria.

Recordad la lección que nos dio la falacia del chocolate y nunca uséis datos agregados para intentar predecir o interpretar asociaciones a nivel individual

De todas formas, que nadie desespere por estos pequeños defectos. Si conseguimos sortear estas trampas, el análisis de subgrupos se convertirá en una de las herramientas más valiosas de nuestro arsenal metodológico. Nos permitirá dejar atrás los dogmas de los humores de Hipócrates y abrazar las explicaciones basadas en la evidencia. Y si no… bueno, siempre nos quedarán las sanguijuelas.

Nos vamos…

Y así, sin apenas darnos cuenta, hemos destripado el noble arte de clasificar estudios metodológicos en un metanálisis.

A lo largo de esta entrada hemos visto cómo la heterogeneidad puede convertir nuestro impecable metanálisis en una macedonia impredecible, y cómo el análisis de subgrupos nos permite trocear los datos para ver qué está pasando realmente.

Hemos aprendido a usar el modelo de efectos fijos (en plural) para compartir esa esquiva varianza y le hemos entregado a la Q de Cochran el mazo de juez para dictar sentencia sobre el azar, prometiéndonos solemnemente no volver a caer en las trampas de la causalidad imaginaria o el sesgo ecológico.

Pero antes de despedirnos por hoy, dejadme haceros un pequeño spoiler estadístico. En el fondo, jugar a dividir los estudios en cajoncitos estancos está muy bien cuando tenemos categorías cerradas. ¿Pero qué ocurre si la característica que sospechamos que causa todo este alboroto es una variable continua, como la dosis exacta de un fármaco en miligramos o el año de publicación del artículo?

Es entonces cuando nuestro querido análisis de subgrupos se quita la máscara y revela su verdadera identidad: en realidad, no es más que un caso particular, un hermano pequeño y simplificado, de una técnica matemática mucho más amplia y poderosa llamada metarregresión, con la que podemos evaluar el impacto de cualquier variable (continua o categórica) en el tamaño del efecto de nuestros estudios. Pero esa es otra historia…