Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Entradas etiquetadasEstudios ecológicos

King Kong contra Godzilla

¡Vaya lío que forman estos dos elementos cuando los dejan sueltos y se juntan! En esta historia, casi tan vieja como yo (por favor, no corráis a mirar en qué año se hizo la película) el pobre King Kong, que debió viajar más que Tarzán, sale de su Isla Calavera para defender un pueblo de un malvado pulpo gigante y se bebe una pócima que lo deja profundamente dormido. Esto lo aprovechan unos señores japoneses para llevarle a su país. Yo, que he estado en Japón, puedo imaginar el efecto que le hizo al pobre mono cuando se despertó, así que no tuvo más remedio que escaparse, con la mala fortuna de encontrarse a Godzilla, que también se había escapado de un iceberg donde previamente le habían congelado. Y ahí que se lían, piedras para acá, rayos atómicos para allá, hasta que la cosa se descontrola y finalmente King Kong se va a atacar Tokio, no me acuerdo exactamente por qué motivo. Os juro que no me he tomado ningún alucinógeno, la película es así y no voy a revelar más por no estropearos el final en el increíble caso de que queráis verla después de lo que os cuento. Lo que no sé es que se habrían tomado los guionistas antes de planear esta historia.

A estas alturas estaréis pensando de qué puede ir la entrada de hoy que esté relacionada con esta historia. Pues la verdad es que no tiene nada que ver con lo que vamos a hablar, pero no se me ocurría mejor forma de empezar. Bueno, en realidad quizás sí, porque hoy vamos a hablar de una familia de monstruos dentro de los estudios epidemiológicos: los estudios ecológicos. Es curioso que cuando uno lee algo sobre los estudios ecológicos siempre empieza diciendo que son sencillos. Pues a mí no me lo parecen. La verdad es que tienen mucha miga y vamos a intentar contarlos de forma sencilla. Agradezco de paso a mi amigo Eduardo (a quien dedico esta entrada) el esfuerzo que hizo por describirlos de forma inteligible. Gracias a él pude entenderlos. Bueno… un poco.

Los estudios ecológicos son estudios observacionales que tienen la peculiaridad de que la población de estudio no son sujetos individuales, sino sujetos agrupados (en conglomerados), por lo que el nivel de inferencia de sus estimaciones es también agregado. Suelen ser baratos y rápidos de realizar (supongo que de ahí vendrá lo de su sencillez), ya que suelen utilizar datos de fuentes secundarias ya disponibles, y son de gran utilidad cuando no es posible medir la exposición a nivel individual o cuando la medida de efecto solo se puede medir a nivel poblacional (como los resultados de una campaña vacunal, por ejemplo).

El problema viene cuando queremos hacer inferencia a nivel individual a partir de sus resultados, ya que están sujetos a una serie de sesgos que luego comentaremos. Además, como suelen ser con mayor frecuencia estudios descriptivos de temporalidad histórica, puede ser difícil determinar la gradación temporal entre la exposición y el efecto estudiado.

Vamos a ver las características específicas en relación a tres aspectos de su metodología: tipos de variables y análisis, tipos de estudios y sesgos.

Las variables ecológicas se clasifican en variables agregadas y ambientales (también llamadas globales). Las agregadas muestran un resumen de observaciones individuales. Suelen ser medias o proporciones, como la edad media en la que se ve la primera película de King Kong o la tasa de frikis por cada 1000 asistentes a las salas de cine, por citar dos ejemplos absurdos.

Por su parte, las medidas ambientales son características de un lugar determinado. Estas pueden tener un paralelismo a nivel individual (por ejemplo, los niveles de polución ambiental, relacionados con la mierda que traga cada uno) o ser atributos de grupos sin equivalencia a nivel individual (como la calidad del agua, por decir alguna).

En cuanto al análisis, puede hacerse a nivel agregado, usando datos de grupos de participantes, o a nivel individual, pero mejor sin mezclar los dos tipos. Es más, si se recogen datos de los dos tipos lo más conveniente será transformarlos en un solo nivel, siendo lo más sencillo agregar los datos individuales, aunque también se puede hacer al revés e, incluso, hacer un análisis en los dos niveles con técnicas estadísticas de multinivel jerarquizado, solo al alcance de unas pocas mentes privilegiadas.

Como es lógico, el nivel de inferencia que queramos aplicar dependerá de cuál sea nuestro objetivo. Si queremos estudiar los efectos de un factor de riesgo a nivel individual, la inferencia será individual. Un ejemplo sería estudiar relacionar el número de horas que se ve la televisión con la incidencia de cáncer de cerebro. Por otra parte, y siguiendo un ejemplo muy pediátrico, si queremos conocer la efectividad de una vacuna las inferencias se harán de forma agregada a partir de los datos de cobertura vacunal en la población. Y para acabar de rizar el rizo, podemos medir un factor de exposición de las dos formas, individual y agrupada. Por ejemplo, densidad de restaurantes mexicanos en una población y frecuencia de uso de antiácidos. En este caso haríamos una inferencia contextual.

En cuanto al tipo de estudios ecológicos, los podemos clasificar según el método de exposición y el método de agrupación.

Según el método de exposición la cosa es relativamente sencilla y podemos encontrarnos dos tipos de estudios. Si no medimos la variable de exposición, o lo hacemos parcialmente, hablamos de estudios exploratorios. En el caso contrario, nos encontraremos ante un estudio analítico.

Según el método de agrupación, podemos considerar tres tipos: múltiples (cuando se seleccionan varias zonas), de tendencia temporal (existe medición a lo largo del tiempo) y mixtos (combinación de los dos).

La complejidad empieza cuando se combinan las dos dimensiones (exposición y agrupación), ya que entonces nos podemos encontrar ante una serie de diseños más complejos. Así, los estudios de grupos múltiples pueden ser exploratorios (no se mide el factor de exposición, pero sí el efecto) o analíticos (el más frecuente, aquí medimos ambas cosas). Los estudios de tendencia temporal, para no ser menos, pueden también ser exploratorios y analíticos, de forma similar a los anteriores, pero a lo largo del tiempo. Por último, habrá estudios mixtos que comparen las tendencias temporales de varias áreas geográficas. Sencillo, ¿verdad?

Pues esto no es nada comparado con la complejidad de las técnicas estadísticas empleadas en estos estudios. Hasta hace poco los análisis eran muy sencillos y se basaban en medidas de asociación o de correlación lineal, pero en los últimos tiempos hemos asistido al desarrollo de numerosas técnicas basadas en modelos de regresión y cosas más exóticas como los modelos multiplicativos log-lineales o la regresión de Poisson. El mérito de todos estos estudios es que, a partir de las medidas agrupadas, nos permiten conocer cuántos sujetos expuestos o no expuestos presentan el efecto, permitiendo así el cálculo de tasas, fracciones atribuibles, etc. No temáis, no vamos a entrar en detalle, pero hay bibliografía para aquellos que quieran calentarse la cabeza.

Para terminar con los aspectos metodológicos de los estudios ecológicos, vamos a enumerar algunos de sus sesgos más característicos, favorecidos por el hecho de utilizar unidades de análisis agregadas.

El más famoso de todos es el sesgo ecológico, conocido también como falacia ecológica. Este se produce cuando la medida agrupada no mide el efecto biológico a nivel individual, de tal forma que la inferencia individual realizada es errónea. Este sesgo se hizo famoso con el estudio del New England que concluía que había una relación entre el consumo de chocolate y los premios Nobel pero el problema es que, fuera de la gracia de este ejemplo, la falacia ecológica es la principal limitación de este tipo de estudios.

El otro sesgo que tiene algunas peculiaridades en este tipo de estudios es el sesgo de confusión. En los estudios que tratan con unidades individuales se produce confusión cuando la variable de exposición se relaciona con el efecto y con la exposición, sin formar parte de la relación causal entre ambos. Este ménage à trois es un poco más complejo en los estudios ecológicos. El factor de riesgo puede comportarse de forma similar a nivel ecológico, pero no a nivel individual y al revés, es posible que factores de confusión a nivel individual no produzcan confusión a nivel de agregado. En cualquier caso, al igual que en el resto de los estudios, hay que tratar de controlar los factores de confusión, para lo cual hay dos abordajes fundamentales.

El primero, meter las posibles variables de confusión en el modelo matemático como covariables y realizar un análisis multivariante, con lo que nos va a ser más complicado estudiar el efecto. El segundo, ajustar o estandarizar las tasas de producción del efecto por las variables de confusión y realizar el modelo de regresión con las tasas ajustadas. Para poder hacer esto es imprescindible que todas las variables introducidas en el modelo se ajusten también a la misma variable de confusión y que se conozcan las covarianzas de las variables, lo cual no ocurre siempre. En cualquier caso, y no es por desanimar, muchas veces no podemos estar seguros de que se hayan controlado de forma adecuada los factores de confusión, ni siquiera empleando las técnicas más recientes y sofisticadas de análisis multinivel, ya que el origen puede estar en características no conocidas de la distribución de los datos entre los grupos.

Otros aspectos truculentos de los estudios ecológicos son el sesgo de ambigüedad temporal (ya lo hemos comentado, muchas veces es difícil asegurar que la exposición preceda al efecto) y la colinealidad (dificultad para asegurar los efectos de dos o más exposiciones que pueden ocurrir de forma simultánea). Además, aunque no son específicos de los estudios ecológicos, son muy susceptibles de presentar sesgos de información.

Ya veis que tenía razón al principio cuando os decía que los estudios ecológicos me parecen muchas cosas, pero de sencillos nada. De todas formas, es conveniente entender en qué se basa su metodología porque, con el desarrollo de las nuevas técnicas de análisis, han ganado en potencia y prestigio y es más que posible que nos encontremos con ellos cada vez con mayor frecuencia.

Pero no desesperéis, lo importante para nosotros, consumidores de bibliografía médica, es entender cómo funcionan para poder hacer una lectura crítica de los trabajos cuando nos encontremos antes ellos. Aunque, hasta donde yo sé, no existen listas de verificación tan estructurada como las que tiene CASPe para otros diseños, la lectura crítica la haremos siguiendo el esquema general habitual según nuestros tres pilares: validez, importancia y aplicabilidad.

El estudio de la VALIDEZ lo haremos de forma similar al de otros tipos de estudios observacionales transversales. Lo primero será comprobar que existe una definición clara de la población y de la exposición o efecto en estudio. Tendrán que estar claramente especificadas las unidades de análisis y su nivel de agregación, así como los métodos de medición del efecto y de la exposición, esta última, como ya sabemos, solo en los estudios analíticos.

La muestra del estudio deberá ser representativa, para lo cual tendremos que revisar los procedimientos de selección, los criterios de inclusión y exclusión y el tamaño. Estos datos tendrán también influencia en la validez externa de los resultados.

Como en cualquier estudio observacional, la medición de exposición y efecto debería hacerse de forma ciega e independiente, utilizando para ello instrumentos válidos. Los autores deberán presentar los datos de forma completa, teniendo en cuenta si hay valores perdidos o fuera de rango. Por último, debe haber un análisis correcto de los resultados, con un control de los sesgos típicos de estos estudios: ecológico, de información, de confusión, de ambigüedad temporal y colinealidad.

En el apartado de IMPORTANCIA podremos empezar por una valoración cuantitativa, resumiendo el resultado más importante y repasando la magnitud del efecto. Debemos buscar o calcular nosotros mismo, si es posible, las medidas de impacto más apropiadas: diferencias de tasas de incidencia, fracción atribuible en expuestos, etc. Si los autores no ofrecen estos datos, pero sí proporcionan el modelo de regresión, es posible calcular las medidas de impacto a partir de los coeficientes de multiplicación de las variables independientes del modelo. No os voy a poner aquí la lista de fórmulas por no hacer esta entrada todavía más antipática, pero que sepáis que existen por si un día las necesitáis.

A continuación realizaremos una valoración cualitativa de los resultados, tratando de valorar el interés clínico de la medida de resultado principal, el interés del tamaño del efecto  y el impacto que puede tener para el paciente, el sistema o la Sociedad.

Finalizaremos este apartado con una valoración comparativa (buscando estudios similares y comparando la medida principal de resultado y otras medidas alternativas) y una valoración de la relación entre beneficios, riesgos y costes, como haríamos con cualquier otro tipo de estudio.

Finalmente, consideraremos la APLICABILIDAD de los resultados en la práctica clínica, teniendo en cuenta aspectos como los efectos adversos, el coste económico, etc. Ya sabemos que el hecho de que el estudio esté bien realizado no quiere decir que tengamos que aplicarlo obligadamente en nuestro entorno.

Y aquí vamos a dejarlo por hoy. Cuando leáis o hagáis un estudio ecológico, tened cuidado de no caer en la tentación de sacar conclusiones de causalidad. Al margen de las trampas que os pueda tender la falacia ecológica, los estudios ecológicos son observacionales, así que pueden servir para generar hipótesis de causalidad, pero no para confirmarlas.

Y ahora sí que nos vamos. No os dije quién ganó la pelea entre King Kong y Godzilla para no hacer de spoiler, pero seguro que los más atentos ya lo habréis imaginado. Al fin y al cabo, y para su desgracia, solo uno de los dos viajó después a Nuera York. Pero esa es otra historia…

La falacia del chocolate

Blanco, negro, relleno, en onzas, a la taza, en polvo, helado, con avellanas, con almendras, con frutas, con leche, puro, fondant, amargo, en pasteles, en bombones, en bebidas calientes o frías, etc, etc, etc. Todos me gustan.

chocolate_nobelAsí que podréis fácilmente imaginar mi alegría cuando mi lector de RSS me mostró el título del artículo del New England que decía que había una relación entre consumo de chocolate y premios Nobel. Ya me veía comiendo chocolate a montones con mi copia del artículo en el bolsillo para tapar la boca a todos lo que viniesen a fastidiarme la fiesta diciéndome que me estaba pasando con las calorías, la grasa, el azúcar, o lo que fuese. Al fin y al cabo, ¿qué puede ser más importante que trabajar para conseguir un Nobel?.

Llegados a este punto, podéis también fácilmente imaginar mi frustración al leer el trabajo y ver que el título tenía gato encerrado. Resulta que se trataba de un estudio ecológico.

En los estudios epidemiológicos que estamos más habituados a leer, las unidades de análisis suelen ser elementos aislados. Sin embargo, en los estudios ecológicos estas unidades se forman con agregados de individuos.

En cada unidad se obtiene una medida sintética de la frecuencia de la exposición y del efecto en los individuos de ese agregado, comprobándose al final si existe asociación entre exposición y efecto entre las diferentes unidades.

Hay dos tipos de estudios ecológicos. Por un lado están los que estudian medidas de frecuencia como la incidencia, mortalidad, etc, buscando patrones geográficos diferentes que puedan estar en relación con factores sociales, económicos, genéticos o lo que sea. Por otro, tenemos los que estudian las variaciones de las frecuencias a lo largo del tiempo con el objetivo de buscar tendencias temporales y, en caso de detectarlas, tratar de explicar su causa.

Estos estudios suelen ser sencillos y rápidos de realizar, ya que muchas veces se elaboran a partir de datos que previamente están disponibles en registros o anuarios, por lo que, además, no suelen ser demasiado caros. El problema con los estudios ecológicos es que el hecho de que exista una asociación entre las unidades de análisis no quiere decir obligatoriamente que ésta también exista a nivel de individuos. Si asumimos a la ligera esta asociación a nivel de individuos corremos el riesgo de cometer un pecado que se conoce con el bonito nombre de falacia ecológica. Uno puede ponerse a comparar toda variable que se le ocurra con la frecuencia de una enfermedad determinada hasta encontrar una asociación significativa, pero después será imposible encontrar un mecanismo plausible que la explique. En nuestro ejemplo, podría incluso darse el caso de que, a nivel individual, el comer más chocolate te embrutezca los sentidos y te aleje del ansiado premio Nobel.

Y para el que no lo crea, vamos a verlo con un ejemplo absurdo y totalmente inventado. Supongamos que queremos saber si hay relación entre ver la televisión durante más de cuatro horas al día y ser vegetariano estricto. Resulta que tenemos los datos de tres encuestas realizadas en tres ciudades, que vamos a llamar A, B y C para no buscarnos más líos.falacia

Si calculamos la prevalencia de teleadicción y vegetarianismo vemos que es de 0,4 en A, 0,5 en B y 0,6 en C. Está bastante claro, en las ciudades en las que hay más adictos a la caja tonta hay más vegetarianos estrictos, lo que puede indicar que el uso de la televisión es incluso más peligroso de lo que ya creíamos previamente.

Pero estos son resultados agregados. ¿Qué pasa a nivel individual?. Pues vemos que las odds ratios son de 0,33 en A y C y de 0,44 en B. Así que, sorprendentemente, aunque en las ciudades con más teleadictos haya más vegetarianos, los teleadictos tienen un 33-44% de probabilidades menos de ser vegetarianos estrictos. Vemos, pues, lo importante que es que los resultados de un estudio ecológico sean posteriormente investigados con otros diseños de estudios analíticos para explicarlos de manera correcta.

Solo dos aspectos más para terminar esta entrada. Primero, que me perdonen los vegetarianos, aunque sean estrictos, y, ¿por qué no?, también los que ven la tele mucho rato. Segundo, ya hemos visto que la falacia del chocolate es, en realidad, una falacia ecológica. Pero, incluso en el caso de que hubiesen sido datos de unidades de análisis individuales, hay que recordar siempre que ni correlación ni asociación son sinónimos de causalidad. Pero esa es otra historia…