Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Entradas etiquetadasAsociación
image_pdf

Los tres pilares de la sabiduría

Seguro que todos, con una frecuencia mayor de la que desearíamos, habremos encontrado alguna lagunilla en nuestro conocimiento que nos hacía dudar de los pasos a seguir en el diagnóstico o tratamiento de alguno de nuestros pacientes. Siguiendo la costumbre habitual, e intentando ahorrar esfuerzos, seguro que habremos preguntado a los colegas más cercanos, con la esperanza de que nos resolviesen el problema sin tener que acudir al temido PubMed (¡¿Quién ha dicho Google?!). Como último recurso hasta habremos consultado algún libro de medicina en un intento desesperado de obtener respuestas, pero ni los libros más gordos nos libran de tener que buscar en una base de datos de vez en cuando.

Y para hacerlo bien, convendrá que sigamos la sistemática de los cinco pasos que nos marca la Medicina Basada en la Evidencia: formular nuestra pregunta de forma estructurada (primer paso), hacer nuestra búsqueda bibliográfica (segundo paso) y leer críticamente los artículos que encontremos y que consideremos relevantes para el tema (tercer paso), para terminar con los dos últimos pasos que consistirán en combinar lo que hemos encontrado con nuestra experiencia y los valores del paciente (cuarto paso) y evaluar cómo influye en nuestro desempeño (quinto paso).

Así que nos arremangamos, elaboramos nuestra pregunta clínica estructurada y entramos en PubMed, Embase o TRIP, o la base de datos que nos interese para buscar respuestas. Tras no pocos sudores fríos conseguimos bajar el número inicial de resultados de 15234 y obtenemos el trabajo deseado que esperamos ilumine nuestra ignorancia. Pero, aunque la búsqueda haya sido impecable, ¿estamos seguros de que hemos encontrado lo que necesitamos? Comienza aquí la ardua tarea de realizar una lectura crítica del trabajo para valorar su capacidad real para solucionar nuestro problema.

Este paso, el tercero de los cinco que hemos visto y quizás el más temido de todos, es indispensable dentro del flujo metodológico de la Medicina Basada en la Evidencia. Y esto es así porque no es oro todo lo que reluce: incluso artículos publicados en revistas de prestigio por autores conocidos pueden tener una calidad deficiente, contener errores metodológicos, no tener nada que ver con nuestro problema o tener errores en la forma de analizar o presentar los resultados, muchas veces de manera sospechosamente interesada. Y no es porque lo diga yo, incluso hay quien piensa que el lugar más idóneo para guardar el 90% de lo que se publica es la papelera, sin importar si la revista es de alto impacto o si los autores son más famosos que Julio Iglesias (o su hijo Enrique, para el caso). Nuestra pobre excusa para justificar nuestro poco conocimiento sobre cómo elaborar y publicar trabajos científicos es que somos clínicos y no investigadores y, claro, lo mismo le ocurre muchas veces a los revisores de las revistas, que se tragan todos los gazapos que metemos los clínicos.

Así, pues, se entiende que la lectura crítica sea un paso fundamental para sacar el máximo provecho de la literatura científica, en especial en una era en la que abunda la información pero escasea el tiempo disponible para evaluarla.

Antes de entrar en la sistemática de la lectura, echaremos un vistazo por encima al documento y su resumen para tratar de ver si el artículo en cuestión puede cumplir nuestras expectativas. El primer paso que debemos realizar siempre es valorar si el trabajo contesta a nuestra pregunta. Esto suele ser así si hemos elaborado correctamente la pregunta clínica estructurada y hemos hecho una buena búsqueda de la evidencia disponible, pero de todos modos conviene siempre comprobar que el tipo de población, estudio, intervención, etc se ajustan a lo que buscamos.

Una vez que estamos convencidos de que es el trabajo que necesitamos, realizaremos la lectura crítica. Aunque los detalles dependerán del tipo de diseño del estudio, siempre nos apoyaremos en tres pilares básicos: validez, importancia y aplicabilidad.

La validez consiste en comprobar el rigor científico del trabajo para saber cuánto se aproxima a la verdad. Hay una serie de criterios comunes a todos los estudios, como son un diseño correcto, una población adecuada, la existencia de grupos de intervención y control homogéneos al comienzo del estudio, un seguimiento correcto, etc. A alguien se le ocurrió que esta validez debía llamarse mejor validez interna, así que podemos encontrarla también con este nombre.

El segundo pilar es la importancia, que mide la magnitud del efecto encontrado. Imaginemos el hipotensor de turno que con una p cargada de ceros es mejor que el de uso habitual, pero que disminuye la presión arterial una media de 5 mmHg. Por muchos ceros que tenga la p (que es estadísticamente significativa, eso no se lo quita nadie) no me negaréis que el impacto del efecto es más bien ridículo.

El último pilar es el de la aplicabilidad, que consiste en valorar si la situación, pacientes e intervención del estudio son lo suficientemente parecidos a nuestro ambiente como para generalizar los resultados. La aplicabilidad se conoce también como validez externa.

No todos los trabajos científicos pueden ser calificados de forma favorable en estos tres aspectos. Puede ocurrir que un trabajo muy válido (validez interna) que encuentre un efecto muy importante no sea aplicable en absoluto a nuestros pacientes. Además, no debemos olvidar que estamos hablando de una herramienta de trabajo. Aún con los trabajos más idóneos hay que tener siempre en cuenta los beneficios, daños y costes, así como las preferencias del paciente, aspecto este último del que nos olvidamos con más frecuencia de la que sería deseable.

Para facilitar la sistemática en el acto de la lectura crítica, existen diversas herramientas disponibles en Internet. Una de las más utilizadas son las plantillas o parrillas del grupo CASPe, más que recomendables para utilizar como guía al realizar una lectura crítica sin olvidar ningún aspecto importante. También en nuestro medio están disponibles las fichas de lectura crítica (FLC) de Osteba, que permiten almacenar los trabajos analizados. Y, para aquellos que les guste el inglés, pueden usar las herramientas escocesas de SIGN.

Lógicamente, las medidas específicas de impacto y asociación y los requisitos para cumplir los criterios de validez interna dependerán específicamente del tipo de diseño del estudio que tengamos entre manos. Pero esa es otra historia…

Gestión de residuos

Vivimos casi en una economía de subsistencia. No se tira nada. Y lo que no hay más remedio que tirar, se recicla. Sí, el reciclaje es una buena práctica, con sus ventajas económicas y ecológicas. Y es que los residuos son siempre aprovechables.

Pero además de no tirarse, en el campo de la estadística y de la epidemiología los residuos son muy importantes para interpretar los datos a partir de los que proceden. ¿Alguien no lo cree?. Imaginemos un ejemplo absurdo pero muy ilustrativo.

Supongamos que queremos saber qué tipo de pescado gusta más en la Europa Mediterránea. La razón para querer saber esto debe ser tan estúpida que todavía no se me ha ocurrido, pero hacemos una encuesta entre 5.281 habitantes de cuatro países del Sur de Europa.

Lo más útil y sencillo es lo que suele hacerse siempre en primer lugar: construir una tabla de contingencia con las frecuencias de los resultados, tal como la que os muestro a continuación.Web

Las tablas de contingencia suelen utilizarse para estudiar la asociación o relación entre dos variables cualitativas. En nuestro caso sería pescado favorito y lugar de residencia. Normalmente se intenta explicar una variable (la dependiente) en función de la otra (la independiente). En nuestro ejemplo queremos ver si la nacionalidad del encuestado influye sobre sus gustos alimentarios.

La tabla de valores totales ya es informativa. Por ejemplo, vemos que el mero y el pez espada gustan bastante más que la merluza, que a los italianos les gusta el atún menos que a los españoles, etc. Sin embargo, en tablas grandes como la nuestra puede ser laborioso y difícil sacar muchas conclusiones con los totales. Por eso, una alternativa útil es construir la tabla con los porcentajes de filas, columnas o de todas las celdas, como la que veis a continuación.Web

Resulta útil comparar los porcentajes de las columnas entre si para ver el efecto de una variable independiente (la nacionalidad, en nuestro ejemplo) con la dependiente (el pescado preferido). Por otra parte, los porcentajes de las filas nos muestran la distribución de frecuencias de la variable dependiente según las categorías de la independiente (el país en nuestro ejemplo). Pero, de los dos, los más interesantes son los porcentajes de columna: si son muy distintos entre las distintas categorías de la variable independiente (los países) nos hará sospechar que pueda haber asociación estadística entre las variables.

En nuestro ejemplo, los porcentajes dentro de cada columna son muy diferentes, así que sospechamos que no gustan los mismos peces en todos los países. Claro que esto hay que cuantificarlo de forma objetiva para saber que el resultado no es fruto de la casualidad. ¿Cómo?. Utilizando los residuos, que en seguida veremos qué son y cómo obtenerlos.

Lo primero que tenemos que hacer es construir una tabla con los valores esperados si el gusto por el pescado no se influyese por el país de origen. Esto es necesario porque buena parte de los estadísticos de asociación y de significación se basan en la comparación entre frecuencias observadas y frecuencias esperadas. Para calcular la frecuencia esperada de cada celda si las variables no tuviesen relación multiplicamos el marginal de la fila (el total de esa fila) por el marginal de la columna y lo dividimos por el total de la tabla. Obtenemos así la tabla de valores observados y esperados que os muestro a continuación.Web

En el caso de que las variables no estén relacionadas los valores observados y esperados serán prácticamente los mismos, con las pequeñas diferencias debidas al error de muestreo que nos produce el azar. Si las diferencias son grandes, probablemente haya alguna relación entre las dos variables que las expliquen. Y a la hora de valorar estas diferencias es donde entran en juego nuestros residuos.

El residuo no es más que la diferencia entre el valor esperado y el observado. Ya hemos dicho que cuando el residuo se aleja del cero puede haber significación pero, ¿cuánto se tiene que alejar?.Web

Podemos transformar los residuos dividiéndolos por la raíz cuadrada del valor esperado. Obtenemos así el residuo estandarizado o residuo de Pearson. A su vez, los residuos de Pearson pueden dividirse por la desviación estándar de los residuos, obteniendo así los residuos ajustados. Construimos ahora la tabla de residuos que veis al lado.

La gran utilidad del residuo ajustado es que es un valor estandarizado, así que podemos comparar los de las diferentes celdas. Además, el residuo ajustado sigue una distribución de frecuencias normal estándar (de media cero y desviación típica uno), por lo que podemos usar un programa informático o una tabla de probabilidades para conocer la probabilidad de que el valor del residuo no se deba al azar. En una distribución normal, el 95% de los valores están entre la media más menos dos desviaciones típicas, aproximadamente. Así que si el valor del residuo ajustado es mayor de 2 o menor de menos dos, la probabilidad de que esta diferencia se deba al azar será menor del 5% y diremos que ese residuo es significativo.  Por ejemplo, en nuestra tabla vemos que a los franceses les gusta el besugo más de lo que sería esperable si el país no influyese, al mismo tiempo que aborrecen el atún.

Estos residuos ajustados nos permiten valorar la significación de cada celda, pero si queremos saber si hay una asociación global tenemos que sumarlos todos. Y es que la suma de los residuos ajustados sigue también una distribución de frecuencias, pero esta vez una chi-cuadrado con (filas-1) x (columnas-1) grados de libertad. Si calculamos el valor para nuestra tabla obtendremos una chi2=368,3921, con una p<0,001, con lo que podremos concluir que existe una relación estadísticamente significativa entre las dos variables.

Como veis, los residuos son muy útiles, y no solo para calcular la chi, sino también muchos otros estadísticos. Sin embargo, los epidemiólogos prefieren utilizar otro tipo de medidas de asociación con las tablas de contingencia. Y esto es así porque la chi-cuadrado no varía de cero a uno, con lo que nos dice si existe significación estadística pero no nos da ninguna información sobre la fuerza de la asociación. Para eso necesitamos otros parámetros que sí oscilan de cero a uno, como el riesgo relativo y la odds ratio. Pero esa es otra historia…

La falacia del chocolate

Blanco, negro, relleno, en onzas, a la taza, en polvo, helado, con avellanas, con almendras, con frutas, con leche, puro, fondant, amargo, en pasteles, en bombones, en bebidas calientes o frías, etc, etc, etc. Todos me gustan.

chocolate_nobelAsí que podréis fácilmente imaginar mi alegría cuando mi lector de RSS me mostró el título del artículo del New England que decía que había una relación entre consumo de chocolate y premios Nobel. Ya me veía comiendo chocolate a montones con mi copia del artículo en el bolsillo para tapar la boca a todos lo que viniesen a fastidiarme la fiesta diciéndome que me estaba pasando con las calorías, la grasa, el azúcar, o lo que fuese. Al fin y al cabo, ¿qué puede ser más importante que trabajar para conseguir un Nobel?.

Llegados a este punto, podéis también fácilmente imaginar mi frustración al leer el trabajo y ver que el título tenía gato encerrado. Resulta que se trataba de un estudio ecológico.

En los estudios epidemiológicos que estamos más habituados a leer, las unidades de análisis suelen ser elementos aislados. Sin embargo, en los estudios ecológicos estas unidades se forman con agregados de individuos.

En cada unidad se obtiene una medida sintética de la frecuencia de la exposición y del efecto en los individuos de ese agregado, comprobándose al final si existe asociación entre exposición y efecto entre las diferentes unidades.

Hay dos tipos de estudios ecológicos. Por un lado están los que estudian medidas de frecuencia como la incidencia, mortalidad, etc, buscando patrones geográficos diferentes que puedan estar en relación con factores sociales, económicos, genéticos o lo que sea. Por otro, tenemos los que estudian las variaciones de las frecuencias a lo largo del tiempo con el objetivo de buscar tendencias temporales y, en caso de detectarlas, tratar de explicar su causa.

Estos estudios suelen ser sencillos y rápidos de realizar, ya que muchas veces se elaboran a partir de datos que previamente están disponibles en registros o anuarios, por lo que, además, no suelen ser demasiado caros. El problema con los estudios ecológicos es que el hecho de que exista una asociación entre las unidades de análisis no quiere decir obligatoriamente que ésta también exista a nivel de individuos. Si asumimos a la ligera esta asociación a nivel de individuos corremos el riesgo de cometer un pecado que se conoce con el bonito nombre de falacia ecológica. Uno puede ponerse a comparar toda variable que se le ocurra con la frecuencia de una enfermedad determinada hasta encontrar una asociación significativa, pero después será imposible encontrar un mecanismo plausible que la explique. En nuestro ejemplo, podría incluso darse el caso de que, a nivel individual, el comer más chocolate te embrutezca los sentidos y te aleje del ansiado premio Nobel.

Y para el que no lo crea, vamos a verlo con un ejemplo absurdo y totalmente inventado. Supongamos que queremos saber si hay relación entre ver la televisión durante más de cuatro horas al día y ser vegetariano estricto. Resulta que tenemos los datos de tres encuestas realizadas en tres ciudades, que vamos a llamar A, B y C para no buscarnos más líos.falacia

Si calculamos la prevalencia de teleadicción y vegetarianismo vemos que es de 0,4 en A, 0,5 en B y 0,6 en C. Está bastante claro, en las ciudades en las que hay más adictos a la caja tonta hay más vegetarianos estrictos, lo que puede indicar que el uso de la televisión es incluso más peligroso de lo que ya creíamos previamente.

Pero estos son resultados agregados. ¿Qué pasa a nivel individual?. Pues vemos que las odds ratios son de 0,33 en A y C y de 0,44 en B. Así que, sorprendentemente, aunque en las ciudades con más teleadictos haya más vegetarianos, los teleadictos tienen un 33-44% de probabilidades menos de ser vegetarianos estrictos. Vemos, pues, lo importante que es que los resultados de un estudio ecológico sean posteriormente investigados con otros diseños de estudios analíticos para explicarlos de manera correcta.

Solo dos aspectos más para terminar esta entrada. Primero, que me perdonen los vegetarianos, aunque sean estrictos, y, ¿por qué no?, también los que ven la tele mucho rato. Segundo, ya hemos visto que la falacia del chocolate es, en realidad, una falacia ecológica. Pero, incluso en el caso de que hubiesen sido datos de unidades de análisis individuales, hay que recordar siempre que ni correlación ni asociación son sinónimos de causalidad. Pero esa es otra historia…

La puerta de atrás

¡Cómo me gustaría tener una máquina del tiempo!. Pensadlo un momento. No tendríamos que trabajar (habríamos ganado la lotería varias veces), podríamos anticiparnos a todas nuestras desgracias, tomar siempre la mejor decisión… Sería como en la película de “El día de la marmota”, pero sin hacer tanto el panoli.

Claro que si tuviésemos una máquina del tiempo que funcionase, habría profesiones que podrían desaparecer. Por ejemplo, los epidemiólogos lo llevarían crudo. Si quisiéramos saber, imaginemos, si el tabaco es un factor de riesgo para tener enfermedad coronaria, solo tendríamos que tomar un grupo de personas, decirles que no fumasen y ver qué pasaba veinte años después. Entonces haríamos retroceder el tiempo, les obligaríamos a fumar, veríamos que pasaba veinte años después y compararíamos los dos resultados. ¡Qué fácil!, ¿no?. ¿Quién necesitaría un epidemiólogo y toda su compleja ciencia de asociaciones y diseños de estudios?. Podríamos estudiar la influencia de la exposición (el tabaco) sobre el efecto (la enfermedad coronaria) comparando estos dos resultados potenciales, también llamados resultados contrafactuales (perdón por el palabro).

Sin embargo, a falta de máquina del tiempo, la realidad es que no podemos medir los dos resultados en una misma persona y, aunque parezca una obviedad, lo que quiere decir, en realidad, es que no podemos medir de forma directa el efecto de la exposición en una persona determinada.

Por eso los epidemiólogos recurren al estudio de poblaciones. Normalmente en una población habrá sujetos expuestos y no expuestos, así que podemos tratar de estimar el efecto contrafactual de cada grupo para calcular cuál sería el efecto medio de la exposición sobre la población en conjunto. Por ejemplo, la incidencia de enfermedad coronaria en no fumadores puede servirnos para estimar cuál habría sido la incidencia de enfermedad en los fumadores si no hubiesen fumado. Esto posibilita que la diferencia de enfermedad entre los dos grupos (la diferencia entre sus resultados factuales), expresada mediante la medida de asociación que corresponda, sea un estimador del efecto medio de fumar sobre la incidencia de enfermedad coronaria en la población.

Todo esto que hemos dicho exige un requisito previo: que los resultados contrafactuales sean intercambiables. Esto quiere decir, en nuestro caso, que la incidencia de enfermedad de los fumadores, si no hubiesen fumado, hubiese sido la misma que la que tienen los no fumadores, que no han fumado nunca. Y viceversa: si el grupo de no fumadores hubiese fumado tendría la incidencia que ahora observamos en los fumadores. Esto parece otra obviedad, pero no siempre es así, ya que en estas relaciones entre factor y exposición existen, con frecuencia, puertas traseras que hacen que los resultados contrafactuales de los dos grupos no sean intercambiables, por lo que las estimaciones de las medidas de asociación pueden no ser las correctas. Esto es lo que llamamos factores o variables de confusión.

Vamos a aclararnos un poco con un ejemplo ficticio. puerta_trasera_globalEn la primera tabla os presento los resultados de un estudio de cohortes (que me acabo de inventar) que evalúa los efectos del tabaquismo sobre la incidencia de enfermedad coronaria. El riesgo de enfermar es de 0,36 (394/1090) entre los fumadores y de 0,34 (381/1127) entre los no fumadores, así que el riesgo relativo (RR, la medida de asociación pertinente en este caso) es de 0,36/0,34 = 1,05. ¡Lo sabía!. ¡Si ya lo dijo Woody Allen en “El dormilón”!. El tabaco no es tan malo como se pensaba. Mañana mismo vuelvo a fumar.

¿Seguro?. Resulta que, dándole vueltas al asunto, se me ocurre que igual hay algo que puede estar mal. La muestra es grande, así que es poco probable que el azar me haya jugado una mala jugada. El estudio no tiene, aparentemente, riesgo importante de sesgos, aunque nunca te puedes fiar completamente. Así que, dando por supuesto que Woody Allen se equivocaba en su película, solo queda la posibilidad de que se nos haya metido una variable confusora que nos esté alterando los resultados.

La variable confusora tiene que cumplir tres requisitos. Primero, debe estar asociada con la exposición. Segunda, debe estar asociada con el efecto de forma independiente a la exposición que estemos estudiando. Tercero, no debe formar parte de la cadena de causa-efecto entre la exposición y el efecto.

Aquí es donde entra en juego la imaginación del investigador, que tiene que pensar qué variables pueden actuar como confusoras. A mí, en este caso, la primera que se me ocurre es la edad. Cumple el segundo punto (los más viejos tienen más riesgo de enfermedad coronaria) y el tercero (por muy malo que sea el tabaco, no te aumenta el riesgo de enfermar porque te haga más viejo). Pero, ¿satisface el primero?. ¿Hay una asociación entre edad y el hecho de fumar?. Resulta que no lo habíamos pensado antes, pero si esto fuese así, podría explicarlo todo. Por ejemplo, si los fumadores fuesen más jóvenes, el efecto perjudicial del tabaco podría verse contrarrestado por el “beneficioso” de la edad. Y viceversa, el beneficio de los más mayores por no fumar se esfumaría por culpa del mayor riesgo de la edad.

¿Cómo podemos comprobar este punto?. Vamos a separar los datos de los menores y mayores de 50 años y vamos a calcular de nuevo los riesgos. Si los riesgos relativos son diferentes, probablemente querrá decir que la edad está actuando como variable confusora. Por el contrario, si son iguales no habrá más remedio que darle la razón a Woody Allen.puerta_trasera_edades

Veamos la tabla de los más jóvenes. El riesgo de enfermar es de 0,28 (166/591) en los fumadores y de 0,11 (68/605) en los no fumadores, luego el RR es de 2,5. Por su parte, en los mayores de 50 años, el riesgo de enfermar es de 0,58 (227/387) en los fumadores y de 0,49 (314/634) en los no fumadores, con lo que el RR es de 1,18. Lo siento por los que fumáis, pero El Dormilón no tenía razón: el tabaco es malo.

Con este ejemplo nos damos cuenta de lo importante que es lo que dijimos antes de que los resultados contrafactuales sean intercambiables. Si la distribución de edad es diferente entre expuestos y no expuestos y tenemos la desgracia de que la edad es una variable confusora, el resultado observado en los fumadores ya no será intercambiable con el resultado contrafactual de los no fumadores, y viceversa.

¿Podemos evitar este efecto?. Sí, lo que no podemos es evitar el efecto de la variable confusora, y esto supone un problema todavía mayor cuando desconocemos que nos puede jugar esta mala pasada. Por esto es esencial tomar una serie de medidas al diseñar el estudio que minimicen el riesgo de que ocurra y de que tengamos puertas traseras por donde se cuelen los datos.

Una de ellas es la aleatorización, con la que trataremos que ambos grupos sean similares en cuanto a la distribución de variables confusoras, conocidas y no conocidas. Otra sería restringir la inclusión en el estudio a un grupo determinado como, en este ejemplo, los menores de 50 años. El problema es que esto no podemos hacerlo para variables confusoras desconocidas. Otra tercera posibilidad es utilizar datos pareados, de tal forma que por cada fumador joven incluyamos un no fumador joven, y lo mismo para los mayores. Para aplicar este emparejamiento también hace falta conocer previamente el papel de la variable confusora.

¿Y qué hacemos una vez que ya hemos terminado el estudio y comprobamos con horror que hay una puerta trasera?. Lo primero, no desesperar. Siempre podemos utilizar los múltiples recursos de la epidemiología para calcular una medida de asociación ajustada que nos estime la relación entre exposición y efecto sin tener en cuenta el efecto de confusión. Además, hay varios métodos para hacer este análisis, unos más sencillos y otros más complejos, aunque todos ellos muy elegantes. Pero esa es otra historia…