Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Guardado porMayo 2015
image_pdf

Aunque la mona se vista de seda…

…mona se queda. Y se queda. Por mucho que lo intente, seguirá siendo una mona. Y esto es así porque las características de cada uno o sus defectos naturales no pueden evitarse simplemente porque hagamos mejoras externas. Pero, eso sí, será una mona mucho más elegante.

En el mundo de los estudios en epidemiología y biomedicina hay un tipo de diseño que no necesita vestirse de seda. Por supuesto, me estoy refiriendo al rey de reyes, al ensayo clínico aleatorizado, el ECA, para abreviar.

El vestido de seda de los ECA es la aleatorización, que no es más que la asignación no predecible de los participantes en el ensayo a una de las alternativas de intervención, dando baza al azar de forma que no podamos saber a qué grupo va a ser asignado cada participante. Así, se consigue que las características de los participantes que puedan actuar como factores de confusión o modificadores de efecto se repartan por igual entre los dos grupos de la intervención, de forma que si hay diferencias podamos afirmar que se deben a la intervención en estudio, la única diferencia entre los dos grupos.

Por otro lado, los estudios observacionales carecen de aleatorización, por lo que nunca podemos estar seguros de que las diferencias observadas se deban a variables de confusión que son, incluso, desconocidas para el investigador. Así, con los estudios de cohortes y de casos y controles no se pueden afirmar relaciones de causalidad de la forma que pueden establecerse con los resultados del ECA.

Para evitar esto se han inventado múltiples estrategias, como la estratificación o el análisis mediante regresión logística, que permiten estimar el efecto de cada variable sobre el resultado de la intervención en cada grupo. Uno de estos métodos es el que vamos a tratar aquí y es el de los índices de propensión, los propensity score de nuestros amigos angloparlantes.

Vamos a ver si con un ejemplo podemos entenderlo. Supongamos que queremos comparar la duración del ingreso de niños con fildulastrosis según el tratamiento que reciban. Seguimos suponiendo que esta terrible enfermedad se puede tratar con pastillas o con supositorios, eligiendo cualquiera de los dos a criterio del médico que atiende al enfermo en el momento del ingreso. Hacemos un estudio retrospectivo de las dos cohortes y encontramos que los que reciben supositorio están ingresados cinco días más de media que los que reciben tratamiento oral. ¿Podemos concluir que la resolución es más rápida dando pastillas que supositorios?. Pues si así lo hacemos correremos el riesgo de equivocarnos, porque puede haber otros factores que no estamos teniendo en cuenta, además del tratamiento recibido.

Si se tratase de un ensayo, cualquier participante tendría la misma probabilidad de recibir cualquiera de los dos tratamientos, así que podríamos hacer una interpretación directa del resultado. Sin embargo, estamos ante un estudio de cohortes, observacional, y el riesgo de recibir pastillas o supositorios puede haber dependido de otros factores. Pensad, por ejemplo, que un médico puede mandar los supositorios a los niños más pequeños, que tragan peor las pastillas, mientras que otro no tendría en cuenta este factor y le daría pastillas a todos, porque le gustan más. Si la edad tiene algo que ver con la duración del ingreso, estaremos mezclando el efecto del tratamiento con el de la edad del niño, comparando los supositorios de uno (niños más pequeños) con las pastillas de otro (no diferencia de edad). Con esto pensad una cosa: si la probabilidad de recibir uno u otro tratamiento varía en cada participante, ¿cómo vamos a compararlos sin tener en cuenta esta probabilidad?. Habrá que comparar aquellos que tengan una probabilidad similar.

Pues bien, aquí es donde entran en juego los índices de propensión (IP), que estiman la probabilidad de cada participante de recibir un tratamiento basándose en sus características.

Los IP se calculan mediante un modelo de regresión logística con la intervención como resultado y las covariables como predictores. Así, se obtiene una ecuación con cada una de las variables que hayamos metido en el modelo porque pensemos que puedan actuar como factores de confusión. Por ejemplo, la probabilidad de recibir el tratamiento A sería igual a:

P(A) = β0 + β1a + β2b + β3c +….+ βnn,

Donde P(A) es la probabilidad de recibir A (en realidad, el modelo proporciona el logaritmo natural de la odds ratio), los betas son los coeficientes y a,b,c,…,n representan las variables del modelo.

Si sustituimos las letras de “a” a “n” por las características de cada participante, obtenemos una puntuación, que es su IP. Y ahora ya podemos comparar entre sí los participantes de las dos ramas de tratamiento que tengan una puntuación similar.

Esta comparación puede hacerse de varias formas, siendo las más sencillas el emparejamiento y la estratificación.

indices de propensionMediante estratificación se dividen los participantes en grupos con un intervalo de puntuación y se comparan los grupos entre sí para determinar el efecto de la intervención. Mediante emparejamiento, se compara cada participante de uno de los grupos con otro que tenga una puntuación igual o, en caso de que no exista, similar (lo que se conoce como el vecino más próximo). En la figura podéis ver un ejemplo de emparejamiento con el vecino más próximo de algunos de los participantes de nuestro estudio ficticio.

Y esto son los IP. Una argucia para poder comparar los participantes intentando evitar el efecto de las variables de confusión y parecerse a los ECA, convirtiéndose en casi estudios cuasiexperimentales. Pero ya lo hemos dicho, aunque la mona se vista de seda, mona se queda. Por muchas variables que metamos en el modelo de regresión para calcular los IP, nunca estaremos seguros de haber metido todas, ya que puede haber variables confusoras que desconozcamos. Por eso siempre es conveniente comprobar las conclusiones de un estudio observacional con el ECA correspondiente.

Y aquí lo dejamos por hoy, aunque los IP dan para mucho más. Por ejemplo, hemos hablado solo de emparejamiento y estratificación, aunque hay más métodos, más complejos y menos utilizados en medicina, como son el ajuste de covariables por IP o la ponderación por el inverso de la probabilidad de recibir la intervención. Pero esa es otra historia…

Tanto va el cántaro a la fuente…

…que termina por romperse. ¿Qué se rompe, el cántaro o la fuente?. El refrán se refiere, claro está, al cántaro. El dicho hace referencia a los tiempos en que no había agua en las casas y había que ir hasta la fuente a por ella, de forma que, más tarde o más temprano, el cántaro se rompía, ya fuese por desgaste por un uso excesivo o por algún desgraciado accidente que acababa con él hecho pedazos. Supongo que la fuente podía romperse también, pero para eso ya había que ser muy bestia, así que el refrán no contempla esa posibilidad.

En la actualidad empleamos esta frase para referirnos al hecho de que si repetimos una acción con demasiada insistencia podemos  acabar teniendo algún contratiempo.

Por ejemplo, hagamos un paralelismo entre ir a la fuente con el cántaro y hacer un contraste de hipótesis. ¿Creéis que no tienen nada que ver?. Pues lo tienen: si hacemos contrastes de hipótesis de forma insistente podemos acabar llevándonos un disgusto, que no será otro que el de cometer un error de tipo I. Me explicaré para que no penséis que me he dado con el cántaro en la cabeza en uno de los viajes a la fuente.

Recordemos que siempre que hacemos un contraste de hipótesis establecemos una hipótesis nula (H0) que dice que la diferencia observada entre los grupos de comparación se debe al azar. A continuación, calculamos la probabilidad de que la diferencia se deba al azar y, si es menor que un valor determinado (habitualmente 0,05), rechazamos H0 y afirmamos que es altamente improbable que la diferencia se deba al azar, por lo que la consideramos real. Pero claro, altamente improbable no significa seguro. Siempre hay un 5% de probabilidad de que, siendo H0 cierta, la rechacemos, dando por bueno un efecto que en realidad no existe. Esto es lo que se llama cometer un error de tipo I.

Si hacemos múltiples comparaciones la probabilidad de cometer un error aumenta. Por ejemplo, si hacemos 100 comparaciones, esperaremos equivocarnos aproximadamente cinco veces, ya que la probabilidad de equivocarnos en cada ocasión será del 5% (y la de acertar del 95%).

Así que podemos preguntarnos, si hacemos n comparaciones, ¿cuál es la probabilidad de tener al menos un falso positivo?. Esto es un poco laborioso de calcular, porque habría que calcular la probabilidad de 1,2,…,n-1 y n falsos positivos utilizando probabilidad binomial. Así que recurrimos a un truco muy utilizado en el cálculo de probabilidades, que es calcular la probabilidad del suceso complementario. Me explico. La probabilidad de algún falso positivo más la probabilidad de ninguno será de 1 (100%). Luego la probabilidad de algún falso positivo será igual a 1 menos la probabilidad de ninguno.

¿Y cuál es la probabilidad de ninguno?. La de no cometer error en cada contraste ya hemos dicho que es de 0,95. La de no cometer errores en n contrastes será de 0,95n. Así que la probabilidad de tener al menos un falso positivo será de 1 – 0,95n.

Imaginaos que hacemos 20 comparaciones. La probabilidad de cometer, como mínimo, un error de tipo I será de 1-0,9520 = 0,64. Habrá un 64% de probabilidad de que cometamos un error y demos por existente un efecto que en realidad no existe por puro azar.

Pues que chorrada, me diréis. ¿Quién se va a poner a hacer tantas comparaciones sabiendo el peligro que tiene?. Pues, si os paráis a pensarlo, lo habéis visto muchas veces. ¿Quién no ha leído un artículo sobre un ensayo que incluía un estudio post hoc con múltiples comparaciones?. Es bastante frecuente cuando el ensayo no da resultados con significación estadística. Los autores tienden a exprimir y torturar los datos hasta que encuentran un resultado satisfactorio.

Sin embargo, desconfiad siempre de los estudios post hoc. El ensayo debe tratar de responder a una pregunta previamente establecida y no buscar respuestas a preguntas que nos podemos hacer después de finalizarlo, dividiendo los participantes en grupos según características que no tienen nada que ver con la aleatorización inicial.

De todas formas, como es una costumbre difícil de erradicar, sí que podemos exigir a los autores de los ensayos que tengan una serie de precauciones si quieren hacer estudios post hoc con múltiples contrastes de hipótesis. Lo primero, todo análisis que se haga con los resultados del ensayo debe especificarse cuando se planifica el ensayo y no una vez terminado. Segundo, los grupos deben tener cierta plausibilidad biológica. Tercero, debe evitarse hacer comparaciones múltiples con subgrupos si los resultados generales del ensayo no son significativos. Y, por último, utilizar siempre alguna técnica que permita mantener la probabilidad de error de tipo I por debajo del 5%, como la corrección de Bonferroni o cualquier otra.

A nosotros nos quedará un último consejo: valorar con precaución las diferencias que se puedan encontrar entre los distintos subgrupos, sobre todo cuando los valores de p son discretos, entre 0,01 y 0,05.

Y aquí dejamos los estudios post hoc y sus trampas. No hemos comentado que hay más ejemplos de comparaciones múltiples además del análisis de subgrupos postaleatorización. Se me ocurre el ejemplo de los estudios de cohortes que estudian diferentes efectos producto de una misma exposición, o el de los análisis intermedios que se hacen durante los ensayos secuenciales para ver si se cumple la regla de finalización preestablecida. Pero esa es otra historia…