Columnas, tartas y un italiano ilustre

Publicado el 26 noviembre, 2019 | por Manuel Molina | Deja un Comentario

Representación de variables cualitativas

Cuando uno lee el título de esta entrada puede preguntarse con qué estúpida ocurrencia voy a machacar hoy a la sufrida concurrencia, pero no temáis, lo único que vamos a hacer es poner en valor ese famoso aforismo que dice que una imagen vale más que mil palabras. ¿Os he aclarado algo? Supongo que no.

Como todos sabemos, la estadística descriptiva es aquella rama de la estadística que utilizamos habitualmente para obtener una primera aproximación a los resultados de nuestro estudio, una vez que lo hemos terminado.

Lo primero que hacemos es describir los datos, para lo cual realizamos tablas de frecuencias y utilizamos medidas diversas de centralización y dispersión. El problema con estos parámetros es que, aunque representan verdaderamente la esencia de los datos, a veces es difícil proporcionar con ellos una visión sintética y comprensiva. Es en estos casos en los que podemos recurrir a otro recurso, que no es otro que la representación gráfica de los resultados del estudio. Ya sabéis, una imagen vale más que mil palabras, o eso dicen.

Hay multitud de tipos de gráficos para ayudarnos a comprender mejor la representación de los datos, pero hoy nos vamos a limitar a aquellos que tienen que ver con las variables cualitativas o categóricas.

Recordad que las variables cualitativas representan atributos o categorías de la variable. Cuando la variable no incluye ningún sentido de orden, se dice que es cualitativa nominal, mientras que si se puede establecer cierto orden entre las categorías diríamos que es cualitativa ordinal. Por ejemplo, la variable “fumador” sería cualitativa nominal si tiene dos posibilidades: “sí” o “no”. Sin embargo, si la definimos como “ocasional”, “poco fumador”, “moderado” o “muy fumador”, ya existe cierta jerarquía y hablamos de variable cualitativa ordinal.

Representación de variables cualitativas

El primer tipo de gráfico que vamos a considerar a la hora de representar una variable cualitativa es el gráfico de sectores, mucho más conocido como gráfico de tarta. Este consiste en una circunferencia cuya área representa el total de los datos. Así, a cada categoría se le asigna un área que será directamente proporcional a su frecuencia. De esta forma, las categorías más frecuentes tendrán áreas mayores, de modo que de un vistazo podemos hacernos una idea de cómo se distribuyen las frecuencias en las categorías.

Diagrama de sectores

Hay tres formas de calcular el área de cada sector. La más sencilla es multiplicar la frecuencia relativa de cada categoría por 360°, obteniendo los grados de ese sector.

La segunda es utilizar la frecuencia absoluta de la categoría, según la siguiente regla de tres:

Frecuencia absoluta / Frecuencia total de datos = Grados del sector / 360°

Por último, la tercera forma consiste en utilizar las proporciones o porcentajes de las categorías:

% de la categoría / 100% = Grados del sector / 360°

Las fórmulas son muy sencillas, pero, de todas formas, no habrá necesidad de recurrir a ellas porque el programa con el que hagamos el gráfico lo hará por nosotros. La instrucción en R es pie(), tal como podéis ver en la primera figura, en la que os muestro una distribución de niños con enfermedades exantemáticas y cómo se representaría el gráfico de sectores.El gráfico de sectores está diseñado para representar variables categóricas nominales, aunque no es raro ver tartas representando variables de otros tipos. Sin embargo, y en mi humilde opinión, esto no es totalmente correcto.

Por ejemplo, si hacemos un gráfico de sectores para una variable cualitativa ordinal estaremos perdiendo la información sobre la jerarquía de las variables, por lo que resultaría más correcto utilizar un gráfico que permita ordenar las categorías de menos a más. Y este gráfico no es otro que el diagrama de barras, del que hablaremos a continuación.

El diagrama de sectores será especialmente útil cuando haya pocas categorías de la variable. Si hay muchas, la interpretación deja de ser tan intuitiva, aunque siempre podemos completar el gráfico con una tabla de frecuencias que nos ayude a interpretar mejor los datos. Otro consejo es tener mucho cuidado con los efectos en 3D a la hora de dibujar las tartas. Si nos pasamos de elaborados, el gráfico perderá claridad y será más difícil de leer.

Diagrama de barras

El segundo gráfico que vamos a ver es, ya lo hemos mencionado, el gráfico de barras, el óptimo para representar las variables cualitativas ordinales. En el eje horizontal se representan las diferentes categorías y sobre él se levantan unas columnas o barras cuya altura es proporcional a la frecuencia de cada categoría. También podríamos utilizar este tipo de gráfico para representar variables cuantitativas discretas, pero lo que no es muy correcto hacer es usarlo para las variables cualitativas nominales.

El diagrama de barras es capaz de expresar la magnitud de las diferencias entre las categorías de la variable, pero ahí está, precisamente, su punto débil, ya que es fácilmente manipulable si modificamos las escalas de los ejes. Por eso hay que tener cuidado al analizar este tipo de gráficos para evitar que nos engañen con el mensaje que el autor del estudio pueda querer transmitir.

Este gráfico también es sencillo de hacer con la mayor parte de los programas estadísticos y hojas de cálculo. La función en R es barplot(), como veis en la segunda figura, que representa la gravedad de una muestra de niños asmáticos.Con lo visto hasta ahora, algunos pensaréis que el título de esta entrada es un poco engañoso. En realidad, la cosa no va de columnas y tartas, sino de barras y sectores. Además, ¿quién es el italiano ilustre? Pues aquí sí que no engaño a nadie, porque el personaje fue las dos cosas, italiano e ilustre, y me estoy refiriendo a Vilfredo Federico Pareto.

Diagrama de Pareto

Pareto fue un italiano que nació a mediados del siglo XIX en París. Esta pequeña contradicción se debe a que su padre estaba entonces exiliado en Francia por ser uno de los seguidores de Giuseppe Mazzini, que estaba entonces empeñado en la unificación italiana. De todas formas, Pareto vivió en Italia desde los 10 años de edad, convirtiéndose en un ingeniero con amplios conocimientos matemáticos y humanistas y que contribuyó de manera decisiva al desarrollo de la microeconomía. Hablaba y escribía con fluidez en francés, inglés, italiano, latín y griego, y se hizo famoso por multitud de contribuciones como la distribución de Pareto, la eficiencia de Pareto, el índice de Pareto y el principio de Pareto. Para representar este último inventó el diagrama de Pareto, que es el que le trae hoy aquí entre nosotros.

El diagrama de Pareto (también conocido en economía como curva cerrada o distribución A-B-C) organiza los datos en orden descendente de izquierda a derecha, representados por barras, asignando así un orden de prioridades. Además, el diagrama incorpora una línea curva que representa la frecuencia acumulada de las categorías de la variable. Esto permitía inicialmente explicar el principio de Pareto, que viene a decir que hay muchos problemas sin importancia frente a unos pocos que sí son importantes, con lo que resultaba muy útil para la toma de decisiones.

Como es fácil de comprender, esta priorización hace que el diagrama de Pareto sea especialmente útil para representar variables cualitativas ordinales, superando al diagrama de barras al dar información sobre el porcentaje acumulado al ir agregando las categorías de la distribución de la variable. El cambio de pendiente de esta curva nos informa también del cambio en la concentración de datos, que depende de la variabilidad en que los sujetos de la muestra se reparten entre las distintas categorías.

Por desgracia, R no dispone de una función simple para representar diagramas de Pareto, pero podemos obtenerlo fácilmente con el script que os adjunto en la tercera figura, obteniendo el gráfico de la cuarta.

Nos vamos…

Y aquí lo vamos a dejar por hoy. Antes de decir adiós quiero avisaros que no debéis confundir las barras del diagrama de barras con las del histograma ya que, aunque pueden parecerse desde el punto de vista gráfico, ambos representan cosas muy diferentes. En un diagrama de barras solo se representan los valores de las variables que hemos observado al hacer el estudio. Sin embargo, el histograma va mucho más allá ya que, en realidad, encierra la distribución de frecuencias de la variable, por lo que representa todos los valores posibles que existen dentro de los intervalos, aunque no hayamos observado ninguno de forma directa. Permite así calcular la probabilidad de que se represente cualquier valor de la distribución, lo que es de gran importancia si queremos hacer inferencia y estimar valores de la población a partir de los resultados de nuestra muestra. Pero esa es otra historia…

Como un reloj olvidado

Publicado el 5 noviembre, 2019 | por Manuel Molina | Deja un Comentario

Medidas de dispersión de variables cualitativas

No me gusta el final del verano. Empiezan los días con mal tiempo, me levanto totalmente de noche y anochece cada vez más temprano. Y, por si fuera poco, se aproxima el engorroso momento del cambio de hora.

Además de las molestias del cambio y del tedio de estar dos o tres días recordando la hora que es y la que podría ser de no haber cambiado, hay que proceder a cambiar un montón de relojes de forma manual. Y, por mucho que te esfuerces en cambiarlos todos, siempre te dejas alguno con la hora vieja. No te pasa con el reloj de la cocina, que miras siempre para saber cómo de rápido tienes que desayunar, o con el del coche, que te mira fijamente todas las mañanas. Pero seguro que hay alguno que no cambias. Incluso, alguna vez me ha pasado, que me doy cuenta cuando al siguiente cambio de hora veo que no lo necesita porque lo dejé sin cambiar en la vez anterior.

Estos relojes olvidados me recuerdan un poco a las variables categóricas o cualitativas.

Pensaréis que, una vez más, me he olvidado de tomar la pastilla esta mañana, pero no. Todo tiene su razonamiento. Cuando terminamos un estudio y tenemos ya los resultados, lo primero que hacemos es una descripción de los mismos para, después, pasar a hacer todo tipo de contrastes, si viene al caso.

Pues bien, las variables cualitativas siempre se menosprecian cuando aplicamos nuestros conocimientos de estadística descriptiva. Habitualmente nos limitamos a clasificarlas y hacer tablas de frecuencia con las que calcular algunos índices como su frecuencia relativa o acumulada, dar alguna medida representativa como la moda y poco más. Con su representación gráfica ya nos esforzamos un poco más, con diagramas de barras o de sectores, pictogramas y otros inventos parecidos. Y, por último, nos aplicamos un poco más cuando relacionamos dos variables cualitativas mediante una tabla de contingencia.

Sin embargo, nos olvidamos de la variabilidad, algo que nunca haríamos con una variable cuantitativa. Las variables cuantitativas son como ese reloj de la pared de la cocina que nos mira directamente a los ojos cada mañana y que no consiente que lo dejemos fuera de hora. Por eso, recurrimos a esos conceptos que entendemos tan bien como la media y la varianza o la desviación típica. Pero el que no conozcamos la forma de medir de forma objetiva la variabilidad de las variables cualitativas o categóricas, ya sean nominales u ordinales, no quiere decir que no exista. Para este fin, se han desarrollado diversos índices de diversidad, que algunos autores distinguen como índices de dispersión, variabilidad y disparidad. Vamos a ver algunos de ellos, cuyas fórmulas podéis ver en el recuadro adjunto, para que podáis disfrutar de la belleza del lenguaje matemático.

Medidas de dispersión de variables cualitativas

Los dos índices más conocidos y utilizados para medir la variabilidad o diversidad son el índice de Blau (o de Hirschman-Herfindal) y el índice de entropía (o de Teachman). Ambos tienen un significado muy similar y, de hecho, están correlacionados linealmente.

El índice de Blau cuantifica la probabilidad de que dos individuos tomados al azar de una población estén en diferentes categorías de una variable (siempre que el tamaño de la población sea infinito o el muestreo se realice con reemplazo). Su valor mínimo, cero, indicaría que todos los miembros están en la misma categoría, con lo que no habría variedad. Cuanto mayor sea su valor, más dispersos entre las diferentes categorías de la variable estarán los componentes del grupo. Este valor máximo se alcanza cuando los componentes se distribuyen de manera igual entre todas las categorías (sus frecuencias relativas son iguales). Su valor máximo sería (k-1)/k, con lo que es función de k (el número de categorías de la variable cualitativa) y no del tamaño de la población. Este valor tiende a 1 al aumentar el número de categorías (para decirlo de forma más correcta, cuando k tiende a infinito).

Veamos algunos ejemplos para aclararnos un poco. Si os fijáis en la fórmula del índice de Blau, el sumatorio de los cuadrados de las frecuencias relativas en una población totalmente homogénea valdrá 1, con lo que el índice valdrá 0. Solo habrá una categoría con frecuencia 1 (el 100%) y el resto con frecuencia cero.

Como hemos dicho, aunque los sujetos se distribuyan de forma similar en todas las categorías, el índice aumenta al aumentar el número de categorías. Por ejemplo, si hay cuatro categorías con una frecuencia de 0,25, el índice de Blau valdrá 0,75 (1 – (4 x 0,25²)). Si hay cinco categorías con una frecuencia de 0,2, el índice valdrá 0,8 (1 – (5 x 0,2²). Y así sucesivamente.

Como ejemplo práctico, imaginad una enfermedad en la que hay diversidad desde el punto de vista genético. En una ciudad A tienen el genotipo 1 el 85% de los enfermos y el genotipo 2 el 15%. El índice de Blau valdrá 1 – (0,85² + 0,15²) = 0,255. A la vista de este resultado podremos decir que, aunque no es homogénea, el grado de heterogeneidad no es muy alto.

Ahora imaginad una ciudad B con un 60% de genotipo 1, un 25% de genotipo 2 y un 15% de genotipo 3. El índice de Blau valdrá 1 – (0,6² x 0,25² x 0,15²) = 0,555. Claramente, el grado de heterogeneidad es mayor entre los enfermos de la ciudad B que entre los de A. Los más listillos me diréis que eso ya se veía sin calcular el índice, pero tenéis que tener en cuenta que son ejemplos muy sencillos para no echar las bilis calculando. En los estudios de la vida real, más complejos, no suele ser tan evidente y, en cualquier caso, siempre es más objetivo cuantificar la medida que quedarnos con nuestra impresión subjetiva.

Este índice podría usarse también para comparar la diversidad de dos variables diferentes (siempre que tenga sentido hacerlo) pero, el hecho de que su valor máximo dependa del número de categorías de la variable, y no del tamaño de la muestra o de la población, cuestiona su utilidad para comparar la diversidad de variables con diferente número de categorías. Para evitar este problema el índice de Blau puede normalizarse dividiéndolo por su máximo, obteniéndose así el índice de variación cualitativa. Su significado es, lógicamente, el mismo que el del índice de Blau y su valor oscila entre 0 y 1. Así, podremos usar cualquiera de los dos si comparamos la diversidad de dos variables con el mismo número de categorías, pero será más correcto usar el índice de variación cualitativa si las variables tienen un número de categorías diferente.

El otro índice, algo menos famoso, es el índice de Teachman o índice de entropía, cuya fórmula también os adjunto. Muy brevemente diremos que su valor mínimo, que es cero, indica que no hay diferencias entre los componentes en la variable de interés (la población es homogénea). Su valor máximo puede estimarse como el valor negativo del logaritmo neperiano del inverso del número de categorías (-ln(1/k)) y se alcanza cuando todas las categorías tienen la misma frecuencia relativa (la entropía alcanza su valor máximo). Como veis, muy parecido al de Blau, que es mucho más sencillo de calcular que el de Teachman.

Para ir acabando esta entrada, el tercer índice del que os quiero hablar hoy nos indica, más que la variabilidad de la población, la dispersión que sus componentes tienen respecto al valor más frecuente. Esto puede medirse mediante la razón de variación, que indica el grado en que los valores observados no coinciden con el de la moda, que es la categoría más frecuente. Como con los anteriores, también os dejo la fórmula en el recuadro adjunto.

Para no desentonar con los anteriores, su valor mínimo también es cero y se obtiene cuando todos los casos coinciden con la moda. Cuanto más bajo el valor, menos dispersión. Cuanto más baja sea la frecuencia absoluta de la moda, más se aproximará a 1, el valor que indica máxima dispersión. Creo que este índice es muy sencillito, así que no le vamos a dedicar más atención.

Nos vamos…

Y hemos llegado al final. Espero que a partir de ahora prestemos más atención al análisis descriptivo de los resultados de las variables cualitativas. Claro que habría que completarlo con una descripción gráfica adecuada utilizando los archiconocidos diagramas de barras o de sectores (las tartas) y otros menos conocidos como los diagramas de Pareto. Pero esa es otra historia…

Idolatrada, pero incomprendida

Publicado el 24 septiembre, 2019 | por Manuel Molina | Deja un Comentario

El significado del valor de p

La estadística se nos atraganta un poco a la mayoría de los que nos denominamos “clínicos”. Los conocimientos sobre el tema adquiridos durante nuestros años de formación hace tiempo que habitan en el mundo neblinoso del olvido. Recordamos vagamente términos como distribución de probabilidad, contraste de hipótesis, análisis de la varianza, regresión… Es por este motivo que siempre nos da un poco de aprensión cuando llegamos al apartado de métodos de los artículos científicos, en los que se detallan todas estas técnicas que, aunque nos resultan conocidas, no conocemos con la profundidad suficiente para interpretar correctamente sus resultados.

Menos mal que la Providencia nos ha puesto un salvavidas: nuestra querida e idolatrada p. ¿Quién no se habrá perdido con una descripción farragosa de métodos matemáticos para respirar, por fin, aliviado al encontrar el valor de p? Sobre todo, si la p es pequeña y tiene muchos ceros.

El problema con la p es que, aunque es unánimemente idolatrada, también es mayoritariamente incomprendida. Su valor es, con mucha frecuencia, malinterpretado. Y esto es así porque muchos albergamos ideas erróneas sobre lo que significa realmente el valor de p.

Vamos a intentar aclararlo.

El significado del valor de p

Siempre que queremos saber algo sobre una variable, el efecto de una exposición, la comparación de dos tratamientos, etc., nos encontraremos con la ubicuidad del azar: está en todas partes y nunca podemos librarnos de él, aunque podemos intentar limitarlo y, desde luego, tratar de medir su efecto.

Pongamos un ejemplo para entenderlo mejor. Supongamos que hacemos un ensayo clínico para comparar el efecto de dos dietas, A y B, sobre la ganancia de peso en dos grupos de participantes. Simplificando, el resultado del ensayo tendrá una de las tres características: los de la dieta A ganan más peso, los de la dieta B ganan más peso, ambos grupos ganan igual peso (podría haber, incluso, una cuarta: los dos grupos pierden peso). En cualquier caso, siempre vamos a obtener un resultado diferente, aunque sea por azar (incluso en el supuesto de que las dos dietas sean iguales).

Imaginaos que los de la dieta A engordan 2 kg y los de la dieta B, 3 kg. ¿Se engorda más con la dieta B o la diferencia se debe al azar (muestras elegidas, variabilidad biológica, imprecisión de mediciones, etc.)? Aquí es donde entra nuestro contraste de hipótesis.

Cuando nosotros vamos a hacer el ensayo partimos de la hipótesis de igualdad, de no diferencia de efecto (se engorda igual con las dos dietas). Esto es lo que llamamos hipótesis nula (H0) que, repito para que quede claro, asumimos que es la cierta. Si la variable que estamos midiendo sigue una distribución de probabilidad conocida (normal, ji-cuadrado, t de Student, etc.), podemos calcular la probabilidad de presentarse cada uno de los valores de la distribución. En otras palabras, podemos calcular la probabilidad de obtener un resultado tan distinto de la igualdad como el que hemos obtenido, siempre bajo el supuesto de la H0.

Ese es el valor de p: la probabilidad de que la diferencia de resultado observada se deba al azar. Por convenio, si esa probabilidad es menor del 5% (0,05) nos parecerá poco probable que la diferencia se deba al azar y rechazaremos H0, la hipótesis de igualdad, aceptando la hipótesis alternativa (Ha) que, en este ejemplo, dirá que una dieta engorda más que la otra. Por otra parte, si la probabilidad es mayor del 5%, no nos sentiremos lo suficientemente seguros para afirmar que la diferencia no se debe a la casualidad, así que NO rechazamos H0 y nos quedamos con la hipótesis de igualdad: las dos dietas son similares.

Tened en cuenta que siempre nos movemos en el terreno de la probabilidad. Si la p es menor de 0,05 (estadísticamente significativa), rechazaremos H0, pero siempre con una probabilidad de cometer un error de tipo 1: dar por bueno un efecto que, en realidad, no existe (un falso positivo). Por otra parte, si p es mayor de 0,05, nos quedamos con H0 y decimos que no hay diferencia de efecto, pero siempre con una probabilidad de cometer un error de tipo 2: no detectar un efecto que, en realidad, existe (falso negativo).

¿Qué no es p?

Podemos ver, por tanto, que el valor de p es algo sencillo desde el punto de vista conceptual. Sin embargo, hay una serie de errores habituales sobre lo que representa o no representa el valor de p. Vamos a tratar de aclararlos.

Es falso que una p menor de 0,05 signifique que la hipótesis nula es falsa y una p mayor de 0,05 que la hipótesis nula es cierta. Como ya hemos mencionado, el abordaje es siempre probabilístico. La p < 0,05 solo quiere decir que, por convenio, es poco probable que H0 sea cierta, así que la rechazamos, aunque siempre con una pequeña probabilidad de equivocarnos. Por otra parte, si p > 0,05 tampoco se asegura que H0 sea cierta, ya que puede existir un efecto real y que el estudio no tenga potencia suficiente para detectarlo.

En este punto hay que recalcar un hecho: la hipótesis nula solo es falsable. Esto quiere decir que solo podemos rechazarla (con lo que nos quedamos con Ha, con una probabilidad de error), pero nunca podemos afirmar que es cierta. Si p > 0,05 no podremos rechazarla, así que nos mantendremos en el supuesto inicial de igualdad de efecto, que no podemos demostrar de una forma positiva.

Es falso que el valor de p tenga relación con la fiabilidad del estudio. Podemos pensar que las conclusiones del estudio serán más fiables cuanto menor sea el valor de p, pero tampoco es cierto. En realidad, el valor de p es la probabilidad de obtener un valor semejante por azar si repetimos el experimento en las mismas condiciones y no solo depende de que el efecto que queremos demostrar exista o no. Hay otros factores que pueden influir en la magnitud de la p: el tamaño de la muestra, el tamaño del efecto, la varianza de la variable medida, la distribución de probabilidad empleada, etc.

Es falso que el valor de p indique la importancia del resultado. Como ya hemos repetido varias veces, el valor de p solo es la probabilidad de que la diferencia observada se deba al azar. Una diferencia estadísticamente significativa no tiene obligatoriamente que ser clínicamente importante. La importancia clínica la establece el investigador y es posible encontrar resultados con una p muy pequeña que no sean importantes desde el punto de vista clínico y viceversa, valores no significativos que sean importantes.

Es falso que el valor de p represente la probabilidad de que la hipótesis nula sea cierta. Esta creencia hace que, a veces, busquemos el valor exacto de p y no nos conformemos con saber solo si es mayor o menor de 0,05. La culpa de este error de concepto la tiene una mala interpretación de la probabilidad condicional. A nosotros nos interesa saber cuál es la probabilidad de que H0 sea cierta una vez que hemos obtenido unos resultados con nuestro ensayo. Expresado matemáticamente, queremos saber P(H0|resultados). Sin embargo, el valor de p lo que nos proporciona es la probabilidad de obtener nuestros resultados bajo el supuesto de que la hipótesis nula es cierta, o sea, P(resultados|H0).

Por tanto, si interpretamos que la probabilidad de que H0 sea cierta a la vista de nuestros resultados (P(H0|resultados)) es igual al valor de p (P(resultados|H0)) estaremos cayendo en una falacia inversa o falacia de la transposición de los condicionales.

En realidad, la probabilidad de que H0 sea cierta no depende solo de los resultados del estudio, sino que también se ve influida por la probabilidad previa que se estimase antes del estudio, que es una medida de la creencia subjetiva que refleja su plausibilidad, generalmente basada en estudios y conocimientos previos. Pensemos que queremos contrastar un efecto que creemos muy poco probable que sea cierto. Valoraremos con precaución un valor de p < 0,05, aunque sea significativo. Por el contrario, si estamos convencidos de que el efecto existe, con poca p nos daremos por satisfechos.

En resumen, para calcular la probabilidad de que el efecto sea real deberemos calibrar el valor de p con el valor de la probabilidad basal de H0, que será asignada por el investigador o por datos previos disponibles. Existen métodos matemáticos para calcular esta probabilidad en función de su probabilidad basal y el valor de p, pero lo más sencillo es recurrir a una herramienta gráfica que es el nomograma de Held, que podéis ver en la figura.

Para utilizar el nomograma de Held solo tenemos que trazar una línea desde la probabilidad previa que consideremos que tiene H0 hasta el valor de p y prolongarla para ver qué valor de probabilidad posterior alcanzamos. Como ejemplo, hemos representado un estudio con un valor de p = 0,03 en el que creemos que la probabilidad de la H0 es del 20% (creemos que hay un 80% de que el efecto sea real). Si prolongamos la línea nos dice que la probabilidad mínima de H0 del 6%: hay un 94% de probabilidad de que el efecto sea real. Por otro lado, pensad en otro estudio con el mismo valor de p pero en el que pensamos que la probabilidad del efecto es más baja, por ejemplo, del 20% (la probabilidad de H0 es del 80%), Para un mismo valor de p, la probabilidad mínima posterior de H0 es del 50%, luego hay un 50% de que el efecto sea real. Vemos, así, como la probabilidad posterior cambia según la probabilidad previa.

Nos vamos…

Y hasta aquí hemos llegado por hoy. Hemos visto cómo la p solo nos da una idea del papel que el azar ha podido tener en nuestros resultados y que, además, puede depender de otros factores, quizás el más importante el tamaño muestral. La conclusión es que, en muchas ocasiones, el valor de p es un parámetro que permite valorar de forma muy limitada la importancia de los resultados de un estudio. Para hacerlo mejor, es preferible recurrir al uso de los intervalos de confianza, que nos permitirán valorar la importancia clínica y la significación estadística. Pero esa es otra historia…

El detector de tramposos

Publicado el 3 septiembre, 2019 | por Manuel Molina | Deja un Comentario

Trampas de la estadística

Cuando pensamos en inventos e inventores, a la mayoría de nosotros nos viene a la cabeza el nombre de Thomas Alva Edison, conocido entre sus amigos como el mago de Menlo Park. Este señor creó más de mil inventos, de algunos de los cuales puede decirse que cambiaron el mundo. Entre ellos podemos nombrar la bombilla incandescente, el fonógrafo, el kinetoscopio, el polígrafo, el telégrafo cuádruplex, etc., etc., etc. Pero quizás su gran mérito no sea el de haber inventado todas estas cosas, sino el de aplicar métodos de producción en cadena y de trabajo en equipo al proceso de investigación, favoreciendo la difusión de sus inventos y la creación del primer laboratorio de investigación industrial.

Pero a pesar de toda su genialidad y excelencia, a Edison se le pasó inventar algo que habría tenido tanta utilidad como la bombilla: un detector de tramposos. La explicación de esta falta es doble: vivió entre los siglos XIX y XX y no se dedicaba a leer artículos sobre medicina. Si hubiese vivido en nuestro tiempo y hubiese tenido que leer literatura médica, no me cabe duda que el mago de Menlo Park se habría dado cuenta de la utilidad de este invento y se habría puesto las pilas (que, por cierto, no las inventó él, sino Alessandro Volta).

Y no es que yo esté hoy especialmente negativo, el problema es que, como ya dijo Altman hace más de 15 años, el material remitido a las revistas médicas es malo desde el punto de vista metodológico en un altísimo porcentaje de los casos. Es triste, pero el sitio más adecuado para guardar muchos de los trabajos que se publican es el cubo de la basura.

En la mayor parte de los casos la causa probablemente sea la ignorancia de los que escribimos. “Somos clínicos”, nos decimos, así que dejamos de lado los aspectos metodológicos, de los cuales tenemos una formación, en general, bastante deficiente. Para arreglarlo, las revistas mandan revisar nuestros trabajos a otros colegas, que andan más o menos como nosotros. “Somos clínicos”, se dicen, así que se comen todos nuestros errores.

Aunque esto es, de por sí, grave, puede tener remedio: estudiar. Pero es un hecho todavía más grave que, en ocasiones, estos errores pueden ser intencionados con el objetivo de inducir al lector a llegar a una determinada conclusión tras la lectura del trabajo. El remedio para este problema es hacer una lectura crítica del trabajo, prestando atención a la validez interna del estudio. En este sentido, quizás el aspecto más difícil de valorar para el clínico sin formación metodológica sea el relacionado con la estadística empleada para analizar los resultados del trabajo. Es aquí, sin ninguna duda, donde mejor se pueden aprovechar de nuestra ignorancia utilizando métodos que proporcionen resultados más vistosos, en lugar de los métodos adecuados.

Como sé que no vais a estar dispuestos a hacer un máster sobre bioestadística, en espera de que alguien invente el detector de tramposos, vamos a dar una serie de pistas para que el personal no experto pueda sospechar la existencia de estas trampas.

Trampas de la estadística

La primera puede parecer una obviedad, pero no lo es: ¿se ha utilizado algún método estadístico? Aunque es excepcionalmente raro, puede haber autores que no consideren utilizar ninguno. Recuerdo un congreso al que pude asistir en el que se exponían los valores de una variable a lo largo del estudio que, primero, subían y, después, bajaban, lo que permitía concluir que el resultado no era “muy allá”. Como es lógico y evidente, toda comparación debe hacerse con el adecuado contraste de hipótesis e indicarse su nivel de significación y la prueba estadística utilizada. En caso contrario, las conclusiones carecerán de validez alguna.

Un aspecto clave de cualquier estudio, especialmente en los de intervención, es el cálculo previo del tamaño muestral necesario. El investigador debe definir el efecto clínicamente importante que quiere ser capaz de detectar con su estudio y calcular a continuación qué tamaño muestral le proporcionará al estudio la potencia suficiente para demostrarlo. La muestra de un estudio no es grande o pequeña, sino suficiente o insuficiente. Si la muestra no es suficiente, puede no detectarse un efecto existente por falta de potencia (error de tipo 2). Por otro lado, una muestra mayor de lo necesario puede mostrar como estadísticamente significativo un efecto que no sea relevante desde el punto de vista clínico. Aquí hay dos trampas muy habituales. Primero, el del estudio que no alcanza significación y sus autores afirman que es por falta de potencia (por tamaño muestral insuficiente), pero no hacen ningún esfuerzo por calcular la potencia, que siempre puede hacerse a posteriori. En ese caso, podemos hacerlo nosotros usando programas de estadística o cualquiera de las calculadoras disponibles en internet, como la GRANMO. Segundo, se aumenta el tamaño muestral hasta que la diferencia observada sea significativa, encontrando la ansiada p < 0,05. Este caso es más sencillo: solo tenemos que valorar si el efecto encontrado es relevante desde el punto de vista clínico. Os aconsejo practicar y comparar los tamaños muestrales necesarios de los estudios con los que definen los autores. A lo mejor os lleváis alguna sorpresa.

Una vez seleccionados los participantes, un aspecto fundamental es el de la homogeneidad de los grupos basales. Esto es especialmente importante en el caso de los ensayos clínicos: si queremos estar seguros de que la diferencia de efecto observada entre los dos grupos se debe a la intervención, los dos grupos deben ser iguales en todo, menos en la intervención.

Para esto nos fijaremos en la clásica tabla I de la publicación del ensayo. Aquí tenemos que decir que, si hemos repartido los participantes al azar entre los dos grupos, cualquier diferencia entre ellos se deberá, sí o sí, al azar. No os dejéis engañar por las p, recordad que el tamaño muestral está calculado para la magnitud clínicamente importante de la variable principal, no para las características basales de los dos grupos. Si veis alguna diferencia y os parece clínicamente relevante, habrá que comprobar que los autores han tenido en cuenta su influencia sobre los resultados del estudio y han hecho el ajuste pertinente durante la fase de análisis.

El siguiente punto es el de la aleatorización. Esta es una parte fundamental de cualquier ensayo clínico, por lo que debe estar claramente definido cómo se hizo. Aquí os tengo que decir que el azar es caprichoso y tiene muchos vicios, pero raramente produce grupos de igual tamaño. Pensad un momento si tiráis una moneda 100 veces. Aunque la probabilidad de salir cara en cada lanzamiento sea del 50%, será muy raro que lanzando 100 veces saquéis exactamente 50 caras. Cuánto mayor sea el número de participantes, más sospechoso nos deberá parecer que los dos grupos sean iguales. Pero cuidado, esto solo vale para la aleatorización simple. Existen métodos de aleatorización en los que los grupos sí pueden quedar más equilibrados.

Otro punto caliente es el uso indebido que, a veces, puede hacerse con variables cualitativas. Aunque las variables cualitativas pueden codificarse con números, mucho cuidado con hacer operaciones aritméticas con ellos. Probablemente no tendrán ningún sentido. Otra trampa que podemos encontrarnos tiene que ver con el hecho de categorizar una variable continua. Pasar una variable continua a cualitativa suele llevar aparejada pérdida de información, así que debe tener un significado clínico claro. En caso contrario, podemos sospechar que la razón sea la búsqueda de una p < 0,05, siempre más fácil de conseguir con la variable cualitativa.

Entrando ya en el análisis de los datos, hay que comprobar que los autores han seguido el protocolo del estudio diseñado a priori. Desconfiad siempre de los estudios post hoc que no estaban planificados desde el comienzo. Si buscamos lo suficiente, siempre hallaremos un grupo que se comporta como a nosotros nos interesa. Como suele decirse, si torturas los datos lo suficiente, acabarán por confesar.

Otra conducta inaceptable es finalizar el estudio antes de tiempo por obtenerse buenos resultados. Una vez más, si la duración del seguimiento se ha establecido durante la fase de diseño como la idónea para detectar el efecto, esto debe respetarse. Cualquier violación del protocolo debe estar más que justificada. Lógicamente, es lógico terminar el estudio antes de tiempo por motivos de seguridad de los participantes, pero habrá que tener en cuenta cómo afecta este hecho en la valoración de los resultados.

Antes de realizar el análisis de los resultados, los autores de cualquier trabajo tienen que depurar sus datos, revisando la calidad y la integridad de los valores recogidos. En este sentido, uno de los aspectos a los que hay que prestar atención es al manejo de los datos extremos (los llamados outliers). Estos son los valores que se alejan mucho de los valores centrales de la distribución. En muchas ocasiones pueden deberse a errores en el cálculo, medición o transcripción del valor de la variable, pero también pueden ser valores reales que se deban a la especial idiosincrasia de la variable. El problema es que existe una tendencia a eliminarlos del análisis aún cuando no haya seguridad de que se deban a algún error. Lo correcto es tenerlos en cuenta al hacer el análisis y utilizar, si es necesario, métodos estadísticos robustos que permitan ajustar estas desviaciones.

Finalmente, el aspecto que nos puede costar más a los no muy expertos en estadística es saber si se ha empleado el método estadístico correcto. Un error frecuente es el empleo de pruebas paramétricas sin comprobar previamente si se cumplen los requisitos necesarios. Esto puede hacerse por ignorancia o para obtener la significación estadística, ya que las pruebas paramétricas son menos exigentes en este sentido. Para entendernos, la p será más pequeña que si empleamos la prueba equivalente no paramétrica.

También, con cierta frecuencia, se obvian otros requisitos para poder aplicar determinada prueba de contraste. Como ejemplo, para realizar una prueba de la t de Student o un ANOVA es necesario comprobar la homocedasticidad (una palabra muy fea que quiere decir que las varianzas son iguales), comprobación que se pasa por alto en muchos trabajos. Lo mismo ocurre con los modelos de regresión que, con frecuencia, no se acompañan del preceptivo diagnóstico del modelo que permite justificar su uso.

Otro asunto en el que puede haber trampa es el de las comparaciones múltiples. Por ejemplo, cuando el ANOVA da significativo nos dice que hay al menos dos medias que son diferentes, pero no cuáles, así que nos ponemos a compararlas dos a dos. El problema es que cuando hacemos comparaciones repetidas aumenta la probabilidad de error de tipo I, o sea, la probabilidad de encontrar diferencias significativas solo por azar. Esto puede permitir encontrar, aunque solo sea por casualidad, una p < 0,05, lo que viste mucho el estudio (sobre todo si has gastado mucho tiempo y/o dinero en hacerlo). En estos casos los autores deben emplear alguna de las correcciones disponibles (como la de Bonferroni, una de las más sencillas) para que el alfa global se mantenga en 0,05. El precio a pagar es sencillo: la p tiene que ser mucho más pequeña para ser significativa. Cuando veamos comparaciones múltiples sin corrección solo tendrá dos explicaciones: la ignorancia del que haya hecho el análisis o el intento de encontrar una significación que, probablemente, no soportaría la disminución del valor de p que conllevaría la corrección.

Otra víctima frecuente del mal uso de la estadística es el coeficiente de correlación de Pearson, que se utiliza para casi todo. La correlación, como tal, nos dice si dos variables están relacionadas, pero no nos dice nada sobre la causalidad de una variable para la producción de la otra. Otro mal uso es utilizar el coeficiente de correlación para comparar los resultados obtenidos por dos observadores, cuando probablemente lo que deba utilizarse en este caso es el coeficiente de correlación intraclase (para variables continuas) o el índice kappa (para cualitativas dicotómicas). Por último, también es incorrecto comparar dos métodos de medición (por ejemplo, glucemia capilar y venosa) mediante correlación o regresión lineal. Para estos casos lo correcto sería usar la regresión de Passing y Bablok.

Otra situación en la que una mente paranoica como la mía sospecharía es aquella en la que el método estadístico empleado no lo conocen ni los más listos del lugar. Siempre que haya una forma más conocida (y muchas veces más sencilla) de hacer el análisis, deberemos preguntarnos por qué han usado un método tan raro. En estos casos exigiremos a los autores que justifiquen su elección y que aporten una cita donde podamos revisar el método. En estadística hay que tratar de elegir la técnica correcta para cada ocasión y no aquella que nos proporcione el resultado más apetecible.

En cualquiera de los test de contraste anteriores, los autores suelen emplear un nivel de significación para p < 0,05, lo habitual, pero el contraste puede hacerse con una o con dos colas. Cuando hacemos un ensayo para probar un nuevo fármaco, lo que esperamos es que funcione mejor que el placebo o el fármaco con el que lo estemos comparando. Sin embargo, pueden ocurrir otras dos situaciones que no podemos desdeñar: que funcione igual o, incluso, que funcione peor. Un contraste bilateral (con dos colas) no asume la dirección del efecto, ya que calcula la probabilidad de obtener una diferencia igual o mayor que la observada, en las dos direcciones. Si el investigador está muy seguro de la dirección del efecto puede hacer un contraste unilateral (con una cola), midiendo la probabilidad del resultado en la dirección considerada. El problema es cuando lo hace por otra razón: la p del contraste bilateral es el doble de grande que la del unilateral, por lo que será más fácil conseguir significación estadística con el contraste unilateral. Lo que no es correcto es que este último sea el motivo para hacer un contraste unilateral. Lo correcto, salvo que haya razones bien justificadas, es hacer un contraste bilateral.

Elección de medidas de asociación y de efecto

Para ir terminando esta entrada tan tramposa, diremos unas palabras sobre el uso de las medidas adecuadas para presentar los resultados. Hay muchas formas de maquillar la verdad sin llegar a mentir y, aunque en el fondo todas dicen lo mismo, la apariencia puede ser muy diferente según cómo lo digamos. El ejemplo más típico es el de usar medidas de riesgo relativas en lugar de medidas absolutas de impacto. Siempre que veamos un ensayo clínico, debemos exigir que nos presenten la reducción absoluta del riesgo y el número necesario a tratar (NNT). La reducción relativa del riesgo es un número mayor que la absoluta, por lo que parecerá que el impacto es mayor. Dado que las medidas absolutas son más fáciles de calcular y se obtienen de los mismos datos que la relativas, deberemos desconfiar si los autores no nos las ofrecen: quizás el efecto no sea tan importante como nos pretenden hacer ver.

Otro ejemplo es el uso de la odds ratio frente a los riesgos relativos (cuando pueden calcularse ambos). La odds ratio tiende a magnificar la asociación entre las variables, así que su uso no justificado también puede hacernos sospechar. Si podéis, calcular el riesgo relativo y comparad las dos medidas.

De igual manera, sospecharemos de los estudios de pruebas diagnósticas que no nos proporcionan los cocientes de probabilidad y se limiten a sensibilidad, especificidad y valores predictivos. Los valores predictivos pueden ser altos si la prevalencia de la enfermedad en la población del estudio es alta, pero no sería aplicables a poblaciones con menos proporción de enfermos. Esto se soslaya con el uso de los cocientes de probabilidad. Siempre deberemos preguntarnos el motivo que puedan tener los autores para obviar el dato parámetro más válido para calibrar la potencia de la prueba diagnóstica.

Y, por último, mucho cuidado con los gráficos: aquí las posibilidades de maquillar los resultados solo están limitadas por la imaginación. Hay que fijarse en las unidades empleadas y tratar de extraer la información del gráfico más allá de lo que pueda parecer que representa a primera vista.

Nos vamos…

Y aquí dejamos el tema por hoy. Nos ha faltado hablar en detalle sobre otra de las entidades más incomprendidas y manipuladas, que no es otra que nuestra p. A p se le atribuyen muchos significados, generalmente de forma errónea, como la probabilidad de que la hipótesis nula sea cierta, probabilidad que tiene su método específico para poder hacer una estimación. Pero esa es otra historia…

Pareja con pareja

Publicado el 2 julio, 2019 | por Manuel Molina | Deja un Comentario

Elección del método estadístico

Todos conoceréis el caso de alguien que, tras realizar un estudio y recoger varios millones de variables, se ha dirigido al estadístico de su centro de trabajo y, demostrando de forma fehaciente su claridad de ideas respecto a su trabajo, le ha dicho: por favor (hay que ser educados), crúzalo todo con todo, a ver qué sale.

Llegados a este punto te pueden ocurrir varias cosas. Si el estadístico es un desalmado sin escrúpulos te dirigirá una media sonrisa y te dirá que vuelvas al cabo de unos días. Entonces te dará varios centenares de hojas con gráficos, tablas y números que no sabrás por dónde coger. Otra cosa que te puede ocurrir es que te mande a paseo, cansado como estará de que le hagan peticiones semejantes.

Pero puedes tener suerte y encontrar un estadístico competente y paciente que, de forma abnegada, te explicará que la cosa no debe funcionar así. Lo lógico es que tú, antes de recoger ningún dato, hayas elaborado una memoria del proyecto en la que esté previsto, entre otras cosas, qué hay que analizar y qué variables hay que cruzar entre sí. Incluso, te puede sugerir que, si el análisis no es muy complicado, intentes hacerlo tú mismo.

Esto último te puede parecer el desvarío de una mente trastornada por las matemáticas pero, si lo piensas un momento, no es tan mala idea. Si nosotros hacemos el análisis, al menos el preliminar, de nuestros resultados, nos puede ayudar a entender mejor el estudio. Además, ¿quién mejor que nosotros mismos puede saber lo que queremos?

Con los paquetes estadísticos actuales, la estadística bivariante más sencilla puede estar a nuestro alcance. Únicamente tenemos que tener buen cuidado en saber elegir el test de contraste de hipótesis adecuado, para lo cual habremos de tener en cuenta tres aspectos: el tipo de variables que queremos comparar, si los datos son apareados o independientes y si tenemos que utilizar test paramétricos o no paramétricos. Veamos estos tres aspectos.

Elección del método estadístico

En cuanto al tipo de variables, existen múltiples denominaciones según la clasificación o el paquete estadístico que utilicemos pero, simplificando, diremos que hay tres tipos de variables. En primer lugar, están las continuas o de escala. Como su nombre indica, recogen el valor de una variable continua como puede ser el peso, la talla, la glucemia, etc. En segundo lugar, están las variables nominales, que constan de dos o más categorías que son mutuamente excluyentes. Por ejemplo, la variable color de pelo puede tener las categorías “moreno”, “rubio” y “pelirrojo”. Cuando estas variables tienen dos categorías, las llamamos dicotómicas (sí/no, vivo/muerto, etc.). Por último, cuando las categorías están ordenadas por rango, hablamos de variables ordinales: “no fuma”, “fuma poco”, “fuma moderadamente”, “fuma mucho”. Aunque a veces puedan usar números, estos indican la posición de las categorías dentro de la serie, sin implicar, por ejemplo, que la distancia de la categoría 1 a la 2 sea la misma que la de la 2 a la 3. Por ejemplo, podemos clasificar el reflujo vesicoureteral en grados I, II, III y IV (tener un grado IV es más que un II, pero no significa que se tenga el doble de reflujo).

El tipo de variable

Saber qué tipo de variable tenemos entre manos es sencillo. Si tenemos duda, podemos seguir el siguiente razonamiento basado en la respuesta a dos preguntas:

¿Tiene la variable valores teóricos infinitos? Aquí hay que abstraerse un poco y fijarse en los de “valores teóricos”. Por ejemplo, si recogemos el peso de nuestros participantes, los valores teóricos serán infinitos aunque, en la práctica, esto estará limitado por la precisión de nuestra báscula. Si la respuesta es sí estaremos antes una variable continua o de escala. Si es no, pasamos a la siguiente pregunta.
¿Los valores están ordenados en algún tipo de rango? Si la respuesta es sí, nos encontraremos ante una variable ordinal. Si la respuesta es no, tendremos una variable nominal.

Medidas apareadas o independientes

El segundo aspecto es el de las medidas apareadas o independientes. Dos medidas están apareadas cuando se mide una variable en dos ocasiones tras haber aplicado algún cambio, habitualmente en el mismo sujeto. Por ejemplo: presión arterial antes y después de un test de esfuerzo, peso antes y después de una intervención nutricional, etc. Por su parte, las medidas independientes son aquellas que no tienen relación entre sí (son variables diferentes): peso, talla, género, edad, etc.

Paramétrico vs no paramétrico

Por último, hemos mencionado lo de poder utilizar test paramétricos o no paramétricos. No vamos a entrar ahora en detalle, pero para poder utilizar un test paramétrico la variable debe cumplir una serie de características, como seguir una distribución normal, tener un determinado tamaño muestral, etc. Además, hay técnicas que son más exigentes que otras a la hora de tener que cumplir estas condiciones. Ante la duda, es preferible utilizar técnicas no paramétricas sin necesidad (el único problema es que es más difícil conseguir significación estadística, pero el contraste es igual de válido) que usar una prueba paramétrica cuando no se cumplan los requisitos necesarios.

Una vez que ya hemos dado respuesta a estos tres aspectos, solo nos queda hacer las parejas de variables que vamos a comparar y elegir el test estadístico apropiado. Lo podéis ver resumido en la tabla adjunta.En las filas está representado el tipo de variable independiente, que es aquella cuyo valor no depende de otra variable (suele estar en el eje x de las representaciones gráficas) y que suele ser la que modificamos en el estudio para ver el efecto sobre otra variable (la dependiente). En las columnas, por su parte, tenemos la variable dependiente, que es aquella cuyo valor se modifica con los cambios de la variable independiente. De todas formas, no os lieis: el programa estadístico hará el contraste de hipótesis sin tener en cuenta cuál es la dependiente y cuál la independiente, solo tendrá en cuenta los tipos de variables.

La tabla se explica sola, así que no le vamos a dar muchas vueltas. Por ejemplo, si hemos medido la presión arterial (variable de escala) y queremos saber si hay diferencias entre hombres y mujeres (género, variable nominal dicotómica), el test adecuado será el de la t de Student para muestras independientes. Si quisiéramos ver si hay diferencia en la presión antes y después de un tratamiento, utilizaríamos el mismo test de la t de Student pero para muestras apareadas.

Otro ejemplo: si queremos saber si hay diferencias significativas en el color de pelo (nominal politómica: “rubio”, “moreno” y “pelirrojo) y si el participante es del norte o sur de Europa (nominal dicotómica), podríamos emplear un test de la Ji-cuadrado.

Nos vamos…

Y aquí lo vamos a dejar por hoy. No hemos hablado nada de las peculiaridades de cada test que debemos tener en cuenta, sino que solo hemos mencionado el test en sí. Por ejemplo, la ji-cuadrado tiene que cumplir unos mínimos en cada casilla de la tabla de contingencia, en el caso de la t de Student debemos considerar si las varianzas son iguales (homocedasticidad) o no, etc. Pero esa es otra historia…

El poder de la propiedad transitiva

Publicado el 28 mayo, 2019 | por Manuel Molina | Deja un Comentario

Lectura crítica de metanálisis en red

Cuando a Georg Cantor le dio por aquello de desarrollar la teoría de conjuntos no podía hacerse una idea de todo lo que vendría detrás, seguramente de la mano de matemáticos tan aplicados como él. Se me ocurre el caso curioso de las relaciones binarias, que los más mayores recordaréis de cuando en el colegio se aprendían cosas.

Pues resulta que algún genio matemático empieza a pensar y describe una serie de propiedades. La primera es la propiedad reflexiva. Esta quiere decir que, si un número x es igual a x, pues eso, que es x. Por si alguien no lo ha entendido, pondremos un ejemplo anatómico: mi mano derecha es mi mano derecha. Creo que el genio que inventó la propiedad reflexiva necesitó una larga recuperación en algún balneario después de tamaño esfuerzo mental.

Fue en este balneario donde decidió hacer algo más intenso, así que describió la propiedad simétrica, bastante más compleja: sin un número x es igual a y, entonces y es igual a x. Volviendo a la anatomía, si mis brazos y mis piernas son mis extremidades, tendréis que estar de acuerdo en que mis extremidades son mis brazos y mis piernas. Esto del álgebra es un fascinante.

Menos mal que, al final, para salvar un poco el expediente, nuestro genio anónimo se inventó la propiedad transitiva, que dice más o menos así: si un número x se relaciona con y, e y se relaciona con z, habrá transitividad si x se relaciona con z. Otra vez a la anatomía: si mi pierna es mía y mi pie es de mi pierna, mi pie también es mío. Después vinieron más propiedades derivadas de estas tres, pero aquí lo vamos a dejar, porque hoy vamos a utilizar el poder de la propiedad transitiva para saber cuál de dos cosas que en realidad no hemos llegado a comparar es la mejor de las dos. Pensad, por ejemplo, en una turba enloquecida que entra corriendo en un centro comercial el primer día de rebajas. Lo miran todo antes de decidir qué comprar, pero no hace falta comparar todos los productos dos a dos para saber cuál nos gusta más.

En medicina pasa algo parecido. Lo habitual es que haya varias opciones para tratar una misma enfermedad (aunque los que ya llevamos uno años en el negocio sabemos que cuantas más existen, más probable que ninguna sirva para nada). Los ensayos clínicos, y los metanálisis de ensayos clínicos, solo comparan dos a dos y puede ocurrir que nadie haya comparado los dos que nosotros tenemos a nuestra disposición o que queramos saber cuál es, en teoría, el mejor de todos los disponibles.

El metanálisis en red

Pues bien, para eso se ha inventado un diseño metodológico llamado metanálisis en red (MAR), también llamado metanálisis con comparaciones múltiples o metanálisis con comparaciones mixtas. Y en este último término, comparaciones mixtas, está el quid de la cuestión, porque resulta que hay varios tipos de comparaciones. Veámoslas.

Vamos a suponer que tenemos tres posibles tratamientos que, tras una honda reflexión, he decidido llamar A, B y C. La situación más sencilla es comparar dos de ellos, A y B, por ejemplo, con un ensayo clínico convencional. Estaríamos haciendo una comparación directa entre las dos intervenciones. Pero puede ocurrir que no tengamos ningún ensayo que compare directamente A y B, pero sí dos ensayos diferentes que comparen las intervenciones con otra misma intervención, C (podéis verlo en la figura adjunta). En este caso podemos recurrir al poder de la propiedad transitiva y hacer una comparación indirecta entre A y B en función de su eficacia relativa frente a C. Por ejemplo, si A reduce la mortalidad un 100% frente a C y B la reduce un 50% frente a C, podremos decir que B reduce un 50% frente a A. Claro que, para poder hacer esto, tiene que cumplirse lo de la transitividad, cosa que no podamos dar por supuesta. Por ejemplo, si a mí me gusta el cerdo y al cerdo le gusta rebozarse por el barro, eso no quiere decir que a mí me guste rebozarme por el barro. La transitividad no se cumple en este supuesto (creo).

Pues bien, un MAR no es más que una serie de comparaciones directas, indirectas y mixtas que permiten comparar los efectos relativos de varias intervenciones. Lo habitual es representar las múltiples comparaciones con un diagrama en forma de red en el que podemos ver las comparaciones directas, indirectas y mixtas. Cada nodo de la red, que puede variar en tamaño en función de su peso específico, es uno de los estudios primarios de la revisión, mientras que las líneas que unen los nodos representan las comparaciones. La red completa representará todas las comparaciones de tratamientos identificadas a partir de los estudios primarios de la revisión que incorpora nuestro MAR.

Al igual que ocurre con los otros tipos de metanálisis aparejados a una revisión sistemática, la validez del MAR dependerá de la validez de los estudios primarios, de la heterogeneidad entre los mismos y de los posibles sesgos de información existentes, factores que condicionarán la calidad de las comparaciones directas.

Además, las comparaciones indirectas se consideran de carácter observacional y requieren, como ya hemos comentado, que el investigador emita el dictamen de transitividad de las intervenciones basándose en sus conocimientos sobre las mismas, sobre la enfermedad y de los diseños de los estudios primarios.

Otro aspecto específico del MAR es el de la coherencia o consistencia, que hace referencia al nivel de acuerdo entre la evidencia procedente de comparaciones directas e indirectas. Este nivel de acuerdo, que puede medirse con métodos estadísticos específicos, debe ser alto para que la medida resumen de resultado tenga validez. Los resultados de las comparaciones deben tener la misma dirección, no pueden ser divergentes. Cuando esto no se cumpla, probablemente la causa esté en la mala calidad metodológica de los estudios primarios, en su heterogeneidad o en la presencia de sesgos.

Como en otros metanálisis, el resultado del MAR se expresa con una medida resumen de resultado que puede ser una odds ratio, una diferencia de medias, un riesgo relativo, etc. Esta estimación puntual se acompaña de un intervalo que nos da información sobre la precisión de esta estimación. El análisis estadístico del MAR puede emplear métodos frecuentistas (el que solemos ver en los ensayos clínicos habituales) o métodos bayesianos. Estos últimos se basan en la asignación de una probabilidad del efecto del tratamiento previa al análisis de los datos para después asignar una probabilidad a posteriori tras el análisis. Para lo que nos interesa aquí, los métodos frecuentistas valorarán la precisión de la estimación puntual mediante los conocidos intervalos de confianza (habitualmente al 95%), mientras que los bayesianos proporcionarán sus intervalos de credibilidad (también al 95%), de significado similar.

Con todos estos datos obtendremos una relación ordenada de los tratamientos comparados, con el primero encabezando la lista. Pero no os confiéis demasiado, hay que mirar estos rangos con cuidado por varias razones. Primera, el mejor tratamiento en una situación puede no serlo en otra diferente. Segunda, hay que tener en cuenta otros factores como coste, disponibilidad, conocimiento del clínico, etc. Tercero, estas listas ordenadas no tienen en cuenta la magnitud de las diferencias entre los diferentes elementos. Y cuarta, el azar puede jugarnos malas pasadas y colocar en buena posición tratamiento que, en realidad, no sean tan buenos como pueda parecer.

Una vez vistas, muy por encima, las peculiaridades del MAR, ¿qué podemos decir de su lectura crítica? Al igual que disponemos de una lista de verificación para la revisión sistemática con metanálisis habitual, la declaración PRISMA, existe una declaración específica para el MAR, la PRISMA-NMA. Esta lista incluye, como ítems específicos, aspectos como la descripción de la geometría de la red de tratamientos, la consideración de los supuestos de transitividad y consistencia y la descripción de los métodos utilizados para analizar la estructura de la red y la idoneidad de las comparaciones, por si alguna puede tener un grado de evidencia menor. Todo esto se verá facilitado si los autores proporcionan el gráfico con la red de estudios y nos explican brevemente sus características.

De todas formas, ya sabéis que a mí me gusta más acudir a las parrillas de lectura crítica de la red CASPe. Aunque no hay una específica, os aconsejo que uséis la de la revisión sistemática con metanálisis habitual y, después, hagáis unas consideraciones sobre los aspectos específicos del MAR.

Lectura crítica del metanálisis en red

Para no alargar mucho esta entrada, vamos a saltarnos toda la parte que comparten los MAR con cualquier otra revisión sistemática e ir directamente a los aspectos específicos. Podéis consultar la entrada correspondiente donde repasábamos la lectura crítica de la revisión sistemática. Como siempre, vamos a seguir nuestros tres pilares de la sabiduría: validez, importancia y aplicabilidad.

En cuanto a la VALIDEZ, nos haremos tres preguntas específicas.

¿Responde la revisión a una pregunta clínica bien definida y que justifique la realización de un MAR? Esta pregunta tiene los clásicos componentes de la pregunta PICO, aunque la intervención y la comparación englobarán las múltiples comparaciones de la red.
¿Se realizó una búsqueda exhaustiva de los estudios relevantes? Este aspecto es importante para evitar el sesgo de publicación y asegurar la inclusión de toda la información importante disponible. Su ausencia puede afectar la consistencia de las comparaciones.
Debe haber una especificación clara de la población diana, los tratamientos evaluados y las medidas de resultado empleadas. Todos estos aspectos pueden condicionar la validez de las comparaciones indirectas. Si queremos inferir la relación entre los efectos de A y B comparando sus efectos individuales respecto a C, es esencial que A y B se traten de forma similar en su comparación con C, que las comparaciones A-C y B-C se hagan con pacientes similares, que se usen las mismas medidas de resultado y que el riesgo de sesgo de los estudios sea bajo. Esto último puede valorarse con las herramientas habituales, como la de la Cochrane.

Para acabar este apartado, comprobaremos que los resultados son analizados y presentados de forma adecuada, qué método estadístico se ha empleado (frecuentista o bayesiano), si se proporcionan los intervalos de confianza o de credibilidad, el análisis de la red, etc.

Aunque no vamos a entrar en ello, diremos que existen múltiples tipos de red (estrella, bucle, línea…). Para que las comparaciones tengan más validez, las indirectas deben estar apoyadas por comparaciones directas. Esto podemos verlo en el esquema de la red por la presencia de triángulos similares al del gráfico que mostraba al comienzo de la entrada (u otras formas geométricas cerradas). A igualdad de los otros factores que pueden influir y que ya hemos comentado, cuantos más triángulos veamos, más validez tendrán las comparaciones.

Como último aspecto, evaluaremos si los autores han empleado los métodos adecuados para valorar la heterogeneidad y la posible existencia de inconsistencia: análisis de sensibilidad, metarregresión, etc.

Pasamos al apartado de IMPORTANCIA, en el que valoramos cuáles son los resultados del metanálisis. Aquí tendremos en cuenta cinco aspectos específicos:

¿Cuál es el resultado? Como en cualquier otro metanálisis, valoraremos el resultado y su importancia desde el punto de vista clínico.

Habrá que valorar cómo se ha podido influir el resultado por el riesgo de sesgo de los estudios incluidos: a mayor riesgo de sesgo, más podrá apartarse nuestra estimación de la verdad.

¿Son precisos los resultados? En este sentido, debemos valorar la amplitud de los intervalos de confianza o de credibilidad, teniendo en cuenta como se afectarían las conclusiones del estudio en cada extremo del intervalo.
¿Hay consistencia de los resultados entre los diferentes estudios? Puede haber variabilidad por puro azar o por heterogeneidad entre los estudios. Podremos valorarla observando la forma de los forest plots y ayudándonos de los métodos estadísticos habituales, como la I².
¿Son fiables las comparaciones indirectas? Volvemos nuevamente al concepto de transitividad, que habrá que tener en cuenta junto con los otros factores que hemos comentado previamente y que pueden aumentar el riesgo de sesgo: poblaciones homogéneas, variables de resultado y comparadores comunes, etc.
¿Hay consistencia entre comparaciones directas e indirectas? Habrá que comprobar que existen formas geométricas cerradas dentro de la red (nuestros triángulos), además de descartar causas de inconsistencia, que son las mismas que ya hemos comentado como causantes de heterogeneidad e intransitividad.

Finalmente, acabaremos nuestra lectura crítica haciendo algunas consideraciones especiales respecto a la APLICABILIDAD de los resultados.

Además de tener en cuenta, como es habitual, si se han considerado todos los efectos y variables importantes para el paciente y si los pacientes son similares a los de nuestro entorno, nos haremos alguna pregunta relacionada específicamente con el empleo del MAR, como si la red ha considerado todas las posibilidades de tratamiento o si los distintos subgrupos de comparación que se hayan podido establecer tienen credibilidad desde el punto de vista clínico.

Nos vamos…

Y aquí lo vamos a dejar por hoy. Una fiera difícil de domar, este MAR. Y eso que no hemos hablado nada de su metodología estadística, bastante compleja pero que los paquetes informáticos desarrollan sin inmutarse. Además, podríamos haber hablado largo sobre los tipos de redes y las comparaciones que se pueden desprender de cada una de ellas. Pero esa es otra historia…

Un genio maltratado

Publicado el 23 abril, 2019 | por Manuel Molina | Deja un Comentario

Lectura crítica del metanálisis de pruebas diagnósticas

El genio al que me estoy refiriendo en el título de esta entrada no es otro que Alan Mathison Turing, considerado uno de los padres de la ciencia de la computación y un precursor de la informática moderna.

Para los matemáticos, Turing es más conocido por su implicación en la solución del problema de decisión propuesto previamente por Gottfried Wilhelm Leibniz y David Hilbert, que buscaba poder definir un método que pudiese aplicarse a cualquier sentencia matemática para saber si esa sentencia era cierta o no (para el que le interese, se pudo demostrar que tal método no existe).

Pero la fama actual de Turing entre el gran público le viene gracias al cine y a sus trabajos en estadística durante la II Guerra Mundial. Y es que a Turing le dio por explotar la magia bayesiana para profundizar en el concepto de cómo la evidencia que vamos recogiendo durante una investigación puede apoyar la hipótesis de trabajo de partida o no hacerlo, favoreciendo entonces el desarrollo de una nueva hipótesis alternativa. Esto le permitió descifrar el código de la máquina Enigma, que era la que utilizaban los marinos de guerra alemanes para cifrar sus mensajes, y que es la historia que se ha llevado al cine. Esta línea de trabajo condujo al desarrollo de conceptos como el de peso de la evidencia y de los conceptos de verosimilitud, con los que se podían confrontar hipótesis nulas y alternativas, que se aplicaron en biomedicina e hicieron posible el desarrollo de nuevas formas de valorar pruebas diagnósticas, tal como las que vamos a tratar hoy.

Y es que toda esta historia sobre Alan Turing no es más que un reconocimiento a una de las personas cuya contribución hizo posible que después se desarrollara el diseño metodológico del que vamos a hablar hoy, que no es otro que el metanálisis de pruebas diagnósticas.

Ya sabemos que un metanálisis es un método de síntesis cuantitativa que se utiliza en las revisiones sistemáticas para integrar los resultados de los estudios primarios en una medida resumen de resultado. Lo más habitual es encontrarse con revisiones sistemáticas sobre tratamiento, para las cuales está bastante bien definida la metodología de realización y la elección de la medida resumen de resultado. Menos habituales, aunque cada día más, son las revisiones sobre pruebas diagnósticas, que han sido posibles tras el desarrollo y caracterización de los parámetros que miden la potencia diagnóstica de una prueba.

El proceso de realización de una revisión sistemática de diagnóstico sigue esencialmente las mismas pautas que el de una revisión de tratamiento, aunque hay algunas diferencias específicas que trataremos de aclarar. Nos centraremos en primer lugar en la elección de la medida de resultado y trataremos de tener en cuenta el resto de las peculiaridades cuando demos algunas recomendaciones para realizar la lectura crítica de estos trabajos.

Características del metanálisis de pruebas diagnósticas

Al elegir la medida de resultado nos encontramos con la primera gran diferencia con los metanálisis de tratamiento. En el metanálisis de pruebas diagnósticas (MAD) la forma más frecuente de valorar la prueba es combinar la sensibilidad y la especificidad como valores resumen. Sin embargo, estos indicadores presentan un problema y es que los puntos de corte para considerar los resultados de la prueba como positivos o negativos suelen variar entre los distintos estudios primarios de la revisión. Además, en algunos casos la positividad puede depender de la objetividad del evaluador (pensemos en los resultados de pruebas de imagen). Todo esto, además de ser una fuente de heterogeneidad entre los estudios primarios, constituye el origen de un sesgo típico del MAD denominado efecto umbral, en el que nos detendremos un poco más adelante.

Por este motivo a muchos autores no les gusta emplear sensibilidad y especificidad como medidas resumen y recurren a los cocientes de verosimilitud o cocientes de probabilidad, positivo y negativo. Estos cocientes tienen dos ventajas. La primera, son más robustos frente a la presencia de efecto umbral. La segunda, como ya sabemos, permiten calcular la probabilidad postprueba, ya sea usando la regla de Bayes (odd preprueba x cociente de probabilidad = odds postprueba) o un nomograma de Fagan (podéis repasar estos conceptos en la entrada correspondiente).

Por último, una tercera posibilidad es recurrir a otro de los inventos que se derivan del trabajo de Turing: la odds ratio diagnóstica (ORD).

La ORD se define como la razón de la odds de que el enfermo dé positivo con una prueba con respecto a la odds de dar positivo estando sano. Esta frase puede parecer un poco críptica, pero no lo es tanto. La odds de que el enfermo dé positivo frente a que dé negativo no es más que la proporción entre verdaderos positivos (VP) y falsos negativos (FN): VP/FN. Por otra parte, la odds de que el sano dé positivo frente a que dé negativo es el cociente entre falsos positivos (FP) y verdaderos negativos (VN): FP/VN. Y visto esto, solo nos queda definir la razón entre las dos odds, tal como veis en la figura adjunta. La ORD puede también expresarse en función de los valores predictivos y de los cocientes de probabilidad, según las expresiones que podéis ver en la misma figura. Por último, decir que también es posible calcular su intervalo de confianza, según la fórmula que da fin a la figura.

Como toda odds ratio, los valores posibles de la ORD van de cero a infinito. El valor nulo es el uno, que significa que la prueba no tiene capacidad discriminatoria entre sanos y enfermos. Un valor mayor de uno indica capacidad discriminatoria, que será mayor cuanto mayor sea el valor. Por último, valores entre cero y uno nos indicarán que la prueba no solo no discrimina bien entre enfermos y sanos, sino que los clasifica de forma errónea y nos da más valores negativos entre los enfermos que entre los sanos.

La ORD es un medidor global fácil de interpretar y que no depende de la prevalencia de la enfermedad, aunque hay que decir que sí puede variar entre grupos de enfermos con distinta gravedad. Además, es también una medida muy robusta frente al efecto umbral y resulta muy útil para calcular las curvas ROC resumen que en seguida comentaremos.

El segundo aspecto peculiar del MAD que vamos a tratar es el efecto umbral. Siempre debemos valorar su presencia cuando nos encontremos ante un MAD. Lo primero será observar la heterogeneidad clínica entre los estudios primarios, que puede ser evidente sin necesidad de hacer muchas consideraciones. Existe también una forma matemática sencilla, que es calcular el coeficiente de correlación de Spearman entre sensibilidad y especificidad. Si existe efecto umbral existirá una correlación inversa entre ambas, tanto más fuerte cuanto mayor sea el efecto umbral.

Por último, un método gráfico es valorar la dispersión de la representación de sensibilidad y especificidad de los estudios primarios sobre la curva ROC resumen del metanálisis. Una dispersión nos permite sospechar el efecto umbral, pero también puede producirse por heterogeneidad de los estudios y por otros sesgos como el de selección o el de verificación.

El tercer elemento específico del MAD que vamos a comentar es el de la curva ROC resumen (ROCr), que es una estimación de la curva ROC común ajustada según los resultados de los estudios primarios de la revisión. Existen varias formas de calcularla, algunas bastante complicadas desde el punto de vista matemático, pero lo más utilizado son los modelos de regresión que emplean la ORD como estimador, ya que, como hemos dicho, es muy robusta frente a la heterogeneidad y al efecto umbral. Pero no os asustéis, la mayoría de los paquetes estadísticos calculan y representan las ROCr sin apenas esfuerzo.

La lectura de la ROCr es similar a la de cualquier curva ROC. Los dos parámetros que más se emplean son el área bajo la curva ROC (ABC) y el índice Q. El ABC de una curva perfecta será igual a 1. Valores por encima de 0,5 indicarán la capacidad discriminatoria de la curva diagnóstica, que será mayor cuanto más se aproxime a 1. Un valor de 0,5 nos dice que nos da igual hacer la prueba que elegir el resultado lanzando una moneda al aire. Finalmente, valores por debajo de 0,5 nos indican que la prueba no contribuye para nada al diagnóstico que pretende realizar.

Por su parte, el índice Q corresponde al punto en el que se igualan sensibilidad y especificidad. De manera similar al ABC, un valor superior a 0,5 indicará la eficacia global de la prueba diagnóstica, que será mayor cuánto más se aproxime a 1 el valor del índice Q. Además, pueden calcularse también los intervalos de confianza tanto del ABC como del índice Q, con lo que se podrá valorar la precisión de la estimación de la medida resumen del MAD.

Lectura crítica del metanálisis de pruebas diagnósticas

Una vez vistos (muy por encima) los aspectos específicos del MAD, vamos a dar unas recomendaciones para realizar la lectura crítica de este tipo de trabajos. La red CASPe no proporciona una herramienta específica para el MAD, pero podemos seguir las líneas de la revisión sistemática de estudios de tratamiento teniendo en cuenta los aspectos diferenciales del MAD. Como siempre, seguiremos nuestros tres pilares básicos: validez, importancia y aplicabilidad.

Empecemos con las preguntas que valoran la VALIDEZ del estudio.

La primera pregunta de eliminación hace referencia a si se ha planteado claramente el tema de la revisión. Al igual que cualquier revisión sistemática, la de pruebas diagnósticas debe tratar de responder a una pregunta concreta que sea relevante desde el punto de vista clínico, y que habitualmente se plantea siguiendo el esquema PICO de una pregunta clínica estructurada. La segunda pregunta nos hace reflexionar si el tipo de estudios que se han incluido en la revisión son los adecuados. El diseño ideal es el de una cohorte a la que se aplica de manera ciega e independiente tanto la prueba diagnóstica que queremos valorar como el patrón de referencia. Otros estudios basados en diseños tipo caso-control son menos válidos para la evaluación de pruebas diagnósticas, por lo que disminuirán la validez de los resultados.

Si la respuesta a las dos preguntas anteriores es afirmativa, pasaremos a considerar los criterios secundarios. ¿Se han incluido los estudios importantes que tienen que ver con el tema? Debemos comprobar que se ha realizado una búsqueda global y no sesgada de la literatura. La metodología de la búsqueda es similar a la de las revisiones sistemáticas sobre tratamiento, aunque debemos tener algunas precauciones. Por ejemplo, los estudios sobre diagnóstico suelen estar indexados de forma diversa en las bases de datos, por lo que el uso de los filtros habituales de otros tipos de revisiones puede hacer que perdamos trabajos relevantes. Tendremos que comprobar cuidadosamente la estrategia de búsqueda, que debe ser proporcionada por los autores de la revisión.

Además, debemos comprobar que los autores han descartado la posibilidad de un sesgo de publicación. Esto plantea un problema especial en los MAD, ya que el estudio del sesgo de publicación en estos estudios no está bien desarrollado y los métodos habituales como el funnel plot o el test de Egger no son muy fiables. Lo más prudente será suponer siempre que puede existir un sesgo de publicación.

Es muy importante que se haya hecho lo suficiente para valorar la calidad de los estudios, buscando la existencia de posibles sesgos. Para esto los autores pueden servirse de herramientas específicas, tales como la proporcionada por la declaración QUADAS-2.

Para finalizar el apartado de validez interna o metodológica, debemos preguntarnos si era razonable combinar los resultados de los estudios primarios. Es fundamental, para poder sacar conclusiones de datos combinados, que los trabajos sean homogéneos y que las diferencias entre ellos sean debidas únicamente al azar. Tendremos que valorar las posibles fuentes de heterogeneidad y si puede existir un efecto umbral, que los autores han debido tener en cuenta.

Resumiendo, los aspectos fundamentales que tendremos que analizar para valorar la validez de un MAD serán: 1) que los objetivos estén bien definidos; 2) que la búsqueda bibliográfica haya sido exhaustiva; y 3) que se haya comprobado también la validez interna o metodológica de los estudios incluidos. Además, revisaremos los aspectos metodológicos referentes a la técnica del metanálisis: conveniencia de combinar los estudios para realizar una síntesis cuantitativa, evaluación adecuada de la heterogeneidad de los estudios primarios y del posible efecto umbral y utilización de un modelo matemático adecuado para combinar los resultados de los estudios primarios (ROCr, ORD, etc.).

En cuanto a la IMPORTANCIA de los resultados debemos considerar cuál es el resultado global de la revisión y si la interpretación se ha hecho de forma juiciosa. Valoraremos más aquellos MAD que proporcionen medidas más robustas frente a los posibles sesgos, como los cocientes de probabilidades y la ORD. Además, hay que valorar la precisión de los resultados, para lo que recurriremos a nuestros queridos intervalos de confianza, que nos darán una idea de la precisión de la estimación de la verdadera magnitud del efecto en la población.

Concluiremos la lectura crítica del MAD valorando la APLICABILIDAD de los resultados a nuestro medio. Habrá que preguntarse si podemos aplicar los resultados a nuestros pacientes y cómo van a influir en la atención que les prestemos. Tendremos que fijarnos si los estudios primarios de la revisión describen a los participantes y si se parecen a nuestros pacientes. Además, habrá que ver si se han considerado todos los resultados relevantes para la toma de decisiones en el problema en estudio y, como siempre, habrá que valorar la relación beneficios-costes-riesgos. El que la conclusión de la revisión nos parezca válida no quiere decir que tengamos que aplicarla de forma obligada.

Nos vamos…

Pues con todo lo dicho vamos a ir terminando por hoy. El título de esta entrada hace referencia al maltrato sufrido por un genio. Ya sabemos a qué genio nos referíamos: Alan Turing. Aclararemos lo del maltrato. A pesar de ser una de las mentes más brillantes del siglo XX, como lo atestiguan sus trabajos sobre estadística, computación, criptografía, cibernética, etc., y de haber salvado a su país del bloqueo de la Armada alemana durante la guerra, en 1952 fue juzgado por su homosexualidad y condenado por indecencia grave y perversión sexual. Como es fácil comprender, su carrera terminó tras el juicio y Alan Turing falleció en 1954, aparentemente tras comerse un trozo de una manzana envenenada con cianuro, lo que se etiquetó como un suicidio, aunque hay teorías que hablan más bien de asesinato. Dicen que de aquí viene la manzana mordida de una conocida marca de ordenadores, aunque hay otros que dicen que la manzana representa sin más un juego de palabras entre bite (mordida, en inglés) y byte (término informático).

No sé cuál de las dos teorías será cierta, pero yo prefiero acordarme de Turing cada vez que veo la manzanita. Un humilde tributo a un gran hombre.

Y ahora ya sí que acabamos. Hemos visto muy por encima las peculiaridades de los metanálisis de pruebas diagnósticas y cómo valorarlos. Podría decirse mucho más de toda la matemática asociada a sus aspectos específicos como la presentación de variables, el estudio del sesgo de publicación, del efecto umbral, etc. Pero esa es otra historia…

Gallifantes

Publicado el 26 marzo, 2019 | por Manuel Molina | Deja un Comentario

Lectura crítica de diseños híbridos

La mezcla irreal de diferentes partes de animales ha sido una manía de los llamados seres humanos desde tiempos inmemoriales. El caso más emblemático es el de Quimera (que da nombre a toda la familia de mezclas de animales diferentes). Este ser mitológico, hija de Tifón y de la víbora Echidna, tenía cabeza de león, cuerpo de cabra y cola de dragón, lo que le permitía respirar llamas y acojonar a todo el que pasaba por su camino. Claro que no le sirvió de nada cuando Belloforontes, montado sobre Pegaso (otro bicho raro, un caballo con alas) se empeñó en atravesarla con su lanza de plomo. Ya veis, en su fuerza estuvo su perdición: el fuego derritió la punta de la lanza dentro de esta rara criatura, lo que produjo su muerte.

Además de Quimera hay muchos más, fruto de la imaginación humana. Por nombrar algunos, podemos recordar a los unicornios (estos tuvieron peor suerte que Pegaso, en lugar de alas tenían cuernos, uno cada animal), los basiliscos (una especie de gallo serpiente de bastante mal carácter), los grifos (cuerpo de león y lo demás de águila) y todos aquellos en los que parte de la mezcla es humana, como las mantícoras (cabeza de hombre y cuerpo de león), los centauros, el Minotauro, Medusa (con sus serpientes en lugar de cabellos), las sirenas…

De todas formas, de entre todos los seres de este zoo imaginario, yo me quedo con el gallifante. Este era una mezcla de gallo y elefante que se utilizaba en la tele para premiar el ingenio de los niños que asistían a un popular concurso. Los milenials no tendréis ni idea de lo que estoy hablando, pero seguro que los que crecisteis en los 80 sí sabéis a qué me refiero.

Y todo esto me ha venido a la cabeza cuando estaba reflexionando sobre la cantidad de quimeras que también existen entre los posibles tipos de diseños de estudios científicos, especialmente entre los estudios observacionales. Vamos a conocer un poco tres de estos gallifantes de la epidemiología: los estudios de casos y controles anidados en una cohorte y los estudios de cohorte y caso, para terminar con otro espécimen particular, los estudios cruzados o de casos y autocontroles.

Los estudios observacionales clásicos

Dentro de estos estudios observacionales, todos conocemos los clásicos estudios de cohortes y los de casos y controles, los más utilizados.

En un estudio de cohortes, un grupo o cohorte es sometido a una exposición y se le sigue a lo largo del tiempo para comparar la frecuencia de aparición del efecto en comparación con una cohorte no expuesta, que actúa como control. Estos estudios suelen ser de direccionalidad anterógrada, por lo que permiten medir la incidencia de la enfermedad y calcular el riesgo relativo entre los dos grupos. Por su parte, en un estudio de casos y controles se parte de dos grupos de población, uno de los cuales presenta el efecto o enfermedad en estudio y se compara su exposición a un factor determinado respecto al grupo que no tiene la enfermedad y que actúa como control. Al ser de direccionalidad retrógrada y seleccionar directamente los casos de enfermedad, no es posible calcular directamente la densidad de incidencia y, por tanto, los riesgos relativos entre los dos grupos, por lo que la medida de asociación típica de los estudios de casos y controles es la odds ratio.

El estudio de cohortes es el más sólido de los dos desde el punto de vista metodológico. El problema es que suelen requerir largos periodos de seguimiento y grandes cohortes, sobre todo cuando la frecuencia de la enfermedad estudiada es baja, lo que lleva a la necesidad de manejar todas las covariables de toda esta gran cohorte, lo que aumenta los costes del estudio.

Diseños híbridos

Pues bien, para estos casos en los que ni los casos y controles ni las cohortes se ajustan bien a las necesidades del investigador, los epidemiólogos han inventado una serie de diseños que están a caballo entre los dos y pueden mitigar sus defectos. Estos diseños híbridos son los estudios de casos y controles anidados en una cohorte y los estudios de cohorte y caso a los que ya nos hemos referido.

En otro orden de cosas, en los estudios observacionales clásicos el punto clave está en la selección de los controles, que tienen que ser representativos del nivel de exposición al factor de riesgo evaluado en la población de la que proceden los casos. Una selección adecuada de los controles se hace todavía más difícil cuando el efecto es de producción brusca. Por ejemplo, si queremos saber si una comida copiosa aumenta el riesgo de infarto tendríamos una gran dificultad para recoger controles representativos de la población, ya que los factores de riesgo pueden actuar instantes antes del evento.

Para evitar estas dificultades se aplicó el principio de “yo me guiso, yo me lo como” y se diseñó el tercer tipo de quimera que hemos mencionado, en el que cada participante actúa, a la vez, como su propio control. Son los estudios cruzados, también llamados de casos y autocontroles.

Vamos a ver estos bichos raros, empezando con los estudios de casos y controles anidados.

Supongamos que hemos hecho un estudio en el que hemos utilizado una cohorte con muchos participantes. Pues bien, podemos reutilizarla en un estudio de casos y controles anidados. Tomamos la cohorte y la seguimos a lo largo del tiempo, seleccionando como casos aquellos sujetos que van desarrollando la enfermedad y asignándoles como controles sujetos de la misma cohorte que todavía no la han presentado (aunque pueden hacerlo más tarde). Así, casos y controles provienen de la misma cohorte. Es conveniente emparejarlos teniendo en cuenta variables confusoras y dependientes del tiempo como, por ejemplo, los años que llevan incluidos en la cohorte. De esta forma, un mismo sujeto puede actuar como control en varias ocasiones y terminar como caso en otra, lo que habrá que tener en cuenta a la hora del análisis estadístico de los estudios. Como esto parece un poco confuso, os muestro un esquema de este tipo de estudios en la primera figura adjunta.

Como vamos viendo cómo surgen los casos, vamos haciendo un muestreo por densidad de incidencia, lo que nos va a permitir estimar riesgos relativos. Esta es una diferencia importante con los estudios de casos y controles convencionales, en los que suele calcularse una odds ratio, que solo puede asimilarse al riesgo relativo cuando la frecuencia del efecto es muy baja.

Otra diferencia es que toda la información sobre la cohorte se recoge al inicio del estudio, por lo que hay menos riesgo de que se produzcan los sesgos de información clásicos de los estudios de casos y controles, de naturaleza habitualmente retrospectiva.

El otro tipo de diseño observacional híbrido que vamos a tratar es el de los estudios de caso y cohorte. Aquí también partimos de una gran cohorte inicial, de la que seleccionamos una subcohorte más manejable que se utilizará como grupo de comparación. Así, vamos viendo qué individuos de la cohorte inicial desarrollan la enfermedad y los comparamos con la subcohorte (con independencia de que pertenezcan o no a la subcohorte). Podéis ver el esquema de un estudio de caso y cohorte en la segunda figura que os muestro.

Al igual que en el ejemplo anterior, al elegir los casos a lo largo del tiempo podemos estimar la densidad de incidencia en casos y no casos, calculando a partir de ellas el riesgo relativo. Como podemos imaginar, este diseño es más económico que los estudios convencionales porque disminuye mucho el volumen de información de los sujetos sanos que hay que manejar, sin perder eficiencia a la hora de estudiar enfermedades raras. El problema que surge es que la subcohorte tiene una sobrerrepresentación de casos, por lo que el análisis de los resultados no puede hacerse como en las cohortes tradicionales, sino que tiene su metodología propia, bastante más complicada.

Para resumir un poco lo dicho hasta ahora, diremos que el estudio de casos y controles anidado se parece más al de casos y controles clásico, mientras que el de cohorte y caso se parece más al estudio de cohortes convencional. La diferencia fundamental entre los dos es que en el estudio anidado el muestreo de los controles se hace por densidad de incidencia y mediante emparejamiento, por lo que hay que esperar a que se hayan producido todos los casos para seleccionar toda la población de referencia. Esto no es así en el de caso cohorte, mucho más sencillo, en el que la población de referencia se selecciona al comienzo del estudio.

Cuando el momento de producción del evento es importante

Para acabar con estos estudios híbridos, diremos algunas cosas sobre los estudios cruzados. Estos se centran en el momento en que se produce el evento y tratan de ver si se ha producido algo inusual que lo haya favorecido, comparando las exposiciones de momentos inmediatos al evento con otros anteriores que sirven de control. Por tanto, comparamos momentos casos con momentos controles, actuando cada individuo como su propio control.

Para que el estudio tenga validez desde el punto de vista metodológico, los autores tienen que describir con claridad una serie de periodos de tiempo característicos. El primero es el periodo de inducción, que es el tiempo de retraso que se produce desde el inicio de la exposición hasta la producción del efecto.

El segundo es el periodo de efecto, que es el intervalo durante el cual la exposición puede desencadenar el efecto. Por último, el periodo de riesgo sería la suma de los dos periodos previos, desde que se produce la exposición hasta el inicio del evento.

El periodo de inducción suele ser muy breve la mayor parte de las veces, así que periodo de riesgo y efecto suelen ser equivalentes. En la figura adjunta os muestro la relación entre los tres periodos para que la entendáis mejor.

Es fundamental que estos tres periodos se especifiquen con claridad, ya que una mala estimación del periodo de efecto, tanto por exceso como por defecto, produce una dilución del efecto de la exposición y dificulta su detección.

Algunos de vosotros me diréis que estos estudios son similares a otros estudios con autocontroles, como el de casos y controles emparejados. La diferencia es que en este último se eligen uno o varios controles similares por cada caso, mientras que en el autocontrolado cada uno es su propio control. También se parecen un poco a los ensayos clínicos cruzados, en el que todos los participantes son sometidos a la intervención y al control, pero éstos son estudios experimentales en los que el investigador interviene en la producción de la exposición, mientras que los autocontrolados son estudios observacionales.

En lo que sí se parecen a los casos y controles emparejados es en el análisis estadístico, solo que aquí se analizan momentos caso y momentos control. De esta forma, lo habitual es utilizar modelos de regresión logística condicional, siendo la medida de asociación más habitual la odds ratio.

Lectura crítica de diseños híbridos

Como veis, los estudios híbridos son toda una nueva familia que amenaza con ir creciendo en número y complejidad. Hasta donde yo sé, no existen listas de verificación para realizar la lectura crítica de estos tipos de diseños, así que tendremos que aplicar de forma juiciosa los principios que aplicamos al analizar los estudios observacionales clásicos, teniendo en cuenta, además, las particularidades de cada tipo de estudio.

Para ello, seguiremos nuestros tres pilares: validez, importancia y aplicabilidad.

En el apartado de VALIDEZ valoraremos el rigor metodológico con el que está hecho el estudio. Comprobaremos que hay una definición clara de la población de estudio, de la exposición y del efecto. Si utilizamos una cohorte de referencia, esta deberá ser representativa de la población y deberá seguirse de forma completa. Por su parte, los casos serán representativos de la población de casos de la que proceden y los controles de una población con un nivel de exposición representativo de la población de casos.

La medición de la exposición y del efecto deberá hacerse de manera ciega, siendo independiente la medición del efecto del conocimiento del nivel de exposición. Además, analizaremos si se ha prestado atención a la relación temporal de los acontecimientos entre exposición y efecto y si hubo relación entre el nivel de exposición y el grado de efecto. Finalmente, el análisis estadístico deberá ser el correcto, teniendo en cuenta el control de los posibles factores de confusión. Esta parte puede ser complicada por la complejidad de los estudios estadísticos que suelen precisar este tipo de diseños.

Además, como ya hemos comentado, si estamos ante un estudio cruzado habrá que asegurarse de que ha habido una correcta definición de los tres periodos, en especial del periodo de efecto, cuya imprecisión puede afectar en mayor grado la conclusión del trabajo.

A continuación, pasaremos a valorar la IMPORTANCIA de los resultados, así como su precisión, medida por sus intervalos de confianza. Buscaremos las medidas de impacto calculadas por los autores del trabajo y, en caso de que no las proporcionen, trataremos de calcularlas nosotros mismos. Por último, compararemos los resultados con otros previamente existentes en la literatura para ver si son concordantes con el conocimiento existente y qué aportan de nuevo.

Acabaremos la lectura crítica valorando la APLICABILIDAD de los resultados. Pensaremos si los participantes se pueden asimilar a nuestros pacientes y si las conclusiones son aplicables a nuestro medio.

Nos vamos…

Y aquí vamos a ir terminando esta entrada. Hemos visto toda una nueva gama de estudios híbridos que combinan las ventajas de dos estudios observacionales para adaptarse mejor a situaciones en las que los estudios clásicos son más difíciles de aplicar. El inconveniente de estos estudios, como ya hemos comentado, es que el análisis es un poco más complicado que el de los estudios convencionales, ya que no es suficiente con el análisis crudo de los resultados, sino que hay que ajustar por la posibilidad de que un participante pueda actuar como control y caso (en los estudios anidados) y por la sobrerrepresentación de los casos en la subcohorte (en los de caso y cohorte).

Acabo ya comentando que todo lo que hemos dicho sobre los estudios cruzados se refiere a los denominados estudios cruzados unidireccionales, en los que existe una relación temporal muy puntual entre exposición y efecto. Para los casos en que la exposición es más mantenida pueden emplearse otros tipos de estudios cruzados llamados bidireccionales, en los que se seleccionan periodos de control anteriores y posteriores al efecto. Pero esa es otra historia…

Hay otros mundos, pero están en este

Publicado el 26 febrero, 2019 | por Manuel Molina | Deja un Comentario

Lectura crítica de estudios de investigación cualitativa

Y hay otras vidas, pero están en ti. Ya lo dijo Paul Éluard, ese surrealista del siglo pasado que tuvo la mala ocurrencia de visitar Cadaqués acompañado de su esposa, Elena Ivanovna Diakonova, más conocida como Gala. Ahí estuvo poco espabilado, pero la frase sí que dio para muchas más cosas.

Por ejemplo, se ha usado por muchos escritores amantes de lo desconocido, los mitos y el misterio. Yo personalmente conocí la frase cuando era un joven adolescente porque venía escrita como prefacio en una serie de libros de ciencia ficción. Incluso, en tiempos más recientes, se relaciona con ese otro mundo incorpóreo que es el ciberespacio, donde cada vez pasamos una parte mayor de nuestro tiempo.

Pero, para contribuir a que Éluard descanse tranquilo en su tumba de Père-Lachaise, os diré que a mí me gusta más su idea original sobre nuestros dos mundos entre los que podemos repartir nuestro limitado tiempo vital: el mundo real, donde hacemos la mayor parte de las cosas, y el mundo de la imaginación, nuestro espacio íntimo, donde soñamos nuestras realidades más imposibles.

Pensaréis que hoy estoy muy metafísico, pero esta es la reflexión que me ha venido a la cabeza al comenzar a escribir sobre el tema que vamos a tratar en esta entrada. Y es que en el ámbito de la Medicina también hay dos mundos.

Estamos muy acostumbrados a los números y los resultados objetivos de nuestra investigación cuantitativa. Como ejemplo tenemos nuestras reverenciadas revisiones sistemáticas, que recogen las evidencias científicas disponibles sobre una determinada tecnología sanitaria para valorar su eficacia, su seguridad, su impacto económico, etc. Si queremos saber si ver mucha tele es un factor de riesgo para padecer esa terrible enfermedad que es la fildulastrosis, lo mejor será hacer una revisión sistemática de ensayos clínicos (en el supuesto de que los haya). Así, podremos calcular multitud de parámetros que, con un número, nos darán una idea cabal del impacto de tan malsano hábito.

Pero si lo que queremos saber es cómo afecta la fildulastrosis a la persona que la padece, cuánta infelicidad le produce, cómo altera su vida familiar y social, la cosa se complica un poco con este tipo de metodología de la investigación. Y esto es importante porque cada vez se valoran más los aspectos sociales y culturales relacionados con el contexto real de las personas. Por suerte, hay otros mundos y están en este. Me estoy refiriendo al mundo de la investigación cualitativa. Hoy nos vamos a asomar (un poco) a este mundo.

La investigación cualitativa

La investigación cualitativa es un método que estudia la realidad en su contexto natural, tal y como se produce, con el objeto de interpretar los fenómenos de acuerdo con los significados que tienen para las personas implicadas. Y para esto se sirve de todo tipo de fuentes y materiales que nos ayuden a describir la rutina y el significado de las situaciones problemáticas para la vida de las personas: entrevistas, historias de vida, imágenes, sonidos… Aunque todo esto no tiene nada que ver con el mundo cuadriculado de la investigación cuantitativa, ambos métodos no son incompatibles e, incluso, pueden ser complementarios. Simplemente, los métodos cualitativos aportan información alternativa, distinta y complementaria a la de los métodos cuantitativos, que resulta útil para evaluar las perspectivas de las personas implicadas en el problema que estemos estudiando. La investigación cuantitativa es una forma de abordar el problema más deductiva, mientras que la cualitativa utiliza un abordaje inductivo.

Como es lógico, los métodos que emplea la investigación cualitativa son diferentes a los cuantitativos. Además, son numerosos, por lo que no vamos a describirlos en profundidad. Sí diremos que los métodos específicos más utilizados son la meta-síntesis, la fenomenología, la meta-etnografía, el meta-estudio, la meta-interpretación, la teoría fundamentada, el método biográfico y la revisión agregativa, entre otros.

El más utilizado de estos métodos es la meta-síntesis, que comienza con una pregunta de investigación y una búsqueda de la bibliografía, de forma similar a lo que conocemos de las revisiones sistemáticas. Sin embargo, hay un par de diferencias importantes. En investigación cuantitativa la pregunta de investigación ha de estar claramente definida, mientras que en la cualitativa esta pregunta es, por definición, flexible y se suele ir modificando y refinando según avanza la recogida de datos. El otro aspecto tiene que ver con la búsqueda bibliográfica, ya que en investigación cualitativa no están tan claramente definido las bases de datos que deben utilizarse ni existen los filtros y metodologías de que disponen los documentalistas para hacer las revisiones de la investigación cuantitativa.

Las técnicas para la recogida de datos son también diferentes a las que estamos más acostumbrados. Una de ellas es la observación, que permite al investigador obtener información del fenómeno tal como este se produce. El paradigma de la observación en investigación cualitativa es la observación participante, en la que el observador interacciona de forma social con los sujetos del medio en el que se produce el fenómeno de estudio. Por ejemplo, si queremos valorar las vivencias de los viajeros de un vuelo comercial, nada mejor que comprar un billete y hacernos pasar por un viajero más, recogiendo toda la información sobre comodidad, puntualidad, trato del personal de vuelo, calidad de los aperitivos, etc.

Otra técnica muy utilizada es la entrevista, en la que una persona solicita a otra persona o grupo de personas información sobre un tema concreto. Cuando se hace a grupos se denomina, como no podía ser de otra forma, entrevista grupal. En este caso el guion está bastante cerrado y el papel del entrevistador es bastante prominente, a diferencia de los grupos focales de discusión, en los que todo puede ser más abierto, a criterio del dinamizador del grupo. De todas formas, cuando interesa saber la opinión de mucha gente podemos recurrir a la técnica del cuestionario, que sondea la opinión de grupos numerosos de forma que cada componente del grupo invierte un tiempo mínimo en completarlo, al contrario de los grupos focales, en los que todos permanecen durante todo el tiempo de la entrevista.

La estructura de un trabajo de investigación cualitativa suele incluir cinco pasos fundamentales, que pueden influirse según los métodos y técnicas que se empleen:

Definición del problema. Como ya hemos comentado al hablar de la pregunta de investigación, la definición del problema tiene cierto grado de provisionalidad y puede cambiar a lo largo del trabajo, ya que uno de los objetivos puede ser el averiguar precisamente si la definición del problema está bien hecha.
Diseño del trabajo. También debe ser flexible. El problema de esta fase es que hay veces que el diseño propuesto no es el que vemos en el trabajo publicado. Hay todavía cierta indefinición de muchos aspectos metodológicos, sobre todo si lo comparamos con la metodología de la investigación cuantitativa.
Recogida de datos. Se emplean las técnicas que hemos comentado: entrevista, observación, lectura de textos, etc.
Análisis de los datos. Este aspecto difiere también del análisis cuantitativo. Aquí interesará desentrañar las estructuras de significación de los datos recogidos para determinar su alcance e implicaciones sociales. Aunque se van ideando métodos para expresar de forma numérica, lo habitual es que aquí no veamos muchas cifras y, desde luego, nada que ver con los métodos cuantitativos.
Informe y validación de la información. El objetivo es generar interpretaciones conceptuales de los hechos para sacar un sentido del significado que tienen para las personas implicadas. Una vez más, y al contrario de la investigación cuantitativa, el objetivo no es proyectar los resultados de posibles manipulaciones del entorno, sino interpretar hechos que ya están a mano.

Lectura crítica de estudios de investigación cualitativa

Llegados a este punto, ¿qué podemos decir sobre la lectura crítica de los trabajos de investigación cualitativa? Pues, para que os hagáis una idea, os diré que hay gran variedad en las opiniones sobre este tema, desde los que piensan que no tiene sentido evaluar la calidad de un estudio cualitativo hasta los que tratan de diseñar instrumentos de evaluación que proporcionen resultados numéricos similares a los de los estudios cuantitativos. Así que, amigos míos, no existe un consenso uniforme sobre si se deben evaluar, en primer lugar, ni sobre cómo, en segundo. Además, hay quien piensa que incluso los estudios que puedan considerarse de baja calidad deben ser tenidos en cuanta porque, a fin de cuentas, ¿quién es capaz de definir con seguridad lo que es un buen estudio de investigación cualitativa?

En general, cuando hagamos lectura crítica de un trabajo de investigación cualitativa tendremos que valorar una serie de aspectos como su integridad, complejidad, creatividad, validez de los datos, calidad de la narración descriptiva, la interpretación de los resultados y el alcance de sus conclusiones. Nosotros vamos a seguir aquí nuestra costumbre de recurrir al programa de lectura crítica CASPe, que nos proporciona una plantilla con 10 preguntas para realizar la lectura crítica de un estudio cualitativo. Estas preguntas se estructuran en tres pilares: rigor, credibilidad y relevancia.

Las preguntas de rigor hacen referencia a la idoneidad de los métodos empleados para contestar a la pregunta clínica. Como suele ser habitual, las primeras preguntas son de eliminación. Si la respuesta no es afirmativa habremos resuelto la polémica ya que, al menos con este estudio, no merecerá la pena seguir con nuestra valoración. ¿Se definieron de forma clara los objetivos de la investigación? Hay que valorar que la pregunta quede bien especificada, así como el objetivo de la investigación y la justificación de su necesidad. ¿Es congruente la metodología cualitativa? Tendremos que decidir si los métodos empleados por los autores son los adecuados para obtener los datos que nos permitan alcanzar el objetivo de la investigación. Por fin, ¿el método de investigación es adecuado para alcanzar los objetivos? El investigador tiene que decir de forma explícita el método que emplea (meta-síntesis, teoría fundamentada…). Además, el método especificado se tiene que corresponder con el utilizado, lo que puede no cumplirse en alguna ocasión.

Si hemos respondido afirmativamente a estas tres cuestiones, merecerá la pena continuar y pasaremos a las preguntas de detalle. ¿La estrategia de selección de participantes es congruente con la pregunta de investigación y el método utilizado? Debe justificarse porqué los participantes seleccionados eran los más idóneos, así como explicar quién los convocó, dónde, etc. ¿Las técnicas de recogida de datos utilizados son congruentes con la pregunta de investigación y el método utilizado? Tendrá que estar especificada y justificada la técnica de recogida de datos (por ejemplo, grupos de discusión) y el formato de registro. Si a lo largo del estudio se modifica la estrategia de recogida, habrá que justificar el motivo para ello.

¿Se ha reflexionado sobre la relación entre el investigador y el objeto de investigación (reflexividad)? Habrá que considerar si la implicación del investigador en el proceso ha podido sesgar los datos obtenidos y si esto se ha tenido en cuenta al diseñar la recogida de datos, la selección de los participantes y el ámbito del estudio. Para acabar con la valoración del rigor del trabajo, nos preguntaremos si se han tenido en cuenta los aspectos éticos. Habrá que tener en cuenta aspectos comunes con la investigación cuantitativa, tales como el consentimiento informado, aprobación por comité ético o la confidencialidad de los datos, además de aspectos específicos sobre el efecto del estudio sobre los participantes antes y después de su realización.

El siguiente bloque de dos preguntas tiene que ver sobre la credibilidad del trabajo, que se relaciona con la capacidad de los resultados de representar el fenómeno desde el punto de vista subjetivo de los participantes. La primera pregunta nos hace pensar si el análisis de los datos fue suficientemente riguroso. Debe describirse todo el proceso de análisis, las categorías que hayan podido surgir de los datos recogidos, si se ha valorado la subjetividad del investigador y cómo se han manejado los datos que pudiesen ser contradictorios entre sí. En el caso de que se presenten fragmentos de testimonios de participantes para elaborar los resultados, deberá especificarse claramente la referencia de su procedencia. La segunda pregunta tiene que ver sobre si la exposición de los resultados se hizo de forma clara. Deben exponerse de forma detallada y comprensible, mostrando su relación con la pregunta de investigación. Revisaremos en este punto las estrategias adoptadas para asegurar la credibilidad de los resultados, así como si los autores han reflexionado sobre las limitaciones del estudio.

Acabaremos la valoración crítica respondiendo a la única pregunta del bloque que tiene que ver con la relevancia del estudio, que no es más que su utilidad o aplicabilidad a nuestra práctica clínica. ¿Son aplicables los resultados de la investigación? Habrá que valorar como contribuyen los resultados a nuestra práctica, qué aportan al conocimiento existente y en qué contextos pueden ser aplicables.

Nos vamos…

Y aquí lo vamos a ir dejando por hoy. Ya habéis visto que nos hemos asomado a un mundo bastante diferente al que estamos más habituados, en el que hay que cambiar un poco la mentalidad de cómo plantear y estudiar los problemas. Antes de despedirme, advertiros, como en entradas anteriores, que no busquéis qué es la fildulastrosis, porque no vais a encontrar esta enfermedad por ninguna parte. En realidad, la fildulastrosis es un invento mío en homenaje a un personaje muy ilustre, tristemente fallecido: Forges. Antonio Fraguas (de la traducción al inglés de su apellido viene su nombre de guerra) fue, en mi humilde opinión, el mejor humorista gráfico desde que yo tengo conciencia. Durante muchos años el día comenzaba viendo el chiste de Forges, así que desde hace un tiempo hay mañanas que uno no sabe cómo empezar la jornada. Forges tenía muchos términos propios y a mí me gustó mucho su fildulastro de la percutoria, que tenía el defecto de escalporniarse de tanto en tanto. De ahí viene mi fildulastrosis, así que desde aquí le doy las gracias y le rindo este pequeño homenaje.

Y ahora sí que nos vamos. No hemos hablado mucho de los otros métodos de la investigación cualitativa como la teoría fundamentada, la meta-etnogarfía, etc. Los interesados tenéis bibliografía donde lo explican mejor de lo que podría hacerlo yo. Y, como no, al igual que en la investigación cuantitativa, también existen formas de combinar estudios de investigación cualitativa. Pero esa es otra historia…

Poderoso caballero

Publicado el 29 enero, 2019 | por Manuel Molina | Deja un Comentario

Lectura crítica de estudios de evaluación económica

Sí, ya lo dijo el ilustre Francisco de Quevedo y Villegas, poderoso caballero es Don Dinero. Una gran verdad porque, ¿quién, de puro enamorado, no se humilla ante el amarillo oro? Y más en una sociedad mercantilista y materialista como la nuestra.

Pero el problema no es que nosotros seamos materialistas y solo pensemos en el dinero. El problema es que nadie cree tener todo el dinero que necesita. Incluso a los más ricos les gustaría tener mucho más dinero. Y muchas veces es verdad, no tenemos dinero suficiente para cubrir todas nuestras necesidades como nos gustaría.

Y eso no solo ocurre a nivel de individuos, también a nivel de grupos sociales. Cualquier país tiene una cantidad de dinero limitada, motivo por el cual no puede gastarse todo lo que quisiera y tiene que elegir en qué gasta su dinero. Pensemos, por ejemplo, en nuestro entorno sanitario, en el que las nuevas tecnologías sanitarias (nuevos tratamientos, nuevas técnicas diagnósticas, etc.) son cada vez mejores… y más caras (a veces, hasta límites que se acercan a la obscenidad). Si estamos gastando en el límite de nuestras posibilidades y queremos aplicar un nuevo tratamiento, solo podemos hacer dos cosas: o aumentamos nuestra riqueza (¿de dónde sacamos el dinero?) o dejamos de gastarlo en otra cosa. Habría una tercera que se usa con frecuencia, aunque no sea lo más correcto: gastar lo que no tenemos y pasar la deuda al que venga después.

Sí amigos, eso de que la salud no tiene precio no se sostiene desde el punto de vista económico. Los recursos siempre son limitados y todos debemos ser conscientes del denominado coste de oportunidad de un producto: el precio que cuesta tendremos que dejar de gastarlo en otra cosa.

Por eso es tan importante valorar adecuadamente cualquier nueva tecnología sanitaria antes de decidir su implementación en el sistema sanitario, motivo por el que se han desarrollado los llamados estudios de evaluación económica, cuyo objetivo es identificar qué acciones deben priorizarse para maximizar los beneficios producidos en un entorno con recursos limitados. Estos estudios son una herramienta para ayudar en la toma de decisión, pero no para sustituirla, ya que deben tenerse en cuenta, además, otros elementos como la justicia, la equidad o el acceso libre a la elección.

Estudios de evaluación económica

Los estudios de evaluación económica (EE) engloban toda una serie de metodología y terminología específica que suele ser poco conocida por los que no nos dedicamos a la evaluación de tecnologías sanitarias. Vamos a repasar someramente sus características para, finalmente, dar unas recomendaciones sobre cómo hacer una lectura crítica de este tipo de estudios.

Lo primero sería explicar cuáles son las dos características que definen un EE. Estas son la medida de los costes y de los beneficios de las intervenciones (la primera) y la elección o comparación entre dos o más alternativas (la segunda). Estas dos características son imprescindibles para poder decir que nos encontramos ante un EE, que podemos definir como el análisis comparativo de diferentes intervenciones sanitarias en términos de costes y beneficios. En la metodología del desarrollo de un EE habrá que tener en cuenta una serie de aspectos que enumeramos a continuación y que podéis ver resumidos en la tabla adjunta.

– Objetivo de estudio. Será determinar si el uso de una nueva tecnología está justificado en función de los beneficios que produce. Para esto se formulará una pregunta de investigación con estructura similar a la de otros tipos de estudios epidemiológicos.

– Perspectivas del análisis. Es el punto de vista del destinatario del análisis, que recogerá los costes y beneficios que se deben tener en cuenta desde el posicionamiento que se elija. La perspectiva más global es la de la Sociedad, aunque puede adoptarse también la del financiador, la de organismos concretos (por ejemplo, hospitales) o la de los pacientes y familias. Lo más habitual es adoptar la perspectiva del financiador, a veces acompañada de la social. Si es así, ambas deben estar bien diferenciadas.

– Horizonte temporal del análisis. Es el periodo de tiempo durante el cual se evalúan los principales efectos económicos y sanitarios de la intervención.

– Elección del comparador. Es el punto crucial para poder determinar la eficacia incremental de la nueva tecnología y del que dependerá en buena medida la importancia del estudio para los decisores. En la práctica, el comparador más usado es la alternativa que se utiliza habitualmente, aunque en ocasiones puede compararse con la opción de no tratamiento, que deberá justificarse.

– Identificación de los costes. Los costes suelen considerarse teniendo en cuenta la cantidad total del recurso que se consume y el valor monetario de la unidad de recursos (ya sabéis, como decían las simpáticas azafatas de un antiguo concurso de la tele: 25 respuestas, a 5 pesetas cada una, 125 pesetas). Los costes se clasifican en directos e indirectos y en sanitarios y no sanitarios. Los directos son los relacionados claramente con la enfermedad (hospitalización, pruebas de laboratorio, lavandería y cocina, etc.), mientras que los indirectos hacen referencia a la productividad o su pérdida (funcionalidad laboral, mortalidad). Por otro lado, los costes sanitarios son los relacionados con la intervención (medicamentos, pruebas diagnósticas, etc.), mientras que los no sanitarios son los que tienen que pagar el paciente u otras entidades o los que se relacionan con la productividad.

¿Qué costes se incluirán en una EE? Pues dependerá de la intervención que se analice y, especialmente, de la perspectiva y el horizonte temporal del análisis.

– Cuantificación de los costes. Habrá que determinar la cantidad de recursos empleada, ya sea de forma individual o agregada, dependiendo de la información de que se disponga.

– Valoración de los costes. Se les asignará un precio unitario, especificando la fuente y el método empleado para asignar este precio. Cuando el estudio abarque periodos de tiempo largo habrá que tener en cuenta que las cosas no cuestan lo mismo a lo largo de los años. Si yo os digo que conocí una época en la que salías de noche con mil pesetas (el equivalente a unos 6 euros de ahora) y volvías a casa con dinero pensaréis que es otro de mis frecuentes desvaríos, pero os juro que es verdad.

Para tener esto en cuenta se utiliza un factor de ponderación o tasa de descuento, que suele estar entre el 3% y el 6%. Para el que tenga curiosidad, la fórmula general es VA = VF/(1+t)ⁿ, donde VA es valor actual, VF valor futuro, n es el número de años y t la tasa de descuento.

– Identificación, medida y valoración de los resultados. Los beneficios obtenidos pueden clasificarse en sanitarios y no sanitarios. Los sanitarios son consecuencias clínicas de la intervención, medidas generalmente desde un punto de vista de interés para el paciente (mejoría de cifras de presión arterial, muertes evitadas, etc.). Por su parte, los no sanitarios se dividen según produzcan mejoras en la productividad o en la calidad de vida.

Las primeras son fáciles de comprender: la productividad puede mejorar porque se vaya antes a trabajar (ingreso más corto, convalecencia más breve) o porque se trabaje mejor por mejorar las condiciones de salud el trabajador. Las segundas se relacionan con el concepto de calidad de vida relacionado con la salud, que refleja el impacto de la enfermedad y su tratamiento sobre el paciente.

La calidad de vida relacionada con la salud puede estimarse utilizando una serie de cuestionarios sobre las preferencias de los pacientes, resumiéndose en un único valor de puntuación que, unida a la cantidad de vida, nos proporcionará el año de vida ajustado por calidad (AVAC), también conocido como QALY, por sus siglas en inglés.

Para valora la calidad de vida nos referimos a las utilidades de los estados de salud, que se expresan con un valor numérico entre 0 y 1, en el que 0 representa la utilidad del estado de muerte y 1 la de la salud perfecta. En este sentido, un año de vida vivido en perfecta salud equivale a un AVAC (1 año de vida x 1 utilidad = 1 AVAC). Así, para determinar el valor en AVACs multiplicaremos el valor asociado a un estado de salud por los años vividos en ese estado. Por ejemplo, medio año en perfecta salud (0,5 años x 1 utilidad) equivaldría a un año con algunos achaques (1 año x 0,5 utilidad).

– Tipo de análisis económico. Podemos elegir entre cuatro tipos de análisis económico.

El primero, el análisis de minimización de costes. Este se usa cuando no hay diferencia de efecto entre las dos opciones comparadas, con lo que nos bastará con comparar los costes para elegir la más barata. El segundo, el análisis de coste-efectividad. Este se usa cuando las intervenciones son similares y determina la relación entre costes y consecuencias de las intervenciones en unidades habitualmente utilizadas en clínica (disminución de días de ingreso, por ejemplo). El tercero, el análisis de coste-utilidad. Es similar al de coste-efectividad, pero ajustando la efectividad por la calidad de vida, por lo que su medida de resultado es el AVAC. Por último, el cuarto método es el análisis de coste-beneficio. En este tipo todo se mide en unidades monetarias, que solemos comprender bastante bien, aunque puede ser un poco complicado explicar con ellas las ganancias en salud.

– Análisis de los resultados. El análisis dependerá del tipo de análisis económico empleado. En el caso de estudios de coste-efectividad es típico calcular dos medidas, el coste-efectividad medio (dividiendo el coste entre su beneficio) y el coste-efectividad incremental (coste extra por unidad de beneficio adicional que se consigue con una opción respecto a la otra). Este último parámetro es importante, ya que constituye un límite de eficiencia de la intervención, que elegiremos o no en función de cuánto estemos dispuestos a pagar por una unidad adicional de efectividad.

– Análisis de sensibilidad. Al igual que ocurre con otro tipo de diseños, los EE no se libran de la incertidumbre, generalmente debida a falta de fiabilidad de los datos disponibles. Por eso es conveniente evaluar el grado de incertidumbre mediante un análisis de sensibilidad para comprobar el grado de estabilidad de los resultados y cómo pueden modificarse si varían las variables principales. Un ejemplo puede ser la variación de la tasa de descuento elegida.

Existen cinco tipos de análisis de sensibilidad: univariante (las variables del estudio se modifican una a una), multivariante (se modifican dos o más), de extremos (nos ponemos en los escenarios más optimista y más pesimista para la intervención), umbral (identifica si existe un valor crítico por encima o por debajo del cual se invierte la elección hacia una u otra de las intervenciones comparadas) y probabilístico (asumiendo una determinada distribución de probabilidad para la incertidumbre de los parámetros utilizados).

– Conclusión. Este es el último apartado del desarrollo de un EE. Las conclusiones deben tener en cuenta dos aspectos: la validez interna (análisis correcto para los pacientes incluidos en el estudio) y la validez externa (posibilidad de extrapolar las conclusiones a otros grupos de pacientes similares).

Lectura crítica de estudios de evaluación económica

Como ya dijimos al principio de esta entrada, los EE tienen mucha jerga y aspectos metodológicos propios, lo que nos dificulta realizar una lectura crítica y una correcta comprensión de su contenido. Pero que nadie se desanime, podemos hacerlo recurriendo a nuestros tres pilares básicos habituales: validez, importancia y aplicabilidad.

Existen múltiples guías que explican de manera sistemática cómo valorar un EE. Quizás la primera fue la de los NICE británicos (National Institute for Clinical Excellence), pero posteriormente han surgidas otras como la del PBAC australiano (Pharmaceutical Benefits Advisory Comitee) y la de la CADTH canadiense (Canadian Agency for Drugs and Technologies in Health). En España no podíamos ser menos y la Unidad de Evaluación de Tecnologías Sanitarias Laín Entralgo elaboró también un instrumento para determinar la calidad de los EE. Esta guía establece recomendaciones para 17 dominios que se asemejan bastante a lo que hemos dicho hasta ahora, completándose con una lista de verificación para facilitar la valoración de la calidad de los EE.

De todas formas, como ya sabréis mis sufridores habituales, yo prefiero utilizar una lista de verificación más sencilla que está disponible en Internet de manera gratuita, que no es otra que la herramienta que proporciona el grupo CASPe y que os podéis descargar de su web. Vamos a seguir estas 11 preguntas CASPe, aunque sin perder de vista las recomendaciones de la guía española que hemos mencionado.

Como siempre, comenzaremos con la VALIDEZ, tratando de responder primero a dos preguntas de eliminación. Si la respuesta es negativa podremos dejar el estudio de lado y dedicarnos a otra tarea más productiva.

¿Está bien definida la pregunta u objetivo de la evaluación? La pregunta de investigación debe estar clara y definir la población diana del estudio. Habrá, además, tres aspectos fundamentales que deben quedar claros en el objetivo: las opciones comparadas, la perspectiva del análisis y el horizonte temporal. ¿Existe una descripción suficiente de todas las alternativas posibles y sus consecuencias? Las actuaciones a seguir deben estar perfectamente definidas en todas las opciones comparadas, incluyendo quién, donde y a quién se aplica cada acción. Lo habitual será comparar la nueva tecnología, como mínimo, con la de uso habitual, siempre justificando la elección de la tecnología de comparación, especialmente si esta es la de no tratamiento (en el caso de intervenciones farmacológicas).

Si hemos podido contestar afirmativamente estas dos preguntas, pasaremos a las cuatro de detalle. ¿Existen pruebas de la efectividad, de la intervención o del programa evaluado? Miraremos si hay ensayos, revisiones u otros estudios previos que prueben la eficacia de las intervenciones. Pensemos en un estudio de minimización de costes, en el cual queremos saber cuál de las dos opciones, ambas efectivas, es más barata. Lógicamente, tendremos que disponer de pruebas previas de esta efectividad. ¿Los efectos de la intervención (o intervenciones) se identifican, se miden y se valoran o consideran adecuadamente? Estos efectos pueden medirse con unidades simples, muchas veces derivadas de la práctica clínica, con unidades monetarias y con unidades de cálculo más elaborado, como los AVAC que hemos mencionado. ¿Los costes en que se incurre por la intervención (intervenciones) se identifican, se miden y se valoran adecuadamente? Los recursos empleados deben estar bien identificados y medidos en las unidades adecuadas. Debe especificarse, como ya comentamos, el método y la fuente empleados para asignar el valor a los recursos empleados. Por último, ¿se aplican tasas de descuento a los costes de la intervención/es? ¿y a los efectos? Como ya sabemos, esto es fundamental cuando el horizonte temporal del estudio es prolongado. En España se recomienda utilizar una tasa de descuento del 3% para los recursos básicos. Al hacer análisis de sensibilidad esta tasa se ensayará entre el 0% y el 5%, lo que permitirá la comparación con otros estudios.

Una vez valorada la validez interna de nuestro EE, pasaremos a contestar las preguntas referentes a la IMPORTANCIA de los resultados. La primera, ¿cuáles son los resultados de la evaluación? Repasaremos las unidades que se han utilizado (AVACs, costes monetarios, etc.) y si se han realizados los análisis de beneficios incrementales, en los casos apropiados. La segunda pregunta de este apartado se refiere a si se ha realizado un análisis adecuado de sensibilidad para saber cómo variarían los resultados con los cambios de los costes o de la efectividad. Además, es recomendable que los autores justifiquen las modificaciones realizadas respecto al caso base, la elección de las variables que se modifican y el método empleado en el análisis de sensibilidad. Nuestra guía española recomienda realizar, siempre que sea posible, un análisis de sensibilidad probabilístico, detallando todas las pruebas estadísticas realizadas y los intervalos de confianza de los resultados.

Para terminar, valoraremos la APLICABILIDAD o validez externa de nuestro estudio respondiendo a las tres últimas preguntas. ¿Sería el programa igualmente efectivo en tu medio? Habrá que considerar si la población diana, la perspectiva, la disponibilidad de tecnologías, etc., son aplicables a nuestro contexto clínico. Finalmente, deberemos reflexionar sobre si los costes serían trasladables a nuestro medio y si valdría la pena aplicarlos a nuestro medio. Esto puede depender de diferencias sociales, políticas, económicas, de población, etc. entre nuestro entorno y aquel en el que se ha realizado el estudio.

Nos vamos…

Y con esto vamos a ir terminando esta entrada de hoy. Aunque os eche humo la cabeza después de todo lo que hemos dicho, podéis creerme si os digo que no hemos hecho más que arañar la superficie de este proceloso mundo de los estudios de valuación económica. No hemos hablado nada, por ejemplo, de los métodos estadísticos que pueden emplearse en los estudios de sensibilidad, que pueden llegar a ser complicados, ni tampoco de los estudios realizados mediante modelización, que emplean técnicas solo al alcance de mentes privilegiadas, como las cadenas de Markov, los modelos estocásticos o los modelos de simulación de eventos discretos, por mencionar algunos. Tampoco hemos hablado nada del tipo de estudios en los que se basan las evaluaciones económicas. Estos pueden ser estudios experimentales u observacionales, pero tienen una serie de peculiaridades que los diferencian de los otros estudios de diseño similar, pero con función diferente. Es el caso de los ensayos clínicos que incorporan una evaluación económica (los que hablan inglés los llaman piggy-back clinical trials), que suelen tener un diseño más pragmático que los ensayos convencionales. Pero esa es otra historia…

Ciencia sin seso... locura doble

Representación de variables cualitativas

Representación de variables cualitativas

Diagrama de sectores

Diagrama de barras

Diagrama de Pareto

Nos vamos…

Medidas de dispersión de variables cualitativas

Medidas de dispersión de variables cualitativas

Nos vamos…

El significado del valor de p

El significado del valor de p

¿Qué no es p?

Nos vamos…

Trampas de la estadística

Trampas de la estadística

Elección de medidas de asociación y de efecto

Nos vamos…

Elección del método estadístico

Elección del método estadístico

El tipo de variable

Medidas apareadas o independientes

Paramétrico vs no paramétrico

Nos vamos…

Lectura crítica de metanálisis en red

El metanálisis en red

Lectura crítica del metanálisis en red

Nos vamos…

Lectura crítica del metanálisis de pruebas diagnósticas

Características del metanálisis de pruebas diagnósticas

Lectura crítica del metanálisis de pruebas diagnósticas

Nos vamos…

Lectura crítica de diseños híbridos

Los estudios observacionales clásicos

Diseños híbridos

Cuando el momento de producción del evento es importante

Lectura crítica de diseños híbridos

Nos vamos…

Lectura crítica de estudios de investigación cualitativa

La investigación cualitativa

Lectura crítica de estudios de investigación cualitativa

Nos vamos…

Lectura crítica de estudios de evaluación económica

Estudios de evaluación económica

Lectura crítica de estudios de evaluación económica

Nos vamos…