Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Entradas etiquetadasNND
image_pdf

Otra vuelta de tuerca

¿Habéis leído la novela de Henry James?. Os la recomiendo. Todo un clásico del terror, con sus institutrices malas y muertas que se aparecen como fantasmas y las turbias relaciones personales de fondo. Pero yo hoy no voy a contaros ninguna novela de terror, sino que voy a dar otra vuelta de tuerca al tema de las pruebas diagnósticas, aunque a algunos incluso les da más miedo que una película de John Carpenter.

Ya sabemos que ninguna prueba diagnóstica es perfecta. Todas se equivocan en alguna ocasión, ya sea diagnosticando a un sano como enfermo (falso positivo, FP) o dando resultado negativo en alguien que tiene la enfermedad (falso negativo, FN). Por eso se han tenido que ir inventando parámetros que caractericen la prueba y nos den una idea de su desempeño en nuestra práctica clínica diaria.

Los más conocidos son sensibilidad (S) y especificidad (E). Sabemos que son características intrínsecas a la prueba y que nos informan de la capacidad de la prueba diagnóstica para clasificar correctamente a los enfermos (la S) y a los sanos (la E). El problema es que nosotros necesitamos saber la probabilidad de estar o no enfermo condicionada a haber obtenido un resultado positivo o negativo de la prueba. Estas probabilidades condicionadas por el resultado de la prueba es la que nos dan los valores predictivos positivo y negativo.

Con estos pares de valores podemos caracterizar el valor de la prueba, pero a todos nos gustaría más definir el valor de una prueba diagnóstica con un solo número. Podríamos usar los cocientes de probabilidades, tanto el positivo como el negativo, que nos dan una idea de cuánto más probable es padecer o no la enfermedad, pero sobre estos cocientes pesa una antigua maldición: son poco conocidos y peor entendidos por los clínicos.

Por este motivo se han intentado desarrollar otros indicadores para caracterizar la validez de las pruebas diagnósticas.  Uno de ellos sería la denominada exactitud o precisión de la prueba, que refleja la probabilidad de que la prueba haya hecho un diagnóstico correcto.

Para calcularlo construimos un cociente situando en el numerador todos los valores verdaderos posibles (positivos y negativos) y en el denominador todos los resultados posibles, según la siguiente fórmula:

Indice\ de\ exactitud = \frac{VP + VN}{VP + VN + FP + FN}

Este indicador nos da una idea de en qué proporción de casos la prueba diagnóstica no se equivoca, pero puede ser difícil trasladar su valor a un concepto clínico tangible.

Otro parámetro para medir la efectividad global de la prueba es el índice de Youden, que suma los mal clasificados por la prueba diagnóstica según la siguiente fórmula:

Índice de Youden = S + E -1

Como medida para el desempeño global de la prueba no está mal, pero no se aconseja utilizar como parámetro aislado para valorar una prueba diagnóstica.

Algunos autores dan un paso más allá e intentan desarrollar parámetros que funcionen de forma análoga al número necesario a tratar (NNT) de los estudios de tratamiento. Así, se han desarrollado dos parámetros.

El primero es el número necesario para diagnosticar (NND). Si el NNT es el inverso de los que mejoran con tratamiento menos los que mejoran con el control, hagamos un NND y pongamos en el denominador los enfermos con resultado positivo menos los sanos con resultado positivo.

Los enfermos positivos nos los da la S de la prueba y los sanos positivos el complementario de la E. Luego:

NND = 1 / S – (1-E)

Si simplificamos el denominador quitando el paréntesis, nos queda:

NND = 1 / S + E -1

Que, efectivamente, es el inverso del índice de Youden que vimos antes:

NND = 1 / Í. Youden

El segundo parámetro sería el número de pacientes para diagnosticar mal a uno (NNMD). Para calcularlo, en el denominador pondríamos el complementario del índice de exactitud que vimos al principio:

NNMD = 1 / 1 – Í. exactitud

Si sustituimos el valor del índice por su valor y simplificamos la ecuación, nos quedaría:

NNMD= \frac{1}{1-\frac{VP + VN}{VP + VN + FP + FN}}= \frac{1}{1-E-[Pr(S-E)]}

donde Pr es la prevalencia de la enfermedad (la probabilidad preprueba). Este parámetro nos da el número de pruebas diagnósticas  que tenemos que hacer para equivocarnos una vez, por lo que la prueba será mejor cuanto mayor sea este índice. Al igual que el anterior, ambos conceptos son mucho más aprehensibles para el clínico, aunque los dos tienen el mismo inconveniente: equiparan los FP y FN con el mismo nivel de importancia, lo que no siempre se ajusta al contexto clínico en el que aplicamos la prueba diagnóstica.

Y estos son los parámetros que yo conozco, aunque seguro que hay más y, si no, los inventarán pronto. No me gustaría terminar sin hacer una aclaración sobre el índice de Youden, al que apenas hemos dedicado tiempo. Este índice no solo es importante para valorar el desempeño global de una prueba diagnóstica. Es también una herramienta útil para decidir cuál es el mejor punto de corte en una curva ROC, ya que su valor máximo indica el punto de la curva que está más lejos de la diagonal. Pero esa es otra historia…

¿A qué lo atribuye?

Parece que fue ayer. Yo empezaba mis andanzas en los hospitales y tenía mis primeros contactos con El Paciente. Y de enfermedades no es que supiese demasiado, por cierto, pero sabía sin necesidad de pensar en ello cuáles eran las tres preguntas con las que se iniciaba toda buena historia clínica: ¿qué le pasa?, ¿desde cuándo?, ¿a qué lo atribuye?.

Y es que la necesidad de saber el porqué de las cosas es inherente a la naturaleza humana y, por supuesto, tiene gran importancia en medicina. Todo el mundo está loco por establecer relaciones de causa-efecto, por lo que a veces estas relaciones se hacen sin mucho rigor y llega uno a creerse que el culpable de su catarro de verano es el fulano del supermercado, que ha puesto el aire acondicionado muy fuerte. Por eso es de capital importancia que los estudios sobre etiología se realicen y se valoren con rigor. Por eso, y porque cuando hablamos de causa nos referimos también a las que hacen daño, incluidas nuestras propias acciones (lo que la gente culta llama iatrogenia).

Esta es la razón de que los estudios de etiología/daño tengan diseños similares. El ideal sería el ensayo clínico, y podemos usarlo, por ejemplo, para saber si un tratamiento es la causa de la curación del paciente. Pero cuando estudiamos factores de riesgo o exposiciones nocivas, el principio ético de no maleficencia nos impide aleatorizar las exposiciones, por lo que hemos de recurrir a estudios observacionales como los estudios de cohortes o los estudios de casos y controles, aunque siempre el nivel de evidencia será menor que el de los estudios experimentales.

Para valorar críticamente un trabajo sobre etiología/daño recurriremos a nuestros consabidos pilares: validez, importancia y aplicabilidad.

En primer lugar nos centraremos en la VALIDEZ o rigor científico del trabajo, que debe responder a la pregunta sobre si el factor o la intervención que estudiamos fue la causa del efecto adverso o la enfermedad producida.

Como siempre, buscaremos unos criterios primarios de validez. Si estos no se cumplen, dejaremos el trabajo y nos dedicaremos a otra cosa más provechosa. Lo primero será determinar si se han comparado grupos similares en cuanto a otros factores determinantes del efecto diferentes de la exposición estudiada. La aleatorización de los ensayos clínicos facilita que los grupos sean homogéneos, pero no podemos contar con ella en el caso de estudios observacionales. La homogeneidad de las dos cohortes es fundamental y sin ella el estudio no tendrá validez. Uno siempre se puede defender diciendo que ha estratificado por las diferencias entre los dos grupos o que ha hecho un análisis multivariante para controlar el efecto de las variables confusoras conocidas pero, ¿qué hacemos con las desconocidas?. Lo mismo se aplica a los estudios de casos y controles, mucho más sensibles a sesgos y confusiones.

¿Se han valorado la exposición y el efecto de la misma forma en todos los grupos?. En los ensayos y cohortes debemos comprobar que el efecto ha tenido la misma probabilidad de aparecer y ser detectado en los dos grupos. Por otra parte, en los estudios de casos y controles es muy importante valorar adecuadamente la exposición previa, por lo que debemos investigar si ha habido posibles sesgos de recogida de datos, como el sesgo de memoria (los enfermos suelen acordarse mejor de sus síntomas pasados que los sanos). Por último, debemos considerar si el seguimiento ha sido lo suficientemente largo y completo. Las pérdidas durante el estudio, frecuentes en los diseños observacionales, pueden sesgar los resultados.

Si hemos contestado sí a las tres preguntas anteriores, pasamos a considerar los criterios secundarios de validez. Los resultados del estudio deben ser evaluados para determinar si la asociación entre exposición y efecto satisface las pruebas de causalidad razonable. HillUna herramienta que podemos usar son los criterios de Hill, que fue un señor que sugirió utilizar una serie de aspectos para tratar de distinguir el carácter causal o no causal de una asociación. Estos criterios son los siguientes: a) fuerza de la asociación, que es la razón de riesgos de exposición y efecto, que consideraremos en breve; b) consistencia, que es la reproducibilidad en poblaciones o situaciones diferentes; c) especificidad, que quiere decir que una causa produce un único efecto y no múltiples; d) temporalidad: es fundamental que la causa preceda al efecto; e) gradiente biológico: a más intensidad de causa, mayor intensidad de efecto; f) plausibilidad: tiene que tener su lógica según nuestros conocimientos biológicos; g) coherencia, que no entre en conflicto con lo que se sabe de la enfermedad o el efecto; h) evidencia experimental, difícil de obtener muchas veces en humanos por problemas éticos; y, finalmente, i) analogía con otras situaciones conocidas. Aunque estos criterios son ya viejecillos y alguno puede ser irrelevante (evidencia experimental o analogía) o erróneo (especificidad), pueden servirnos de orientación. El criterio de temporalidad sería necesario y se complementaría muy bien con los de gradiente biológico, plausibilidad y coherencia.

Otro aspecto importante es estudiar si, al margen de la intervención en estudio, se han tratado los dos grupos de forma similar. En este tipo de estudios en los que el doble ciego brilla por su ausencia es en los que hay más riesgo de sesgo debido a cointervenciones, sobre todo si éstas son tratamientos con un efecto mucho mayor que la exposición en estudio.

En cuanto a la IMPORTANCIA de los resultados, debemos considerar la magnitud y la precisión de la asociación entre exposición y efecto.

¿Cuál fue la fuerza de la asociación?. La medida de asociación más habitual es el riesgo relativo (RR), que podremos usar en los ensayos y en los estudios de cohortes. Sin embargo, en los estudios de casos y controles desconocemos la incidencia del efecto (ya se ha producido al realizarse el estudio), por lo que utilizamos la odds ratio (OR). Como ya sabemos, la interpretación de los dos parámetros es similar. Incluso los dos son similares cuando la frecuencia del efecto es muy baja. Sin embargo, cuánto mayor es la magnitud o la frecuencia del efecto, más diferentes son RR y OR, con la peculiaridad de que la OR tiende a sobreestimar la fuerza de la asociación cuando es mayor que 1 y a subestimarla cuando es menor que 1. De todas formas, estos caprichos de la OR excepcionalmente nos modificarán la interpretación cualitativa de los resultados.

Hay que tener en cuenta que en un ensayo es válido cualquier valor de OR o RR cuyo intervalo de confianza no incluya el uno, pero en estudios observacionales hay que ser un poco más exigente. Así, en un estudio de cohortes daremos valor a RR mayores o iguales a tres y, en uno de casos y controles, a OR de cuatro o más.

Otro parámetro muy útil (en ensayos y cohortes) es la diferencia de riesgos o diferencia de incidencias, que es una forma rebuscada de llamar a nuestra conocida reducción absoluta de riesgo (RAR), que nos permite calcular el NNT (o NND, número necesario a dañar), parámetro que mejor nos cuantifica la importancia clínica de la asociación. También, similar a la reducción relativa del riesgo (RRR), contamos con la fracción atribuible en los expuestos, que es el porcentaje de riesgo observado en los expuestos que se debe a la exposición.

Y, ¿cuál es la precisión de los resultados?. Como ya sabemos, tiraremos de nuestros queridos intervalos de confianza, que nos servirán para determinar la precisión de la estimación del parámetro en la población. Siempre es conveniente disponer de todos estos parámetros, por lo que deben figurar en el estudio o debe ser posible su cálculo a partir de los datos proporcionados por los autores.

Para finalizar, nos fijaremos en la APLICABILIDAD de los resultados en nuestra práctica.

¿Son aplicables los resultados a nuestros pacientes?. Buscaremos si hay diferencias que desaconsejen extrapolar los resultados del trabajo a nuestro medio. Además, consideraremos cuál es la magnitud del riesgo en nuestros pacientes en función de los resultados del estudio y de las características del paciente en quien queramos aplicarlos. Y, finalmente, teniendo todos estos datos en mente, habrá que pensar en nuestras condiciones de trabajo, las alternativas que tenemos y las preferencias del paciente para decidir si hay que evitar la exposición que se ha estudiado. Por ejemplo, si la magnitud del riesgo es alta y disponemos de una alternativa eficaz la decisión está clara, pero las cosas no siempre serán tan sencillas.

Como siempre, os aconsejo que utilicéis los recursos CASPe para valorar los trabajos, tanto las parrillas adecuadas a cada diseño para hacer la lectura crítica, como las calculadoras para valorar la importancia de los resultados.

Antes de acabar, dejadme aclarar una cosa. Aunque hemos comentado que en las cohortes y ensayos usamos RR y en los casos y controles usamos OR, podemos usar OR en cualquier tipo de estudio (no así RR, para los cuáles hay que conocer la incidencia del efecto). El problema es que son algo menos precisas, por lo que se prefieren los RR y los NNT, cuando es posible utilizarlos. De todas formas, la OR es cada vez más popular por otro motivo, y es su utilización en los modelos de regresión logística, que nos permiten obtener estimadores ajustados por las diferentes variables de confusión. Pero esa es otra historia…