Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Guardado por elLectura crítica Categora
image_pdf

Los tres pilares de la sabiduría

Seguro que todos, con una frecuencia mayor de la que desearíamos, habremos encontrado alguna lagunilla en nuestro conocimiento que nos hacía dudar de los pasos a seguir en el diagnóstico o tratamiento de alguno de nuestros pacientes. Siguiendo la costumbre habitual, e intentando ahorrar esfuerzos, seguro que habremos preguntado a los colegas más cercanos, con la esperanza de que nos resolviesen el problema sin tener que acudir al temido PubMed (¡¿Quién ha dicho Google?!). Como último recurso hasta habremos consultado algún libro de medicina en un intento desesperado de obtener respuestas, pero ni los libros más gordos nos libran de tener que buscar en una base de datos de vez en cuando.

Y para hacerlo bien, convendrá que sigamos la sistemática de los cinco pasos que nos marca la Medicina Basada en la Evidencia: formular nuestra pregunta de forma estructurada (primer paso), hacer nuestra búsqueda bibliográfica (segundo paso) y leer críticamente los artículos que encontremos y que consideremos relevantes para el tema (tercer paso), para terminar con los dos últimos pasos que consistirán en combinar lo que hemos encontrado con nuestra experiencia y los valores del paciente (cuarto paso) y evaluar cómo influye en nuestro desempeño (quinto paso).

Así que nos arremangamos, elaboramos nuestra pregunta clínica estructurada y entramos en PubMed, Embase o TRIP, o la base de datos que nos interese para buscar respuestas. Tras no pocos sudores fríos conseguimos bajar el número inicial de resultados de 15234 y obtenemos el trabajo deseado que esperamos ilumine nuestra ignorancia. Pero, aunque la búsqueda haya sido impecable, ¿estamos seguros de que hemos encontrado lo que necesitamos? Comienza aquí la ardua tarea de realizar una lectura crítica del trabajo para valorar su capacidad real para solucionar nuestro problema.

Este paso, el tercero de los cinco que hemos visto y quizás el más temido de todos, es indispensable dentro del flujo metodológico de la Medicina Basada en la Evidencia. Y esto es así porque no es oro todo lo que reluce: incluso artículos publicados en revistas de prestigio por autores conocidos pueden tener una calidad deficiente, contener errores metodológicos, no tener nada que ver con nuestro problema o tener errores en la forma de analizar o presentar los resultados, muchas veces de manera sospechosamente interesada. Y no es porque lo diga yo, incluso hay quien piensa que el lugar más idóneo para guardar el 90% de lo que se publica es la papelera, sin importar si la revista es de alto impacto o si los autores son más famosos que Julio Iglesias (o su hijo Enrique, para el caso). Nuestra pobre excusa para justificar nuestro poco conocimiento sobre cómo elaborar y publicar trabajos científicos es que somos clínicos y no investigadores y, claro, lo mismo le ocurre muchas veces a los revisores de las revistas, que se tragan todos los gazapos que metemos los clínicos.

Así, pues, se entiende que la lectura crítica sea un paso fundamental para sacar el máximo provecho de la literatura científica, en especial en una era en la que abunda la información pero escasea el tiempo disponible para evaluarla.

Antes de entrar en la sistemática de la lectura, echaremos un vistazo por encima al documento y su resumen para tratar de ver si el artículo en cuestión puede cumplir nuestras expectativas. El primer paso que debemos realizar siempre es valorar si el trabajo contesta a nuestra pregunta. Esto suele ser así si hemos elaborado correctamente la pregunta clínica estructurada y hemos hecho una buena búsqueda de la evidencia disponible, pero de todos modos conviene siempre comprobar que el tipo de población, estudio, intervención, etc se ajustan a lo que buscamos.

Una vez que estamos convencidos de que es el trabajo que necesitamos, realizaremos la lectura crítica. Aunque los detalles dependerán del tipo de diseño del estudio, siempre nos apoyaremos en tres pilares básicos: validez, importancia y aplicabilidad.

La validez consiste en comprobar el rigor científico del trabajo para saber cuánto se aproxima a la verdad. Hay una serie de criterios comunes a todos los estudios, como son un diseño correcto, una población adecuada, la existencia de grupos de intervención y control homogéneos al comienzo del estudio, un seguimiento correcto, etc. A alguien se le ocurrió que esta validez debía llamarse mejor validez interna, así que podemos encontrarla también con este nombre.

El segundo pilar es la importancia, que mide la magnitud del efecto encontrado. Imaginemos el hipotensor de turno que con una p cargada de ceros es mejor que el de uso habitual, pero que disminuye la presión arterial una media de 5 mmHg. Por muchos ceros que tenga la p (que es estadísticamente significativa, eso no se lo quita nadie) no me negaréis que el impacto del efecto es más bien ridículo.

El último pilar es el de la aplicabilidad, que consiste en valorar si la situación, pacientes e intervención del estudio son lo suficientemente parecidos a nuestro ambiente como para generalizar los resultados. La aplicabilidad se conoce también como validez externa.

No todos los trabajos científicos pueden ser calificados de forma favorable en estos tres aspectos. Puede ocurrir que un trabajo muy válido (validez interna) que encuentre un efecto muy importante no sea aplicable en absoluto a nuestros pacientes. Además, no debemos olvidar que estamos hablando de una herramienta de trabajo. Aún con los trabajos más idóneos hay que tener siempre en cuenta los beneficios, daños y costes, así como las preferencias del paciente, aspecto este último del que nos olvidamos con más frecuencia de la que sería deseable.

Para facilitar la sistemática en el acto de la lectura crítica, existen diversas herramientas disponibles en Internet. Una de las más utilizadas son las plantillas o parrillas del grupo CASPe, más que recomendables para utilizar como guía al realizar una lectura crítica sin olvidar ningún aspecto importante. También en nuestro medio están disponibles las fichas de lectura crítica (FLC) de Osteba, que permiten almacenar los trabajos analizados. Y, para aquellos que les guste el inglés, pueden usar las herramientas escocesas de SIGN.

Lógicamente, las medidas específicas de impacto y asociación y los requisitos para cumplir los criterios de validez interna dependerán específicamente del tipo de diseño del estudio que tengamos entre manos. Pero esa es otra historia…

Un sesgo por ausencia

La unión hace la fuerza. Es un hecho. Los grandes objetivos se logran con más facilidad con la unión del esfuerzo de muchos. Y esto también se cumple en estadística.
En efecto, hay ocasiones en que los ensayos clínicos no tienen la potencia necesaria para demostrar lo que persiguen, ya sea por falta de muestra por motivos de tiempo, dinero o dificultad para reclutar participantes, o por otro tipo de limitaciones de tipo metodológico. En estos casos, es posible recurrir a una técnica que nos permite, en ocasiones, aunar el esfuerzo de múltiples ensayos para poder alcanzar la conclusión a la que no llegaríamos con ninguno de los ensayos por separado. Esta técnica es el metanálisis.
El metanálisis nos da una síntesis matemática cuantitativa exacta de los estudios incluidos en el análisis, generalmente los estudios recuperados durante la realización de una revisión sistemática. Lógicamente, si incluimos todos los estudios que se hayan realizado sobre un tema (o, al menos, todos los que sean relevantes para nuestra investigación), esa síntesis reflejará el conocimiento actual sobre el tema. Sin embargo, si la recogida está sesgada y nos faltan estudios, el resultado será reflejo solo de los artículos recogidos, no del total del conocimiento disponible.
Cuando planeamos la revisión debemos establecer una estructura de búsqueda global para tratar de encontrar todos los trabajos. Si no lo hacemos así podemos cometer un sesgo de recuperación, que tendrá el mismo efecto sobre el análisis cuantitativo que el sesgo de publicación. Pero, incluso con las búsquedas electrónicas modernas, es muy difícil encontrar toda la información relevante sobre un tema concreto.
En los casos de que falten estudios, la importancia del efecto dependerá de cómo se pierdan los estudios. Si se pierden al azar, todo quedará en un problema de menor información, con lo que la precisión de nuestros resultados será menor y los intervalos de confianza serán más amplios, pero puede que nuestras conclusiones sean correctas. Sin embargo, si los trabajos que no encontramos son sistemáticamente diferentes de los que encontramos, el resultado de nuestro análisis puede estar sesgado, ya que nuestras conclusiones solo podrán aplicarse a la muestra de trabajos, que será una muestra sesgada.
Existen una serie de factores que pueden contribuir a este sesgo de publicación. En primer lugar, es más probable que se publiquen los estudios con resultados significativos y, dentro de estos, es más probable que se publiquen cuando el efecto es mayor. Esto hace que los estudios con resultados negativos o con efectos de pequeña magnitud puedan no llegar a ser publicados, con lo que sacaremos una conclusión sesgada del análisis solo de los estudios grandes con resultado positivo.
En segundo lugar, como es lógico, los estudios publicados tienen más probabilidad de llegar a nuestras manos que los que no se publican en revistas científicas. Es el caso de tesis doctorales, comunicaciones a congresos, informes de agencias gubernamentales o, incluso, estudios pendientes de publicar realizados por investigadores del tema que estemos tratando. Por este motivo es tan importante hacer una búsqueda que incluya este tipo de trabajos, que se engloban dentro del término de literatura gris.
Por último, pueden enumerarse una serie de sesgos que influyen en la probabilidad de que un trabajo sea publicado o recuperado por el investigador que realiza la revisión sistemática tales como el sesgo de lenguaje (limitamos la búsqueda por idioma), el sesgo de disponibilidad (se incluyen solo los estudios que son fáciles de recuperar por parte del investigador), el sesgo de coste (se incluyen estudios que son gratis o baratos), el sesgo de familiaridad (solo se incluyen los de la disciplina del investigador), el sesgo de duplicación (los que tienen resultados significativos tienen más probabilidad de ser publicados más de una vez) y el sesgo de citación (los estudios con resultado significativo tienen más probabilidad de ser citados por otros autores).
Uno puede pensar que esto de perder trabajos durante la revisión no puede ser tan grave, ya que podría argumentarse que los estudios no publicados en revistas con revisión por pares suelen ser de peor calidad, por lo que no merecen ser incluidos en el metanálisis. Sin embargo, no está claro ni que las revistas científicas aseguren la calidad metodológica del trabajo ni que este sea el único método para hacerlo. Hay investigadores, como los de las agencias gubernamentales, que no están interesados en publicar en revistas científicas, sino en elaborar informes para quienes los encargan. Además, la revisión por pares no es garantía de calidad ya que, con demasiada frecuencia, ni el investigador que realiza el trabajo ni los encargados de revisarlo tienen una formación en metodología que asegure la calidad del producto final.
Existen herramientas para valorar el riesgo de sesgo de publicación. Quizás lo más sencillo puede ser representar un forest plot ordenado con los estudios más precisos en la parte superior y los menos en la inferior. Según nos desplazamos hacia abajo disminuye la precisión de los resultados, con lo que el efecto debe oscilar hacia ambos lados de la medida resumen de resultado. Si solo oscila hacia uno de los lados, podemos suponer de forma indirecta que no hemos detectado los trabajos que deben existir que oscilen hacia el lado contrario, por lo que seguramente tendremos un sesgo de publicación.
funnel_sesgoOtro procedimiento similar es la utilización del gráfico de embudo o funnel plot, tal como veis en la imagen adjunta. En este gráfico se representa en el eje X el tamaño del efecto y en el eje Y una medida de la varianza o el tamaño muestral, invertido. Así, en la parte superior estarán los estudios más grandes y precisos. Una vez más, según bajamos por el gráfico, la precisión de los estudios es menor y se van desplazando hacia los lados por error aleatorio. Cuando existe sesgo de publicación este desplazamiento es asimétrico. El problema del gráfico en embudo (funnel plot para los ingleses) es que su interpretación puede ser subjetiva, por lo que hay métodos numéricos para tratar de detectar el sesgo de publicación.
Y, llegados a este punto, ¿qué debemos hacer ante un sesgo de publicación? Quizás lo más adecuado será no preguntarse si existe el sesgo, sino cuánto afecta mis resultados (y dar por hecho que nos hemos dejado estudios sin incluir en el análisis).
La única forma de saber si el sesgo de publicación afecta a nuestras estimaciones sería comparar el efecto en los estudios recuperados y en los no recuperados pero, claro está, entonces no tendríamos que preocuparnos por el sesgo de publicación.
Para saber si el resultado observado es robusto o, por el contrario, es susceptible de estar sesgado por un sesgo de publicación, se han ideado dos métodos de la N de seguridad, los conocidos en inglés como los métodos fail-safe N.
El primero es el método de la N de seguridad de Rosenthal. Supongamos que tenemos un metanálisis con un efecto que es estadísticamente significativo, por ejemplo, un riesgo relativo mayor que uno con una p < 0,05 (o un intervalo de confianza del 95% que no incluye el valor nulo, el uno). Entonces nos hacemos una pregunta: ¿cuántos estudios con RR = 1 (valor nulo) tendremos que incluir hasta que la p no sea significativa? Si necesitamos pocos estudios (menos de 10) para hacer nulo el valor del efecto, podemos preocuparnos porque puede que el efecto sea nulo en realidad y nuestra significación sea producto de un sesgo de publicación. Por el contrario, si hacen falta muchos estudios, probablemente el efecto sea significativo de verdad. Este número de estudios es lo que significa la letra N del nombre del método. El problema de este método es que se centra en la significación estadística y no en la importancia de los resultados. Lo correcto sería buscar cuántos estudios hacen falta para que el resultado pierda importancia clínica, no significación estadística. Además, asume que los efectos de los estudios faltantes es nulo (uno en caso de riesgos relativos y odds ratios, cero en casos de diferencias de medias), cuando el efecto de los estudios faltantes puede ir en sentido contrario que el efecto que detectamos o en el mismo sentido pero de menor magnitud. Para evitar estos inconvenientes existe una variación de la fórmula anterior que valora la significación estadística y la importancia clínica. Con este método, que se denomina el de la N de seguridad de Orwin, se calcula cuántos estudios hacen falta para llevar el valor del efecto a un valor específico, que será generalmente el menor efecto que sea clínicamente importante. Este método permite también especificar el efecto medio de los estudios faltantes.
Y aquí dejamos los metanálisis y el sesgo de publicación por hoy. No hemos hablado nada de otros métodos matemáticos para detectar el sesgo de publicación como el de Begg y el de Egger. Hay incluso algún método gráfico aparte de los que hemos mencionado, como el de ajuste y relleno. Pero esa es otra historia…

Hazlo con sensibilidad

Hacer las cosas con sensibilidad suele ser garantía de buenos resultados. Pero seguro que no habíais pensado que esto también se aplica en la ciencia: cuando utilizamos el método científico, para garantizar la validez de nuestros resultados tenemos que analizarlos con sensibilidad. Bueno, en realidad tenemos que hacer un análisis de sensibilidad.

Resulta que en los estudios en biomedicina se asumen en ocasiones ciertos supuestos a la hora de realizarlos y estos supuestos, que suelen concernir a los métodos de análisis o a los modelos empleados, pueden influir en los resultados que obtenemos. Siempre que nos podamos preguntar si los resultados cambiarían si cambiásemos alguna de las definiciones del estudio, o el método de análisis, o el modo de tratar los datos faltantes o el cumplimiento o violaciones del protocolo de estudio, la validez de nuestros resultados puede verse comprometida. Para defendernos de esto podemos hacer un análisis de sensibilidad y si los resultados siguen siendo los mismos, podremos decir que nuestras conclusiones son robustas.

Un análisis de sensibilidad es, por tanto, el método que usamos para determinar la robustez de una valoración examinando en qué grado los resultados se influyen por cambios en la metodología o en los modelos utilizados en el estudio.

Así que, siempre que nuestros resultados se basen en suposiciones que puedan influir en su impacto, estaremos obligados a hacer un análisis de sensibilidad, cuya metodología dependerá de cada escenario clínico concreto.

Un ejemplo puede ser la presencia de datos extremos (outliers para nuestros amigos ingleses), que pueden sesgar la media de una muestra y alterar las estimaciones que se hacen a partir de ella. Lo más sencillo es ver si existen mediante un diagrama de cajas (boxplot) y, en caso afirmativo, hacer el análisis con y sin los valores extremos para ver cómo cambian los resultados.

Otras veces existe falta de cumplimiento de la intervención o violaciones del protocolo de estudio que pueden diluir el efecto de la intervención. Podremos, en estos casos, realizar un análisis por intención de tratar y un análisis por protocolo y estudiar si existen diferencias.

En otras ocasiones la definición de las variables de resultado puede ser arbitraria, por lo que puede ser útil estudiar las conclusiones que se obtienen aplicando otros puntos de corte.

Si el muestreo se realiza en bloques, como ocurre con los estudios multicéntricos, tendremos que comparar los resultados haciendo el análisis global y el análisis por bloques, con y sin ajustar por la pertenencia de cada participante a cada bloque, ya que la homogeneidad de los datos dentro de cada bloque puede ser diferente.

Un caso curioso es el de los riesgos competitivos. Por ejemplo, si valoramos como variables de resultado infarto, angina y muerte, esta última evita la posibilidad de que vuelvan a ocurrir las dos primeras, con lo cual el análisis de supervivencia puede verse interferido. Para evitar esto hay métodos de análisis utilizando las curvas de Kaplan-Meier censurando las ocurrencias de las variables competitivas. En cualquier caso, el análisis de sensibilidad debe hacer un ajuste por el factor de riesgo competitivo.

Parecido ocurre cuando existen diferencias en las características basales de las poblaciones de control y de intervención. En estos casos, el análisis simple debe completarse con un análisis que ajuste por estas diferencias, habitualmente utilizando un modelo de regresión multivariante.

Y, para acabar, dos problemas un poco espinosos respecto al análisis estadístico. El primero se refiere al tipo de distribución de frecuencias que empleamos para el análisis. Suele asumirse que las variables continuas siguen una distribución normal, las discretas una de Poisson y las binarias una binomial. Habitualmente se comprueba que los datos se ajustan a estas distribuciones pero, si queremos tener más seguridad acerca de su validez, podemos probar los resultados asumiendo distribuciones diferentes, como la t de Student para la normal o la binomial negativa para la de Poisson.

El segundo sería el problema con los datos que faltan (los missing). En este caso tenemos dos opciones: hacer el análisis solo con los datos completos o suponer (imputar dicen los que saben de esto) los valores que faltan para incluirlos todos en el análisis. Con ambas posibilidades corremos riesgo de sesgos, dependiendo en gran parte de qué condiciona que falten los datos y de si los datos que se pierden son al azar o no. Habitualmente se hace el análisis completo y el análisis con imputación de datos y se estudian las diferencias en los resultados obtenidos.

Y esto es, a grandes rasgos, lo que es un análisis de sensibilidad. Hemos pasado muy por encima el asunto de la imputación de datos, que da para escribir un libro de los gordos. Y es que, aunque lo ideal es tratar de prevenir que nos falten datos, cuando esto ocurre tenemos un montón de formas de inventárnoslos. Pero esa es otra historia…

La asimetría del embudo

Aquiles. ¡Qué tío!. Sin duda, uno de los más famosos de todo el follón que armaron en Troya por culpa de Helena la guapa. Ya sabéis su historia. El tío era la leche porque su madre, que era nada menos que la ninfa Tetis, lo bañó en ambrosía y lo sumergió en la laguna Estigia para que fuese invulnerable. Pero cometió un error que una ninfa no debiera haberse permitido: lo agarró por el talón derecho, que no se mojó en la laguna. Así que de ahí le viene a Aquiles su punto débil. Héctor no se dio cuenta a tiempo pero Paris, bastante más espabilado, le metió un flechazo en el talón y lo mandó otra vez a la laguna, pero no al agua, sino al otro lado. Y sin barquero.

Este cuento es el origen de la expresión “talón de Aquiles”, que suele referirse al punto más débil o vulnerable de alguien o algo que, por lo demás, suele ser conocido por su fortaleza.

Por ejemplo, algo tan robusto y formidable como el metanálisis tiene su talón de Aquiles: el sesgo de publicación. Y eso se debe a que en el mundo de la ciencia no hay justicia social.

Todos los trabajos científicos deberían tener las mismas oportunidades de ser publicados y alcanzar la fama, pero la realidad no es en absoluto así y los trabajos pueden verse discriminados por cuatro razones: significación estadística, popularidad del tema del que tratan, el tener alguien que los apadrine y el idioma en que están escritos.

La realidad es que los trabajos con resultados estadísticamente significativos tienen más probabilidades de ser publicados que los no significativos. Además, incluso si son aceptados, los significativos se publican antes y, con más frecuencia, en revistas en inglés, con mayor prestigio y difusión. Esto hace que, a la larga, se citen en otros trabajos con más frecuencia. Y lo mismo ocurre con los trabajos con resultados “positivos” frente a los que tienen resultados “negativos”.

De igual manera, los trabajos sobre temas de interés público tienen más probabilidad de ser publicados con independencia de la importancia de sus resultados. Además, el padrino también influye: una casa comercial que financie un estudio de un producto suyo y le salga mal, encima no va a publicarlo para que todos sepamos que su producto no es útil. Y, por último, los trabajos en inglés tienen más difusión que los escritos en otros idiomas.

Todo esto puede verse empeorado por el hecho de que estos mismos factores pueden influir en los criterios de inclusión y exclusión de los estudios primarios del metanálisis, de tal forma que obtenemos una muestra de trabajos que puede no ser representativa del conocimiento global sobre el tema del que trate la revisión sistemática y el metanálisis.

Si tenemos un sesgo de publicación la aplicabilidad de los resultados se verá seriamente comprometida. Por esto decimos que el sesgo de publicación es el verdadero talón de Aquiles del metanálisis.

Si delimitamos correctamente los criterios de inclusión y exclusión de los estudios y hacemos una búsqueda global y sin restricciones de la literatura habremos hecho todo lo posible para minimizar el riesgo de sesgo, pero nunca podremos estar seguros de haberlo evitado. Por eso se han ideado técnicas y herramientas para su detección.

funnel_nosesgoLa más usada tiene el simpático nombre de gráfico en embudo, aunque es más conocido por su nombre en inglés: funnel plot. En él se representa la magnitud del efecto medido (eje X) frente a una medida de precisión (eje Y), que suele ser el tamaño muestral, pero que puede también ser el inverso de la varianza o el error estándar. Representamos cada estudio primario con un punto y observamos la nube de puntos.

En la forma más habitual, con el tamaño de la muestra en el eje Y, la precisión de los resultados será mayor en los estudios de muestra más grande, con lo que los puntos estarán más juntos en la parte alta del eje y se irán dispersando al acercarnos al origen del eje Y. De esta forma, se observa una nube de puntos en forma de embudo, con la parte ancha hacia abajo. Este gráfico debe ser simétrico y, en caso de que no sea así, debemos sospechar siempre un sesgo de publicación. En el segundo ejemplo que os pongo podéis ver como “faltan” los estudios que están hacia el lado de falta de efecto: esto puede significar que solo se publican los estudios con resultado positivo.

funnel_sesgoEste método es muy sencillo de utilizar pero, en ocasiones, podemos tener dudas acerca de la asimetría de nuestro embudo, sobre todo si el número de estudios es pequeño. Además, el embudo puede ser asimétrico por defectos de la calidad de los estudios o porque estemos tratando con intervenciones cuyo efecto varíe según el tamaño de la muestra de cada estudio.  Para estos casos se han ideado otros métodos más objetivos como la prueba de correlación de rangos de Begg y la prueba de regresión lineal de Egger.

La prueba de Begg estudia la presencia de asociación entre las estimaciones de los efectos y sus varianzas. Si existe correlación entre ellos, mal asunto. El problema de esta prueba es que tiene poca potencia estadística, por lo que es poco de fiar cuando el número de estudios primarios es pequeño.

eggerLa prueba de Egger, más específica que la de Begg, consiste en representar gráficamente la recta de regresión entre la precisión de los estudios (variable independiente) y el efecto estandarizado (variable dependiente). Esta regresión hay que ponderarla por el inverso de la varianza, así que no os recomiendo que la hagáis por vuestra cuenta, salvo que seáis estadísticos consumados. Cuando no hay sesgo de publicación la recta de regresión se origina en el cero del eje Y. Cuánto más se aleje del cero, mayor evidencia de sesgo de publicación.

Como siempre, existen programas informáticos que hacen estas pruebas con rapidez sin que tengamos que quemarnos el cerebro con sus cálculos.

¿Y si después de hacer el trabajo vemos que hay sesgo de publicación?. ¿Podemos hacer algo para ajustarlo?. Como siempre, podemos.trim_and_fill

La forma más sencilla es utilizar un método gráfico que se llama de ajuste y relleno (trim and fill para los amantes del inglés). Consiste en lo siguiente: a) dibujamos el funnel plot; b) quitamos los estudios pequeños para que el embudo sea simétrico; c) se determina el nuevo centro del gráfico; d) se vuelven a poner los estudios quitados y añadimos su reflejo al otro lado de la línea central; e) reestimamos es efecto.

Y para terminar deciros que, como suele ser habitual, hay un segundo método mucho más exacto pero también bastante más complejo, que consiste en un modelo de regresión basado en la prueba de Egger. Pero esa es otra historia…

Que los árboles no te impidan ver el bosque

Han pasado muchos años desde que una ardilla podía cruzar la Península Ibérica sin bajarse de un árbol. Tal era la frondosidad de nuestra tierra. Aunque no creáis, hay quien piensa que esto no es más que un mito. De todas formas, me pregunto si la ardilla en cuestión se daría cuenta de que estaba dentro de un gran bosque. Supongo que sí, aunque nunca se sabe: a veces los árboles no nos dejan ver el bosque o, más bien, todo el bosque.

En cualquier caso, una ardilla moderna no tendría esos problemas. No cabe duda de que hoy en día no podría cruzar la Península sin bajarse de un árbol pero, en cambio, sí podría cruzar el país entero sin bajarse de la cabeza de un tonto. Como leí el otro día en un blog, hay más tontos que botellines y, además, están estratégicamente colocados para que te encuentres todos los días, al menos, un par.

El metanálisis  es también una especie de bosque, donde sus estudios primarios serían los árboles. ¡Qué poético!. Pero en este caso los árboles no solo no impiden ver nada, sino que nos ayudan a ver el bosque, todo el bosque de manera global. Claro que, para eso, los resultados del metanálisis deben presentarse de la forma apropiada.

Hasta no hace mucho podíamos seguir los consejos de la declaración QUOROM, pero esta declaración se actualizó para convertirse en PRISMA, que dedica siete de sus 27 ítems a darnos consejos de cómo presentar los resultados de un metanálisis.

Primero debemos informar sobre el proceso de selección de estudios: cuántos hemos encontrado y evaluado, cuántos hemos seleccionado y cuántos rechazado, explicando además las razones para hacerlo. Para esto resulta muy útil el diagrama de flujo que debe incluir la revisión sistemática de la que procede el metanálisis si se acoge a la declaración PRISMA.

En segundo lugar deben especificarse las características de los estudios primarios, detallando qué datos sacamos de cada uno de ellos y sus correspondientes citas bibliográficas para facilitar que cualquier lector del trabajo pueda comprobar los datos si no se fía de nosotros. En este sentido va también el tercer apartado, que se refiere a la evaluación del riesgo de sesgos de los estudios y su validez interna.

Cuarto, debemos presentar los resultados de cada estudio individual con un dato resumen de cada grupo de intervención analizado junto con los estimadores calculados y sus intervalos de confianza. Estos datos nos servirán para confeccionar la información que PRISMA nos pide en su quinto punto referente a la presentación de resultados y no es otro que la síntesis de todos los estudios del metanálisis, sus intervalos de confianza, resultados del estudio de homogeneidad, etc.

Esto suele hacerse de forma gráfica con una herramienta popularmente conocida por su nombre en inglés: el forest plot. Este gráfico es una especie de bosque donde los árboles serían los estudios primarios del metanálisis y donde se resumen todos los resultados relevantes de la síntesis cuantitativa.

La Cochrane Collaboration recomienda estructurar el forest plot en cinco columnas bien diferenciadas. En la columna 1 se listan los estudios primarios o los grupos o subgrupos de pacientes incluidos en el metanálisis. Habitualmente se representan por un identificador compuesto por el nombre del primer autor y la fecha de publicación.

La columna 2 nos muestra los resultados de las medidas de efecto de cada estudio tal como las refieren sus respectivos autores.

La columna 3 es el forest plot propiamente dicho, la parte gráfica del asunto. En él se representan las medidas de efecto de cada estudio a ambos lados de la línea de efecto nulo, que ya sabemos que es el cero para diferencias de medias y el uno para odds ratios, riesgos relativos, hazard ratios, etc. Cada estudio se representa por un cuadrado cuya área suele ser proporcional a la contribución de cada uno al resultado global. Además, el cuadrado está dentro de un segmento que representa los extremos de su intervalo de confianza.

forest_esp

Estos intervalos de confianza nos informan sobre la precisión de los estudios y nos dicen cuáles son estadísticamente significativos: aquellos cuyo intervalo no cruza la línea de efecto nulo. De todas formas, no olvidéis que, aunque crucen la línea de efecto nulo y no sean estadísticamente significativos, los límites del intervalo pueden darnos mucha información sobre la importancia clínica de los resultados de cada estudio. Por último, en el fondo del gráfico encontraremos un diamante que representa el resultado global del metanálisis. Su posición respecto a la línea de efecto nulo nos informará sobre la significación estadística del resultado global, mientras que su anchura nos dará una idea de su precisión (su intervalo de confianza). Además, en la parte superior de esta columna encontraremos el tipo de medida de efecto, el modelo de análisis de datos que se ha utilizados (efectos fijos o efectos aleatorios) y el valor de significación de los intervalos de confianza (habitualmente 95%).

Suele completar este gráfico una cuarta columna con la estimación del peso de cada estudio en tantos por cien y una quinta columna con las estimaciones del efecto ponderado de cada uno. Y en algún rinconcillo de todo este bosque estará la medida de heterogeneidad que se ha utilizado, junto con su significación estadística en los casos en que sea pertinente.

Para finalizar la exposición de los resultados, PRISMA recomienda un sexto apartado con la evaluación que se haya hecho de los riesgos de sesgo del estudio y un séptimo con todos los análisis adicionales que haya sido necesario realizar: estratificación, análisis de sensibilidad, metarregresión, etc.

Como veis, nada es fácil en esto de los metanálisis. Por eso, la Cochrane recomienda seguir una serie de pasos para interpretar correctamente los resultados. A saber:

1. Verificar qué variable se compara y cómo. Suele verse en la parte superior del forest plot.

2. Localizar la medida de efecto utilizada. Esto es lógico y necesario para saber interpretar los resultados. No es lo mismo una hazard ratio que una diferencia de medias o lo que sea que se haya usado.

3. Localizar el diamante, su posición y su amplitud. Conviene también fijarse en el valor numérico del estimador global y en su intervalo de confianza.

4. Comprobar que se ha estudiado la heterogeneidad. Esto puede verse a ojo mirando si los segmentos que representan los estudios primarios están o no muy dispersos y si se solapan o no. En cualquier caso, siempre habrá un estadístico que valore el grado de heterogeneidad. Si vemos que existe heterogeneidad, lo siguiente será buscar qué explicación dan los autores sobre su existencia.

5. Sacar nuestras conclusiones. Nos fijaremos en qué lado de la línea de efecto nulo están el efecto global y su intervalo de confianza. Ya sabéis que, aunque sea significativo, el límite inferior del intervalo conviene que esté lo más lejos posible de la línea, por aquello de la importancia clínica, que no siempre coincide con la significación estadística. Por último, volved a mirar el estudio de homogeneidad. Si hay mucha heterogeneidad los resultados no serán tan fiables.

Y aquí terminamos con los resultados y el forest plot. En realidad, el forest plot no es exclusivo de los metanálisis y puede usarse siempre que queramos comparar estudios para dilucidar su significación estadística o clínica, o en casos como los estudios de equivalencia, en los que a la línea de efecto nulo se le unen las de los umbrales de equivalencia. Pero aún tiene una utilidad más. Una variante del forest plot sirve también para valorar si existe sesgo de publicación en la revisión sistemática, aunque en estos casos se le suele llamar gráfico en embudo. Pero esa es otra historia…

Cuando muchos pocos hacen un mucho

Todos conoceréis el cuento chino del pobre grano de arroz solitario que se cae al suelo y no lo oye nadie. Claro que si en lugar de caerse un grano se cae un saco lleno de arroz eso ya será otra cosa. Hay muchos ejemplos de que la unión hace la fuerza. Una hormiga roja es inofensiva, salvo que te muerda en alguna zona blanda y noble, que suelen ser las más sensibles. Pero ¿qué me decís de una marabunta de millones de hormigas rojas?. Eso sí que acojona, porque si se juntan todas y vienen a por ti, poco podrás hacer para parar su empuje. Sí, la suma de muchos “pocos” hace un “mucho”.

Y esto también pasa en estadística. Con una muestra relativamente pequeña de votantes bien elegidos podemos estimar quién va a ganar unas elecciones en las que votan millones. Así que, ¿qué no podríamos hacer con un montón de esas muestras?. Seguro que la estimación sería más fiable y más generalizable.

Pues bien, esta es precisamente una de las finalidades del metanálisis, que utiliza diversas técnicas estadísticas para hacer una síntesis cuantitativa de los resultados de un conjunto de estudios que, aunque tratan de responder a la misma pregunta, no llegan exactamente al mismo resultado.

Sabemos que antes de combinar los resultados de los estudios primarios de un metanálisis debemos comprobar previamente que estos estudios son homogéneos entre sí, ya que, en caso contrario, tendría poco sentido hacerlo y los resultados que obtendríamos no serían válidos ni podríamos generalizarlos. Para esto existen una serie de métodos, tanto numéricos como gráficos, que nos pueden asegurar que tenemos la homogeneidad que necesitamos.

El siguiente paso es analizar los estimadores del tamaño de efecto de los estudios, ponderándolos según la contribución que cada estudio va a tener sobre el resultado global. La forma más habitual es ponderar la estimación del tamaño del efecto por la inversa de la varianza de los resultados, realizando posteriormente el análisis para obtener el efecto medio. Para esto hay varias posibilidades, aunque los dos métodos que se utilizan habitualmente son el modelo de efectos fijos y el modelo de efectos aleatorios. Ambos modelos difieren en la concepción que hacen de la población de partida de la que proceden los estudios primarios.

El modelo de efectos fijos considera que no existe heterogeneidad y que todos los estudios estiman el mismo tamaño de efecto de la población, por lo que se asume que la variabilidad que se observa entre los estudios individuales se debe únicamente al error que se produce al realizar el muestreo aleatorio en cada estudio. Este error se cuantifica estimando la varianza intraestudios, asumiendo que las diferencias en los tamaños de efecto estimados se deben solo a que se han utilizado muestras de sujetos diferentes.

Por otro lado, en el modelo de efectos aleatorios se parte de la base de que el tamaño de efecto sigue una distribución de frecuencias normal dentro de la población, por lo que cada estudio estima un tamaño de efecto diferente. Por lo tanto, además de la varianza intraestudios debida al error del muestreo aleatorio, el modelo incluye también la variabilidad entre estudios, que representaría la desviación de cada estudio respecto del tamaño de efecto medio. Estos dos términos de error son independientes entre sí, contribuyendo ambos a la varianza del estimador de los estudios.

En resumen, el modelo de efectos fijos incorpora solo un término de error por la variabilidad de cada estudio, mientras que el de efectos aleatorios añade, además, otro término de error debido a la variabilidad entre los estudios.

Veis que no he escrito ni una sola fórmula. En realidad no nos hace falta conocerlas y son bastante antipáticas, llenas de letras griegas que no hay quien las entienda. Pero no os preocupéis. Como siempre, los programas estadísticos como RevMan de la Cochrane Collaboration permiten hacer los cálculos de forma sencilla, quitando y sacando estudios del análisis y cambiando de modelo según nos apetezca.

El tipo de modelo a elegir tiene su importancia. Si en el análisis previo de homogeneidad vemos que los estudios son homogéneos podremos utilizar el modelo de efectos fijos. Pero si detectamos que existe heterogeneidad, dentro de los límites que nos permiten combinar los estudios, será preferible usar el modelo de efectos aleatorios.

Otra consideración a realizar es la de la aplicabilidad o validez externa de los resultados del metanálisis. Si hemos utilizado el modelo de efectos fijos será comprometido generalizar los resultados fuera de las poblaciones con características similares a las de los estudios incluidos. Esto no ocurre con los datos utilizados con el modelo de efectos aleatorios, cuya validez externa es mayor por provenir de poblaciones de diferentes estudios.

En cualquier caso, obtendremos una medida de efecto medio junto con su intervalo de confianza. Este intervalo de confianza será estadísticamente significativo cuando no cruce la línea de efecto nulo, que ya sabemos que es cero para diferencias de medias y uno para odds ratios y riesgos relativos. Además, la amplitud del intervalo nos informará sobre la precisión de la estimación del efecto medio en la población: cuánto más ancho, menos preciso, y viceversa.

Si pensáis un poco comprenderéis en seguida porqué el modelo de efectos aleatorios es más conservador que el de efectos fijos en el sentido de que los intervalos de confianza que se obtienen son menos precisos, ya que incorpora más variabilidad en su análisis. En algún caso puede ocurrir que el estimador sea significativo si usamos el de efectos fijos y no lo sea si usamos el de efectos aleatorios, pero esto no debe condicionarnos a la hora de escoger el modelo a utilizar. Siempre debemos basarnos en la medida previa de heterogeneidad aunque, si tenemos dudas, también podemos utilizar los dos y comparar los diferentes resultados.

Y ya solo nos quedaría presentar los resultados de forma correcta. Los datos de los metanálisis suelen representarse en un gráfico específico que se suele conocer por su nombre en inglés: el forest plot. Pero esa es otra historia…

En la variedad, no siempre está el gusto

La variedad es buena para muchas cosas. ¡Qué aburrido sería el mundo si todos fuésemos iguales! (sobre todo si fuésemos como alguno que se me está ocurriendo ahora). Nos gusta ir a sitios diferentes, comer cosas diferentes, conocer a personas distintas y divertirnos en ambientes diferentes. Pero hay cosas para las cuáles la variedad es como un grano en el culo.

Pensad que tenemos un conjunto de ensayos clínicos sobre un mismo tema y queremos hacer un metanálisis para obtener un resultado global. Aquí necesitaremos la menor variabilidad posible entre los estudios si queremos combinarlos. Porque, señoras y señores, aquí impera aquello de juntos, pero no revueltos.

Antes de pensar en combinar los resultados de los estudios de una revisión sistemática para hacer un metanálisis debemos hacer siempre un estudio previo de la heterogeneidad de los estudios primarios, que no es más que la variabilidad que existe entre los estimadores que se han obtenido en cada uno de esos estudios.

En primer lugar, investigaremos posibles causas de heterogeneidad, como pueden ser diferencias en los tratamientos, variabilidad de las poblaciones de los diferentes estudios y diferencias en los diseños de los ensayos.

Una vez que llegamos a la conclusión de que los estudios se parecen lo suficiente como para intentar combinarlos debemos tratar de medir esta heterogeneidad para tener un dato objetivo. Para esto, diversos cerebros privilegiados han creado una serie de estadísticos que contribuyen a nuestra cotidiana selva de siglas y de letras.

Hasta hace poco el más famoso era la Q de Cochran, que no tiene nada que ver ni con el amigo de James Bond ni con nuestro amigo Archie Cochrane. Su cálculo tiene en cuenta la suma de las desviaciones entre el resultado del estudio y el resultado global (elevados al cuadrado por aquello de que no se anulen positivas con negativas), ponderando cada estudio según su contribución al resultados global. Parece impresionante pero, en realidad, no es para tanto. En el fondo no es más que una prima aristócrata de la chi-cuadrado. En efecto, la Q sigue una distribución chi-cuadrado con k-1 grados de libertad (k es el número de estudios primarios). Calculamos su valor, buscamos en la distribución de frecuencias la probabilidad de que la diferencia no se deba al azar y tratamos de rechazar nuestra hipótesis nula (que asume que las diferencias entre estudios son debidas al azar). Pero la Q, a pesar de sus apariencias, tiene una serie de debilidades.

En primer lugar, es un parámetro conservador y debemos siempre tener en cuenta que no significativo no es sinónimo obligatoriamente de ausencia de heterogeneidad: simplemente, no podemos rechazar la hipótesis nula, así que la damos como buena, pero siempre con el riesgo de cometer un error de tipo II y columpiarnos. Por esto, algunos proponen utilizar un nivel de significación de p<0,1 en lugar de la p<0,05 habitual. Otro fallo que tiene la Q es que no cuantifica el grado de heterogeneidad y, por supuesto, tampoco da razones de las causas que la producen. Y, por si fuera poco, pierde potencia cuando el número de estudios es pequeño y no permite comparar diferentes metanálisis entre sí si el número de estudios es diferente.

Por estos motivos se ha desarrollado otro estadístico que es mucho más celebre en la actualidad: la I2. Este parámetro proporciona una estimación de la variabilidad total entre los estudios respecto a la variabilidad total lo que, dicho de otro modo, es la proporción de la variabilidad debida en realidad a heterogeneidad por diferencias reales entre los estimadores respecto a la variabilidad debida al azar. También parece impresionante, pero en realidad es otra prima aventajada del coeficiente de correlación intraclase.

Su valor va de 0 a 100%, considerándose habitualmente los límites de 25%, 50% y 75% para delimitar cuando existe una heterogeneidad baja, moderada y alta, respectivamente. La I2 no depende de las unidades de medida de los efectos ni del número de estudios, por lo que sí permite comparaciones con distintas medidas de efecto y entre diferentes metanálisis con diferente número de estudios.

Si encontráis algún estudio con Q pero sin I2, o viceversa, y queréis calcular el que no tenéis, podéis utilizar la siguiente formulilla, donde k es el número de estudios primarios:

I^{2}= \frac{Q-k+1}{Q}Existe un tercer parámetro menos conocido, pero no por ello menos digno de mención: la H2. Esta H2 mide el exceso del valor de Q respecto del valor que esperaríamos obtener si no existiese heterogeneidad. Por tanto, un valor de 1 significa que no hay heterogeneidad y su valor aumenta cuando aumenta la heterogeneidad entre los estudios. Pero su verdadero interés es que permite el cálculo de intervalos de confianza para la I2.

No os preocupéis por los cálculos de Q, I2 y H2. Para eso se usan programas específicos como RevMan o módulos que hacen la misma función dentro de los programas de estadística habituales.

Un punto de atención: recordad siempre que no poder demostrar heterogeneidad no siempre quiere decir que los estudios sean homogéneos. El problema es que la hipótesis nula asume que son homogéneos y las diferencias se deben al azar. Si podemos rechazarla podemos asegurar que hay heterogeneidad. Pero esto no funciona al revés: si no podemos rechazarla quiere decir simplemente eso, que no podemos rechazar que no haya heterogeneidad, pero siempre habrá una probabilidad de cometer un error de tipo II si asumimos directamente que los estudios son homogéneos.

Por este motivo se han ideado una serie de métodos gráficos para inspeccionar los estudios y comprobar que no hay datos de heterogeneidad aunque los parámetros numéricos digan otra cosa.

Galbraith

Quizás el más utilizado sea el gráfico de Galbraith, que puede emplearse tanto para ensayos como para metanálisis de estudios observacionales. Este gráfico representa la precisión de cada estudio frente a su efecto estandarizado junto con la línea de la ecuación de regresión ajustada y unas bandas de confianza. La posición de cada estudio respecto al eje de la precisión indica el peso de su contribución al resultado global, mientras que su localización fuera de las bandas de confianza indica su contribución a la heterogeneidad.
El gráfico de Galbraith puede resultar útil también para detectar fuentes de heterogeneidad, ya que se pueden etiquetar los estudios según diferentes variables y ver como contribuyen a la heterogeneidad global.

Otra herramienta que puede utilizarse para metanálisis de ensayos clínicos es el gráfico de L’Abbé, que representa las tasas de respuesta de los grupos de tratamiento y de control y su posición respecto a la labbediagonal. Por encima de la diagonal quedan los estudios con resultado favorable al tratamiento, mientras que por debajo están aquellos con resultado favorable al control. Los estudios suelen representarse con un área proporcional a su precisión y su dispersión indica heterogeneidad. Además, en ocasiones pueden dar información adicional. Por ejemplo, en el gráfico que os adjunto podéis ver que a riesgos bajos los estudios están en el área del control, mientras que en riesgos altos van hacia la zona favorable al tratamiento. Esta distribución, además de ser sugestiva de heterogeneidad, puede sugerirnos que la eficacia del tratamiento depende del nivel de riesgo o, dicho de otro modo, que tenemos alguna variable modificadora de efecto en nuestro estudio.

Una vez estudiada la homogeneidad de los estudios primarios podemos llegar a la desoladora conclusión de que la heterogeneidad es la reina de la situación. ¿Podemos hacer algo?. Claro, podemos. Siempre podemos no combinar los estudios o combinarlos a pesar de la heterogeneidad y obtener una medida resumen, pero habrá que calcular también medidas de variabilidad entre estudios y, aun así, no podremos estar seguros de nuestros resultados.

Otra posibilidad es hacer un análisis estratificado según la variable que cause la heterogeneidad, siempre que seamos capaces de identificarla. Para esto podemos hacer un análisis de sensibilidad, repitiendo los cálculos extrayendo uno a uno cada uno de los subgrupos y ver cómo influyen en el resultado global. El problema es que esto deja de lado el verdadero objetivo del metanálisis, que no es otro que el de obtener un valor global de estudios homogéneos.

Los más sesudos en estos temas pueden, por último, recurrir a la metarregresión. Esta técnica es similar a un modelo de regresión multivariante en el que las características de los estudios se usan como variables explicativas y la variable de efecto o alguna medida de la desviación de cada estudio respecto al global se usa como variable dependiente. Hay que hacer, además, una ponderación según la contribución de cada estudio al resultado global y procurar no meter muchos coeficientes al modelo de regresión si el número de estudios primarios no es muy grande. No os aconsejo que hagáis una metarregresión en vuestra casa si no es acompañados de personas mayores.

Y hemos terminado por hoy. Enhorabuena al que me haya aguantado hasta aquí. Pido perdón por el ladrillo que os he soltado, pero es que esto de la heterogeneidad tiene su aquél. Y es que no solo es importante para saber si debemos combinar o no los estudios, sino que también nos condiciona en gran medida el modelo de análisis de los datos que tenemos que utilizar. Pero esa es otra historia…

El todo es mayor que la suma de las partes

Esta es otra de esas frases famosas que están hasta en la sopa. Al parecer, el primero que tuvo esta ocurrente idea fue Aristóteles, que resumió con ella el principio general del holismo en sus escritos sobre metafísica. ¿Quién hubiese dicho que la frasecita encierra tanta sabiduría?. Y es que el holismo insiste en que el todo debe ser considerado de una forma global, ya que sus componentes pueden actuar de una forma sinérgica, permitiendo que el conjunto tenga más significado que el aportado por cada parte de forma individual.

No temáis, seguís en el blog del seso y no en uno de filosofía. Y tampoco he cambiado la temática del blog, pero es que este principio me viene al pelo para introducir esa fiera corrupia del método científico que es el metanálisis.

El metanálisis es un análisis estadístico que combina los resultados de varios estudios independientes pero que tratan de responder a una misma pregunta. Aunque el metanálisis puede considerarse como un trabajo de investigación por derecho propio, lo habitual es que sea una parte de una revisión de un tema que trata de obtener toda la información de calidad sobre el mismo. Estas revisiones sistemáticas realizan una síntesis cualitativa de los resultados obtenidos, que se completará con una síntesis cuantitativa o metanálisis siempre que nos interese y sea posible.

Esto tiene una serie de ventajas. La primera, al combinar todos los resultados de los estudios primarios puede obtenerse una visión global más completa (ya sabéis, el todo es mayor…). La segunda, al combinar aumentamos el tamaño de la muestra, lo que aumenta la potencia del estudio en comparación con la de los estudios individuales, mejorando la estimación del efecto que queremos medir. En tercer lugar, al extraerse las conclusiones de un número mayor de estudios aumenta su validez externa, ya que al haber implicadas poblaciones diferentes es más fácil generalizar los resultados. Por último, puede permitirnos resolver controversias entre las conclusiones de los diferentes estudios primarios de la revisión e, incluso, contestar a preguntas que no se habían planteado en esos estudios.

Una vez hecho el metanálisis habrá que hacer una síntesis final que integre los resultados de las síntesis cualitativa y cuantitativa con el objetivo de dar respuesta a la pregunta que motivó la revisión sistemática o, cuando esto no sea posible, plantear los estudios adicionales que deben realizarse para poder contestarla.

Pero para que un metanálisis merezca todos nuestros respetos debe cumplir una serie de requisitos. Al igual que la revisión sistemática con la que se asocia, el metanálisis debe tratar de contestar una pregunta concreta y debe basarse en toda la información relevante disponible, sin sesgo de recuperación ni sesgo de publicación. Además, deben valorarse los estudios primarios para asegurarnos de que tienen la calidad suficiente y que son lo suficientemente homogéneos como para poder combinarlos. Por supuesto, lo datos deben analizarse y presentarse de la forma apropiada. Y, por último, debe tener sentido el que queramos combinar los resultados. El que podamos hacerlo no siempre significa que tengamos que hacerlo si el contexto clínico no lo hace necesario.

¿Y cómo se combinan los estudios?, preguntaréis algunos. Pues esa es la madre del cordero del metanálisis (o una de las madres, que tiene varias), porque hay varias formas posibles de hacerlo.

A cualquiera se le ocurre que la forma más sencilla sería tipo Festival de Eurovisión. Contabilizamos los estudios primarios en los que el efecto positivo obtuvo significación estadística y, sin son mayoría, decimos que hay consenso a favor del resultado positivo. Este enfoque es bastante sencillo pero, no me lo negaréis, también bastante chapucerillo y se me ocurren una serie de inconvenientes a la hora de usarlo. Por un lado, implica que no significativo es sinónimo de falta de efecto, lo cual no siempre tiene porqué ser verdad. Además, no tiene en cuenta la dirección y fuerza del efecto en cada estudio, ni la precisión de los estimadores empleados ni la calidad o las peculiaridades de diseño de cada estudio primario. Así que este tipo de abordaje no parece muy recomendable, aunque nadie nos va a poner una multa si lo usamos de forma informal como primera aproximación antes de decidir cuál es la mejor forma de combinar los resultados de los estudios.

Otra posibilidad es utilizar una especia de prueba de los signos, similar a la de algunas técnicas de estadística no paramétrica. Se cuentan los positivos a favor del efecto, les restamos los negativos y obtenemos nuestra conclusión. La verdad es que este método también parece demasiado simple. No tiene en cuenta los estudios sin significación estadística ni la precisión de los estimadores. Así que tampoco utilizaremos mucho este tipo de abordaje, a no ser que solo sepamos la dirección del efecto de los estudios primarios. También podríamos utilizarlo cuando los estudios primarios son muy heterogéneos para obtener una aproximación, aunque yo no me fiaría mucho de los resultados.

El tercer método es combinar las Ps (nuestras amadas y sacrosantas Ps). Esto podría pasársenos por la cabeza si tuviésemos una revisión sistemática cuyos estudios primarios usaran diferentes medidas de resultado, aunque todos tratasen de contestar a una misma pregunta. Pensad, por ejemplo, un estudio sobre osteoporosis donde unos miden densitometría ultrasónica, otros DEXA en columna, otros en fémur, etc. El problema de este método es que no tiene en cuenta la intensidad del efecto, sino solo su dirección y su nivel de significación estadística, y todos conocemos las deficiencias de nuestras santas Ps. Para utilizarlo tendremos que utilizar programas informáticos que combinarán los datos siguiendo una distribución de chi-cuadrado o una normal, dándonos el estimador global con su intervalo de confianza.

El cuarto y último método, que yo me sé, es también el más elegante: hacer una combinación ponderada del efecto estimado en los diferentes estudios primarios. La forma más sencilla sería calcular la media aritmética, pero no hemos llegado hasta aquí para hacer otra chapuza. La media aritmética otorga el mismo énfasis a todos los estudios, con lo que si tenemos algún estudio muy impreciso con resultados extremos nos distorsionará enormemente los resultados. Recordad que la media sigue siempre las colas de la distribución, viéndose muy influenciada por los valores extremos (lo que no le ocurre a su prima, la mediana).

Por esto tenemos que ponderar los estimadores de los distintos estudios. Esto podemos hacerlo de dos formas, teniendo en cuenta el número de sujetos de cada estudio, o bien, realizando una ponderación en base a los inversos de las varianzas de cada uno (ya sabéis, los cuadrados de los errores estándar).  Esta última forma es la más compleja, así que es la que más gusta y más se utiliza. Claro que, como la matemática necesaria es cosa fina, se suelen utilizar programas especiales, ya sean módulos que funcionan dentro de los programas estadísticos como Stata, SPSS, SAS o R, o utilizando programas específicos como el famoso RevMan de la Colaboración Cochrane.

Y con esto hemos llegado al final. Es todo lo que puedo deciros sobre cómo combinar los estudios para hacer el metanálisis. De todas formas, quiero insistir en que el metanálisis debe hacerse siempre que sea posible y nos interese, pero asegurándonos previamente de que es correcto combinar los resultados. Si los estudios son muy heterogéneos no deberemos combinar nada, ya que los resultados que podríamos obtener tendrían una validez muy comprometida. Hay toda una serie de métodos y estadísticos para medir la homogeneidad o heterogeneidad de los estudios primarios, que influyen también en la forma en que analizaremos los datos combinados. Pero esa es otra historia…

Preparados… listos…

¡No!. No tan rápido. Antes de salir corriendo hay que estar seguros de que todo está bien preparado. Es difícil concebir que alguien se ponga a correr una maratón sin prepararse previamente, sin el acondicionamiento físico y nutricional suficiente. Bueno, en realidad lo que es difícil concebir es tener que estar corriendo sin parar 42 kilómetros, así que pongamos otro ejemplo más creíble.

Imaginemos que es la hora de acostarnos y estamos tan reventados como si hubiésemos corrido una maratón. Esta situación ya es más creíble para la mayoría. Cualquiera en su sano juicio sabe que es conveniente beber agua y pasar por el cuarto de baño antes de irse a la cama. El pago por no realizar estos preparativos será tener que levantarse en mitad de la noche, dando tumbos y tiritando de frío, para satisfacer necesidades que podíamos haber previsto y evitado (salvo imperativos prostáticos, claro está).

Ahora imaginad que queremos realizar un ensayo clínico. Planificamos el estudio, elegimos nuestra población, obtenemos la muestra, la aleatorizamos de forma impecable, le damos, a los del grupo de intervención, nuestro nuevo y flamante fármaco para combatir la fildulastrosis revirante crónica cuyas bondades queremos estudiar y ¡zas!, resulta que la mayor parte no lo tolera y se retira del ensayo antes de tiempo. Habremos tirado el dinero y malgastado el tiempo, y resulta difícil decidir cuál de los dos recursos resulta más preciado en los tiempos que corren.

¿Podríamos haber evitado esto?. La mala tolerancia al fármaco es un hecho que no podemos evitar pero, dado que sí que hay gente que lo tolera, podríamos haber recurrido a una pequeña argucia: darle el fármaco a todos antes de aleatorizar, sacar del estudio a los intolerantes y aleatorizar entonces solo a los que pueden aguantar el fármaco hasta el final del estudio. Esto es lo que se llama utilizar un periodo de preinclusión, aunque también se conoce como periodo de puesta a punto o periodo de cribado de cumplimiento. A los que fueron a colegio de pago y hablen inglés les sonará el término run-in phase (algunos le llaman open-label phase, pero yo creo que este término no es siempre equivalente a periodo de inclusión).

En general, durante el periodo de preinclusión los participantes del estudio son observados antes de ser asignados al grupo de estudio que les corresponda para comprobar que cumplen los criterios de selección para una determinada intervención, o que cumplen las pautas de tratamiento asignadas, toleran la intervención, etc. Al asegurarnos de que cumplen los requisitos previos a su inclusión en el estudio propiamente dicho nos aseguramos una observación basal más válida y consistente antes de la asignación aleatoria al grupo de estudio que le toque a cada uno.

En otras ocasiones podemos ver que la intervención es utilizada durante el periodo de preinclusión, utilizando su respuesta como parte de los criterios de inclusión, ya que se podrá seleccionar o excluir a los sujetos en base a su respuesta al tratamiento.

Veis cómo un periodo de preinclusión nos puede librar de los malos cumplidores, de los participantes más delicados de salud que nos pueden dar sustos durante el ensayo y de los que no toleran el fármaco en cuestión, con lo que nos podemos centrar mejor en determinar la eficacia del tratamiento, ya que la mayor parte de las pérdidas que tengamos durante el seguimiento serán por causas no relacionadas con la intervención.

De todas formas, debemos tomar una serie de precauciones. Debemos ser cuidadosos en la elección de la muestra inicial, cuyo tamaño puede ser mayor que el necesario sin preinclusión. Es muy importante la situación basal de los participantes con vistas a realizar estratificación o a realizar un análisis estadístico más eficiente. Además, la aleatorización debe realizarse lo más tarde posible y lo más cercana posible a la intervención, aunque no es raro ver estudios en los que se aleatorizan los participantes antes del periodo de preinclusión. Por último, para interpretar los resultados de un estudio con periodo de preinclusión hay que tener en cuenta las diferencias entre las características iniciales de los participantes que han sido excluidos durante el periodo y los que finalmente son asignados a los grupos de estudio.

Pero no todo en el monte es orégano. Aunque excluir los incumplidores o los que tienen más efectos adversos nos permite aumentar la potencia del estudio y estimar mejor el efecto de la intervención, la aplicabilidad o generalización de los resultados se verá comprometida al provenir los resultados de una muestra más restrictiva de participantes. Dicho de forma elegante, hemos de pagar el aumento de la validez interna con una merma de la validez externa del estudio.

Para terminar, decir alguna cosa sobre algo parecido al periodo de preinclusión. Imaginad que queremos probar un inhibidor de bomba de protones nuevo en pacientes con úlcera. Como todos tienen tratamiento, éste nos puede artefactar el efecto de la intervención. El truco aquí consiste en decirles a todos que suspendan la medicación un tiempo antes de la aleatorización y asignación a las ramas del estudio. Pero no confundáis esto con el periodo de preinclusión. Esto es lo que se conoce como periodo de lavado (wash-out phase para los anglófilos). Pero esa es otra historia…

Poco ruido y muchas nueces

Sí, ya sé que es al revés. Ese precisamente es el problema con tanta nueva tecnología de la información. Hoy día cualquiera puede escribir y hacer público lo que se le pase por la cabeza, llegando a un montón de gente, aunque lo que diga sea una chorrada (y no, yo no me doy por aludido, ¡a mí no me lee ni mi cuñado!). Lo malo es que gran parte de lo que se escribe no vale un bit, por no referirme a ningún tipo de excretas. Hay mucho ruido y pocas nueces, cuando a todos nos gustaría que ocurriese lo contrario.

Lo mismo pasa en medicina cuando necesitamos información para tomar alguna de nuestras decisiones clínicas. Vayamos a la fuente que vayamos, el volumen de información no solo nos desbordará, sino que encima la mayoría no nos servirá para nada. Además, incluso si encontramos un trabajo bien hecho es posible que no sea suficiente para contestar completamente a nuestra pregunta. Por eso nos gustan tanto las revisiones de la literatura que algunas almas generosas publican en las revistas médicas. Nos ahorran el trabajo de revisar un montón de artículos y nos resumen las conclusiones. Estupendo, ¿no?. Pues a veces sí y a veces no.

Las revisiones tienen también sus limitaciones, que debemos saber valorar. Quizás la más habitual, y generalmente más fácil de digerir, sea la que se conoce como revisión narrativa o de autor. Este tipo de revisiones las suele hacer, generalmente, un experto en el tema, que revisa la literatura y analiza lo que encuentra como lo cree conveniente (para eso es experto) y que hace un resumen de síntesis cualitativa con sus conclusiones de experto. Este tipo de revisiones son buenas para hacernos una idea general sobre un tema, pero no suelen servir para responder a preguntas concretas. Además, como no se especifica cómo se hace la búsqueda de la información, no podemos reproducirla ni comprobar que incluya todo lo importante que haya escrito sobre el tema.

El otro tipo de revisión es la llamada revisión sistemática (RS), que se centra en una pregunta concreta, sigue una metodología de búsqueda y selección de la información claramente especificada y realiza un análisis riguroso y crítico de los resultados encontrados. Incluso, si los estudios primarios son parecidos, la RS va más allá de la síntesis cualitativa, realizando también un análisis de síntesis cuantitativa, que tiene el bonito nombre de metanálisis. El prototipo de RS es la realizada por la Colaboración Cochrane, que ha elaborado una metodología específica. Pero, si queréis mi consejo, haced una lectura crítica incluso si la revisión la han hecho ellos.

Y para hacerlo, nada mejor que revisar sistemáticamente nuestros tres pilares: validez, importancia y aplicabilidad.

En cuanto a la VALIDEZ, trataremos de determinar si la revisión nos da unos resultados no sesgados y que responden correctamente a la pregunta planteada. Como siempre, buscaremos unos criterios primarios de validez. Si estos no se cumplen pensaremos si es ya la hora de pasear al perro: probablemente aprovechemos mejor el tiempo.

¿Se ha planteado claramente el tema de la revisión?. Toda RS debe tratar de responder a una pregunta concreta que sea relevante desde el punto de vista clínico, y que habitualmente se plantea siguiendo el esquema PICO de una pregunta clínica estructurada. Es preferible que solo haya una pregunta, ya que si hay varias se corre el riesgo de no responder adecuadamente a ninguna. Esta pregunta determinará, además, el tipo de estudios que debe incluir la revisión, por lo que debemos valorar si se ha incluido el tipo adecuado. Deben especificarse los criterios de inclusión y exclusión de los trabajos, además de considerarse sus aspectos referentes al ámbito de realización, grupos de estudio, resultados, etc. Diferencias entre los trabajos incluidos en cuanto a los (P)pacientes, la (I)intervención o los (O)resultados hacen que dos RS que se plantean la misma preguntan puedan llegar a conclusiones diferentes.

Si se cumple lo anterior, pasaremos a considerar los criterios secundarios. ¿Se han incluido los estudios importantes que tienen que ver con el tema?. Debemos comprobar que se ha realizado una búsqueda global y no sesgada de la literatura. Lo frecuente es hacer la búsqueda electrónica incluyendo las bases de datos más importantes (generalmente PubMed, Embase y la Cochrane Library), pero esta debe completarse con una estrategia de búsqueda en otros medios para buscar otros trabajos (referencias de los artículos encontrados, contacto con investigadores conocidos, industria farmacéutica, registros nacionales e internacionales, etc), incluyendo la denominada literatura gris (tesis, informes, etc), ya que puede haber trabajos importantes no publicados. Y que nadie se extrañe de esto último: está demostrado que los trabajos que obtienen conclusiones negativas tienen más riesgo de no publicarse, por lo que no aparecen en las RS. Debemos comprobar que los autores han descartado la posibilidad de este sesgo de publicación. En general, todo este proceso de selección se suele plasmar en un diagrama de flujo que muestra el devenir de todos los trabajos valorados en la RS.

Es muy importante que se haya hecho lo suficiente para valorar la calidad de los estudios, buscando la existencia de posibles sesgos. Además, esto debe hacerse de forma independiente por dos autores y, de forma ideal, sin conocer los autores del trabajo o la revista de publicación. Además, debe quedar registrado el grado de concordancia entre los dos revisores.

Por último, en el caso de que se hayan combinado los resultados de los estudios para sacar conclusiones comunes (con o sin metanálisis), debemos preguntarnos si es razonable combinar los resultados de los estudios primarios. Es fundamental para poder sacar conclusiones de datos combinados que los trabajos sean homogéneos y que las diferencias entre ellos sean debidas únicamente al azar. Aunque cierta variabilidad de los estudios aumenta la validez externa de las conclusiones, no podremos unificar los datos para el análisis si la variabilidad es grande. Hay numerosos métodos para valorar la homogeneidad en los que no vamos a entrar ahora, pero sí que vamos a insistir en la necesidad de que los autores de la revisión lo hayan estudiado de forma adecuada.

En cuanto a la IMPORTANCIA de los resultados debemos considerar cuál es el resultado global de la revisión y si la interpretación se ha hecho de forma juiciosa. La RS debe proporcionar una estimación global del efecto de la intervención en base a una media ponderada de los artículos de calidad incluidos. Lo más frecuente es que se expresen medidas relativas como el riesgo relativo o la odds ratio, aunque lo ideal es que se complementen con medidas absolutas como la reducción absoluta del riesgo o el número necesario a tratar (NNT). Además, hay que valorar la precisión de los resultados, para lo que recurriremos a nuestros queridos intervalos de confianza, que nos darán una idea de la precisión de la estimación de la verdadera magnitud del efecto en la población.

Los resultados de los metanálisis se suelen representar de una manera estandarizada. grafico-MASe dibuja un gráfico con una línea vertical de efecto nulo (en el uno para riesgo relativo y odds ratio y en el cero para diferencias de medias) y se representa cada estudio como una marca (su resultado) en medio de un segmento (su intervalo de confianza). Los estudios con resultados con significación estadística son los que no cruzan la línea vertical. Generalmente, los estudios más potentes tienen intervalos más estrechos y contribuyen más al resultado global, que se expresa como un diamante cuyos extremos laterales representan su intervalo de confianza. Solo los diamantes que no crucen la línea vertical tendrán significación estadística. Además, cuanto más estrechos, más precisión. Y, por último, cuánto más se alejen de la línea de efecto nulo, más clara será la diferencia entre los tratamientos o las exposiciones comparadas.

Concluiremos la lectura crítica de la RS valorando la APLICABILIDAD de los resultados en nuestro medio. Habrá que preguntarse si podemos aplicar los resultados a nuestros pacientes y cómo van a influir en la atención que les prestamos. Tendremos que fijarnos si los estudios primarios de la revisión describen a los participantes y si se parecen a nuestros pacientes. Además, aunque ya hemos dicho que es preferible que la RS se oriente a una pregunta concreta, habrá que ver si se han considerado todos los resultados relevantes para la toma de decisiones en el problema en estudio, ya que a veces será conveniente que se considere alguna otra variable secundaria adicional. Y, como siempre, habrá que valorar la relación beneficios-costes-riesgos. El que la conclusión de la RS nos parezca válida no quiere decir que tengamos que aplicarla de forma obligada.

Si queréis valorar correctamente una RS sin olvidar ningún aspecto importante os recomiendo que uséis una lista de verificación como la PRISMA o alguna de las herramientas disponibles en Internet, como las parrillas que se pueden descargar de la página de CASPe.

Como veis, no hemos hablado prácticamente nada del metanálisis, con todas sus técnicas estadísticas para valorar homogeneidad y sus modelos de efectos fijos y aleatorios. Y es que el metanálisis es una fiera a la que hay que echar de comer aparte. Pero esa es otra historia…