Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Entradas etiquetadasPRISMA

Poco ruido y muchas nueces

Sí, ya sé que el refrán dice justo lo contrario. Pero es que ese es precisamente el problema que tenemos con tanta nueva tecnología de la información. Hoy día cualquiera puede escribir y hacer público lo que se le pase por la cabeza, llegando a un montón de gente, aunque lo que diga sea una chorrada (y no, yo no me doy por aludido, ¡a mí no me lee ni mi cuñado!). Lo malo es que gran parte de lo que se escribe no vale un bit, por no referirnos a ningún tipo de excretas. Hay mucho ruido y pocas nueces, cuando a todos nos gustaría que ocurriese lo contrario.

Lo mismo pasa en medicina cuando necesitamos información para tomar alguna de nuestras decisiones clínicas. Vayamos a la fuente que vayamos, el volumen de información no solo nos desbordará, sino que encima la mayoría no nos servirá para nada. Además, incluso si encontramos un trabajo bien hecho es posible que no sea suficiente para contestar completamente a nuestra pregunta. Por eso nos gustan tanto las revisiones de la literatura que algunas almas generosas publican en las revistas médicas. Nos ahorran el trabajo de revisar un montón de artículos y nos resumen las conclusiones. Estupendo, ¿no? Pues a veces sí y a veces no. Como cuando leemos cualquier tipo de trabajo de literatura médica, siempre debemos hacer una lectura crítica de lo que tenemos delante y no confiar únicamente en el buen saber hacer de sus autores.

Las revisiones, de las que ya sabemos que hay dos tipos, tienen también sus limitaciones, que debemos saber valorar. La forma más sencilla de revisión, nuestra preferida cuando somos más jóvenes e ignorantes, es la que se conoce como revisión narrativa o de autor. Este tipo de revisiones las suele hacer, generalmente, un experto en el tema, que revisa la literatura y analiza lo que encuentra como lo cree conveniente (para eso es experto) y que hace un resumen de síntesis cualitativa con sus conclusiones de experto. Este tipo de revisiones son buenas para hacernos una idea general sobre un tema, pero no suelen servir para responder a preguntas concretas. Además, como no se especifica cómo se hace la búsqueda de la información, no podemos reproducirla ni comprobar que incluya todo lo importante que haya escrito sobre el tema. En estas podremos hacer poca lectura crítica, ya que no hay una sistematización precisa de cómo hay que elaborar estos resúmenes, así que tendremos que confiar en aspectos poco confiables como el prestigio del autor o el impacto de la revista donde se publica.

Según van aumentando nuestros conocimientos sobre los aspectos generales de los temas, nuestro interés va derivando hacia otro tipo de revisiones que nos proporcionan información más específica sobre aspectos que escapan a nuestro cada vez más amplio saber. Este otro tipo de revisión es la llamada revisión sistemática (RS), que se centra en una pregunta concreta, sigue una metodología de búsqueda y selección de la información claramente especificada y realiza un análisis riguroso y crítico de los resultados encontrados. Incluso, si los estudios primarios son lo suficientemente homogéneos, la RS va más allá de la síntesis cualitativa, realizando también un análisis de síntesis cuantitativa, que tiene el bonito nombre de metanálisis. Con estas revisiones sí que podemos hacer una lectura crítica siguiendo una metodología ordenada y preestablecida, de forma similar a como hacemos con otros tipos de estudios.

El prototipo de RS es la realizada por la Colaboración Cochrane, que ha elaborado una metodología específica que podéis consultar en los manuales disponibles en su página web. Pero, si queréis mi consejo, no os fieis ni de la Cochrane y haced una lectura crítica cuidadosa incluso si la revisión la han hecho ellos, no dándola por buena simplemente por su origen. Como dice uno de mis maestros en estas lides (seguro que sonríe si lee estas líneas), hay vida más allá de la Cochrane. Y, además, mucha y buena, añadiría yo.

Aunque las RS y los metanálisis imponen un poco al principio, no os preocupéis, se pueden valorar críticamente de una forma sencilla teniendo en cuenta los principales aspectos de su metodología. Y para hacerlo, nada mejor que revisar sistemáticamente nuestros tres pilares: validez, importancia y aplicabilidad.

En cuanto a la VALIDEZ, trataremos de determinar si la revisión nos da unos resultados no sesgados y que respondan correctamente a la pregunta planteada. Como siempre, buscaremos unos criterios primarios de validez. Si estos no se cumplen pensaremos si es ya la hora de pasear al perro: probablemente aprovechemos mejor el tiempo.

¿Se ha planteado claramente el tema de la revisión? Toda RS debe tratar de responder a una pregunta concreta que sea relevante desde el punto de vista clínico, y que habitualmente se plantea siguiendo el esquema PICO de una pregunta clínica estructurada. Es preferible que la revisión trate de responder solo a una pregunta, ya que si pretende responder a varias se corre el riesgo de que no responda adecuadamente a ninguna de ellas. Esta pregunta determinará, además, el tipo de estudios que debe incluir la revisión, por lo que debemos valorar si se ha incluido el tipo adecuado. Aunque lo más habitual es encontrar RS  de ensayos clínicos, pueden hacerse de otros tipos de estudios observacionales, de pruebas diagnósticas, etc. Los autores de la revisión deben especificar los criterios de inclusión y exclusión de los trabajos, además de considerar sus aspectos referentes al ámbito de realización, grupos de estudio, resultados, etc. Diferencias entre los trabajos incluidos en cuanto a los (P)pacientes, la (I)intervención o los (O)resultados hacen que dos RS que se plantean la misma preguntan puedan llegar a conclusiones diferentes.

Si la respuesta a las dos preguntas anteriores es afirmativa, pasaremos a considerar los criterios secundarios y dejaremos el paseo del perro para más tarde. ¿Se han incluido los estudios importantes que tienen que ver con el tema? Debemos comprobar que se ha realizado una búsqueda global y no sesgada de la literatura. Lo frecuente es hacer la búsqueda electrónica incluyendo las bases de datos más importantes (generalmente PubMed, Embase y la Cochrane Library), pero esta debe completarse con una estrategia de búsqueda en otros medios para buscar otros trabajos (referencias de los artículos encontrados, contacto con investigadores conocidos, industria farmacéutica, registros nacionales e internacionales, etc), incluyendo la denominada literatura gris (tesis, informes, etc), ya que puede haber trabajos importantes no publicados. Y que nadie se extrañe de esto último: está demostrado que los trabajos que obtienen conclusiones negativas tienen más riesgo de no publicarse, por lo que no aparecen en las RS. Debemos comprobar que los autores han descartado la posibilidad de este sesgo de publicación. En general, todo este proceso de selección se suele plasmar en un diagrama de flujo que muestra el devenir de todos los trabajos valorados en la RS.

Es muy importante que se haya hecho lo suficiente para valorar la calidad de los estudios, buscando la existencia de posibles sesgos. Para esto los autores pueden servirse de una herramienta diseñada ad hoc o, más habitualmente, recurrir a una que ya esté reconocida y validada, como la herramienta de detección de sesgo de la Colaboración Cochrane, en el caso de revisiones de ensayos clínicos. Esta herramienta valora cinco criterios de los estudios primarios para determinar su riesgo de sesgo: secuencia de aleatorización adecuada (previene el sesgo de selección), enmascaramiento adecuado (previene los sesgos de realización y detección, ambos sesgos de información), ocultamiento de la asignación (previene el sesgo de selección), las pérdidas durante el seguimiento (previene el sesgo de desgaste) y la información de datos selectiva (previene el sesgo de información). Los estudios se clasifican como de alto, bajo o indeterminado riesgo de sesgo según los aspectos más importantes de la metodología del diseño (ensayos clínicos en este caso).

Además, esto debe hacerse de forma independiente por dos autores y, de forma ideal, sin conocer los autores del trabajo o la revista de publicación de los estudios primarios de la revisión. Por último, debe quedar registrado el grado de concordancia entre los dos revisores y qué hacían si no se ponían de acuerdo (lo más habitual suele ser recurrir a un tercero, que seguramente será el jefe de los dos).

Para finalizar el apartado de validez interna o metodológica, en el caso de que se hayan combinado los resultados de los estudios para sacar conclusiones comunes con un metanálisis, debemos preguntarnos si era razonable combinar los resultados de los estudios primarios. Es fundamental, para poder sacar conclusiones de datos combinados, que los trabajos sean homogéneos y que las diferencias entre ellos sean debidas únicamente al azar. Aunque cierta variabilidad de los estudios aumenta la validez externa de las conclusiones, no podremos unificar los datos para el análisis si la variabilidad es grande. Hay numerosos métodos para valorar la homogeneidad en los que no vamos a entrar ahora, pero sí que vamos a insistir en la necesidad de que los autores de la revisión lo hayan estudiado de forma adecuada.

Resumiendo, los aspectos fundamentales que tendremos que analizar para valorar la validez de una RS serán: 1) que los objetivos de la revisión estén bien definidos en términos de población, intervención y medición del resultado; 2) que la búsqueda bibliográfica haya sido exhaustiva; 3) que hayan sido adecuados los criterios de inclusión y exclusión de estudios primarios en la revisión; y 4) que se haya comprobado también la validez interna o metodológica de los estudios incluidos. Además, si la RS incluye un metanálisis, revisaremos los aspectos metodológicos que ya vimos en una entrada anterior: conveniencia de combinar los estudios para realizar una síntesis cuantitativa, evaluación adecuada de la heterogeneidad de los estudios primarios y utilización de un modelo matemático adecuado para combinar los resultados de los estudios primarios (ya sabéis, aquello de los modelos de efecto fijo y de efectos aleatorios).

En cuanto a la IMPORTANCIA de los resultados debemos considerar cuál es el resultado global de la revisión y si la interpretación se ha hecho de forma juiciosa. La RS debe proporcionar una estimación global del efecto de la intervención en base a una media ponderada de los artículos de calidad incluidos. Lo más frecuente es que se expresen medidas relativas como el riesgo relativo o la odds ratio, aunque lo ideal es que se complementen con medidas absolutas como la reducción absoluta del riesgo o el número necesario a tratar (NNT). Además, hay que valorar la precisión de los resultados, para lo que recurriremos a nuestros queridos intervalos de confianza, que nos darán una idea de la precisión de la estimación de la verdadera magnitud del efecto en la población. Como veis, la forma de valorar la importancia de los resultados es prácticamente la misma que la de valorar la importancia de los resultados de los estudios primarios. En este caso ponemos ejemplos de ensayos clínicos, que es el tipo de estudio que veremos más frecuentemente, pero recordad que puede haber otros tipos de estudios que pueden expresar mejor la importancia de sus resultados con otros parámetros. Eso sí, los intervalos de confianza siempre nos ayudarán a valorar la precisión de los resultados.

Los resultados de los metanálisis se suelen representar de una manera estandarizada, recurriendo habitualmente al llamado diagrama de efectos, mucho más famoso por su nombre en inglés: forest plot. Se dibuja un gráfico con una línea vertical de efecto nulo (en el uno para riesgo relativo y odds ratio y en el cero para diferencias de medias) y se representa cada estudio como una marca (su resultado) en medio de un segmento (su intervalo de confianza). Los estudios con resultados con significación estadística son los que no cruzan la línea vertical. Generalmente, los estudios más potentes tienen intervalos más estrechos y contribuyen más al resultado global, que se expresa como un diamante cuyos extremos laterales representan su intervalo de confianza. Solo los diamantes que no crucen la línea vertical tendrán significación estadística. Además, cuanto más estrechos, más precisión. Y, por último, cuánto más se alejen de la línea de efecto nulo, más clara será la diferencia entre los tratamientos o las exposiciones comparadas.

Si queréis una explicación más detallada sobre los elementos que componen un forest plot, podéis acudir a la entrada anterior en la que lo explicábamos o a los manuales en línea de la Colaboración Cochrane.

Concluiremos la lectura crítica de la RS valorando la APLICABILIDAD de los resultados a nuestro medio. Habrá que preguntarse si podemos aplicar los resultados a nuestros pacientes y cómo van a influir en la atención que les prestamos. Tendremos que fijarnos si los estudios primarios de la revisión describen a los participantes y si se parecen a nuestros pacientes. Además, aunque ya hemos dicho que es preferible que la RS se oriente a una pregunta concreta, habrá que ver si se han considerado todos los resultados relevantes para la toma de decisiones en el problema en estudio, ya que a veces será conveniente que se considere alguna otra variable secundaria adicional. Y, como siempre, habrá que valorar la relación beneficios-costes-riesgos. El que la conclusión de la RS nos parezca válida no quiere decir que tengamos que aplicarla de forma obligada.

Si queréis valorar correctamente una RS sin olvidar ningún aspecto importante os recomiendo que uséis una lista de verificación como la PRISMA o alguna de las herramientas disponibles en Internet, como las parrillas que se pueden descargar de la página de CASPe, que son las que hemos utilizado para todo lo que hemos dicho hasta ahora.

La declaración PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses) consta de 27 ítems, clasificados en 7 secciones que hacen referencia a los apartados de título, resumen, introducción, métodos, resultados, discusión y financiación:

  1. Título: debe identificarse como RS, metanálisis o ambos. Si se especifica, además, que trata sobre ensayos clínicos, se priorizará sobre otros tipos de revisiones.
  2. Resumen: debe ser un resumen estructurado que debe incluir antecedentes, objetivos, fuentes de datos, criterios de inclusión, limitaciones, conclusiones e implicaciones. Debe constar también el número de registro de la revisión.
  3. Introducción: incluye dos ítems, la justificación del trabajo (qué se sabe, controversias, etc) y los objetivos (qué pregunta trata de responder en términos PICO de la pregunta clínica estructurada).
  4. Métodos. Es la sección con mayor número de ítems (12):

– Protocolo y registro: indicar el número de registro y su disponibilidad.

– Criterios de elegibilidad: justificación de las características de los estudios y los criterios de búsqueda empleados.

– Fuentes de información: describir las fuentes utilizadas y la última fecha de búsqueda.

– Búsqueda: estrategia completa de búsqueda electrónica, para que pueda ser reproducible.

– Selección de estudios: especificar el proceso de selección y los criterios de inclusión y exclusión.

– Proceso de extracción de datos: describir los métodos empleados para la extracción de los datos de los estudios primarios.

– Lista de datos: definir las variables empleadas.

– Riesgo de sesgo en los estudios primarios: describir el método utilizado y cómo se ha empleado en la síntesis de los resultados.

– Medidas de resumen: especificar las principales medidas de resumen empleadas.

– Síntesis de resultados: describir los métodos empleados para combinar los resultados.

– Riesgo de sesgo entre los estudios: describir sesgos que puedan afectar la evidencia acumulativa, como el sesgo de publicación.

– Análisis adicionales: si se hacen métodos adicionales (sensibilidad, metarregresión, etc) especificar cuáles fueron preespecificados.

  1. Resultados. Incluye 7 ítems:

– Selección de estudios: se expresa mediante un diagrama de flujo que valora el número de registros en cada etapa (identificación, cribado, elegibilidad e inclusión).

– Características de los estudios: presentar las características de los estudios de los que se extrajeron datos y sus citas bibliográficas.

– Riesgo de sesgo en los estudios: comunicar los riesgos en cada estudio y cualquier evaluación que se haga sobre el sesgo en los resultados.

– Resultados de los estudios individuales: datos de estudio para cada estudio o grupo de intervención y estimación del efecto con su intervalo de confianza. Lo ideal es acompañarlo de un forest plot.

– Síntesis de los resultados: presentar los resultados de todos los MA realizados con los intervalos de confianza y las medidas de consistencia.

– Riesgo de sesgo entre los sujetos: presentar cualquier evaluación que se haga del riesgo de sesgo entre los estudios.

– Análisis adicionales: si se han realizado, facilitar los resultados de los mismos.

  1. Discusión. Trata 3 ítems:

– Resumen de la evidencia: resumir los hallazgos principales con la fuerza de la evidencia de cada resultado principal y la relevancia desde el punto de vista clínico o de los grupos de interés principales (proveedores de cuidados, usuarios, decisores de salud, etc).

– Limitaciones: discutir las limitaciones de los resultados, de los estudios y de la revisión.

– Conclusiones: interpretación general de los resultados en contexto con otras evidencias y sus implicaciones para la futura investigación.

  1. Financiación: describir las fuentes de financiación y el papel que tuvieron en la realización de la RS.

Como tercera opción a estas dos herramientas, podéis utilizar también el ya mencionado manual de la Cochrane (Cochrane Handbook for Systematic Reviews of Interventions), disponible en su página web y cuya finalidad es ayudar a los autores de las revisiones Cochrane a trabajar de forma explícita y sistemática.

Como veis, no hemos hablado prácticamente nada del metanálisis, con todas sus técnicas estadísticas para valorar homogeneidad y sus modelos de efectos fijos y aleatorios. Y es que el metanálisis es una fiera a la que hay que echar de comer aparte, por lo que ya le dedicamos en su momento dos entradas para él solo que podéis consultar cuando queráis. Pero esa es otra historia…

El todo es mayor que la suma de las partes

Esta es otra de esas frases famosas que están hasta en la sopa. Al parecer, el primero que tuvo esta ocurrente idea fue Aristóteles, que resumió con ella el principio general del holismo en sus escritos sobre metafísica. ¿Quién hubiese dicho que la frasecita encierra tanta sabiduría? Y es que el holismo insiste en que el todo debe ser considerado de una forma global, ya que sus componentes pueden actuar de una forma sinérgica, permitiendo que el conjunto tenga más significado que el aportado por cada parte de forma individual.

No temáis, seguís en el blog del seso y no en uno de filosofía. Y tampoco he cambiado la temática del blog, pero es que este principio me viene al pelo para introducir esa fiera corrupia del método científico que es la revisión sistemática, con o sin metanálisis.

Vivimos en la era de la información. Desde finales del pasado siglo XX hemos sido testigos de una verdadera explosión de las fuentes de información disponibles, accesibles desde múltiples fuentes y plataformas. El resultado final es que nos vemos desbordados cada vez que necesitamos una información sobre un punto concreto, no sabemos dónde buscar ni cómo podemos encontrar lo que queremos. Por este motivo empezaron a desarrollarse sistemas que sintetizasen la información disponible para hacerla más abarcable cuando se necesitase.

Nacen así las primeras revisiones, llamadas revisiones narrativas o de autor. Para elaborarlas, uno o varios autores, habitualmente expertos en un tema concreto, hacían una revisión general sobre dicho tema, aunque sin ningún criterio estricto sobre la estrategia de búsqueda ni de selección de la información. Siguiendo con total libertad, los autores analizaban los resultados tal como les mandaba su entendimiento y terminaban sacando sus conclusiones a partir de una síntesis cualitativa de los resultados obtenidos.

Estas revisiones narrativas son muy útiles para adquirir una visión general del tema, especialmente cuando uno sabe poco sobre la materia, pero son poco útiles para el que ya conoce el tema y necesita respuesta a una pregunta más concreta. Además, como todo el procedimiento se hace según el gusto de los autores, las conclusiones son poco reproducibles.

Por estos motivos, una serie de mentes privilegiadas inventan el otro tipo de revisión en el que nos vamos a centrar en esta entrada: la revisión sistemática. En lugar de revisar un tema general, las revisiones sistemáticas sí se centran en un tema concreto para poder solucionar dudas concretas de la práctica clínica. Además, emplean una estrategia de búsqueda claramente especificada y unos criterios de inclusión de trabajos explícitos y rigurosos, lo que las hace altamente reproducibles si a otro grupo de autores se les ocurre repetir la revisión sobre el mismo tema. Y, por si fuera poco, siempre que es posible van más allá del análisis de síntesis cualitativa, completándola con una síntesis cuantitativa que recibe el simpático nombre de metanálisis.

La elaboración de una revisión sistemática consta de seis pasos: formulación del problema o pregunta que quiere responderse, búsqueda y selección de los trabajos existentes, evaluación de la calidad de estos estudios, extracción de los datos, análisis de los resultados y, finalmente, interpretación y conclusión. Vamos a detallar un poco todo este proceso.

Toda revisión sistemática que se precie debe tratar de responder a una pregunta concreta que debe ser relevante desde el punto de vista clínico. La pregunta se hará habitualmente de forma estructurada con los componentes habituales de población, intervención, comparación y resultado (PICO), de forma que el análisis de estos componentes nos permitirá saber si la revisión es de nuestro interés.

Además, los componentes de la pregunta clínica estructurada nos ayudarán a realizar la búsqueda de los trabajos relevantes que existan sobre el tema. Esta búsqueda debe ser global y no sesgada, por lo que evitaremos los posibles sesgos de procedencia excluyendo fuentes por su idioma, revista, etc. Lo habitual es utilizar un mínimo de dos bases de datos electrónicas importantes de uso general, como Pubmed, Embase o la de la Cochrane, junto con las específicas del tema que se esté tratando. Es importante que esta búsqueda se complemente con una búsqueda manual en registros no electrónicos y consultando las referencias bibliográficas de los trabajos encontrados, además de otras fuentes de la llamada literatura gris, como tesis, y documentos de congresos, además de documentos de agencias financiadoras, registros e, incluso, establecer contacto con otros investigadores para saber si existen trabajos aún no publicados.

Es muy importante que esta estrategia se especifique claramente en el apartado de métodos de la revisión, de forma que cualquiera pueda reproducirla con posterioridad, si se le antoja. Además, habrá que especificar claramente los criterios de inclusión y exclusión de los estudios primarios de la revisión, el tipo de diseño que se busca y sus componentes principales (otra vez en referencia al PICO, los componentes de la pregunta clínica estructurada).

El tercer paso es la evaluación de la calidad de los estudios encontrados, que debe hacerse por un mínimo de dos personas de forma independiente, ayudándose de un tercero (que seguramente será el jefe) para desempatar en los casos en que no haya consenso entre los extractores. Para esta tarea suelen utilizarse herramientas o listas de verificación diseñadas para tal efecto, siendo una de las más utilizadas la herramienta de control de sesgos de la Colaboración Cochrane. Esta herramienta valora cinco criterios de los estudios primarios para determinar su riesgo de sesgo: secuencia de aleatorización adecuada (previene el sesgo de selección), enmascaramiento adecuado (previene los sesgos de realización y detección, ambos sesgos de información), ocultamiento de la asignación (previene el sesgo de selección), las pérdidas durante el seguimiento (previene el sesgo de desgaste) y la información de datos selectiva (previene el sesgo de información). Los estudios se clasifican como de alto, bajo o indeterminado riesgo de sesgo. Es frecuente utilizar los colores del semáforo, marcando en verde los estudios con bajo riesgo de sesgo, en rojo los que tienen alto riesgo de sesgo y en amarillo los que se quedan en tierra de nadie. Cuanto más verde veamos, mejor será la calidad de los estudios primarios de la revisión.

Para la extracción de los datos suelen diseñarse también formularios al uso que suelen recoger datos como fecha, ámbito del estudio, tipo de diseño, etc, además de los componentes de la pregunta clínica estructurada. Como en el caso del paso anterior, conviene que esto se haga por más de una persona, estableciendo el método para llegar a un acuerdo en los casos en que no haya consenso entre los revisores.

Y aquí entramos en la parte más interesante de la revisión, el análisis de los resultados. El papel fundamental de los autores será explicar las diferencias que existan entre los estudios primarios que no sean debidas al azar, prestando especial atención a las variaciones en el diseño, población de estudio, exposición o intervención y resultados medidos. Siempre se podrá hacer un análisis de síntesis cualitativa, aunque la verdadera magia de la revisión sistemática es que, cuando las características de los estudios primarios lo permiten, puede realizarse también una síntesis cuantitativa, llamada metanálisis.

Un metanálisis es un análisis estadístico que combina los resultados de varios estudios independientes pero que tratan de responder a una misma pregunta. Aunque el metanálisis puede considerarse como un trabajo de investigación por derecho propio, lo habitual es que sea parte de una revisión sistemática.

Los estudios primarios pueden combinarse empleando una metodología estadística desarrollada para tal fin, lo que tiene una serie de ventajas. La primera, al combinar todos los resultados de los estudios primarios puede obtenerse una visión global más completa (ya sabéis, el todo es mayor…). La segunda, al combinar aumentamos el tamaño de la muestra, lo que aumenta la potencia del estudio en comparación con la de los estudios individuales, mejorando la estimación del efecto que queremos medir. En tercer lugar, al extraerse las conclusiones de un número mayor de estudios aumenta su validez externa, ya que al haber implicadas poblaciones diferentes es más fácil generalizar los resultados. Por último, puede permitirnos resolver controversias entre las conclusiones de los diferentes estudios primarios de la revisión e, incluso, contestar a preguntas que no se habían planteado en esos estudios.

Una vez hecho el metanálisis habrá que hacer una síntesis final que integre los resultados de las síntesis cualitativa y cuantitativa con el objetivo de dar respuesta a la pregunta que motivó la revisión sistemática o, cuando esto no sea posible, plantear los estudios adicionales que deben realizarse para poder contestarla.

Pero para que un metanálisis merezca todos nuestros respetos debe cumplir una serie de requisitos que son, básicamente, los que ya le hemos exigido a la revisión sistemática de la que forma parte: el metanálisis debe tratar de contestar una pregunta concreta y debe basarse en toda la información relevante disponible, sin sesgo de recuperación ni sesgo de publicación. Además, deben valorarse los estudios primarios para asegurarnos de que tienen la calidad suficiente y que son lo suficientemente homogéneos como para poder combinarlos. Por supuesto, lo datos deben analizarse y presentarse de la forma apropiada. Y, por último, debe tener sentido el que queramos combinar los resultados. El que podamos hacerlo no siempre significa que tengamos que hacerlo si el contexto clínico no lo hace necesario.

¿Y cómo se combinan los estudios?, preguntaréis algunos. Pues esa es la madre del cordero del metanálisis (o una de las madres, que tiene varias), porque hay varias formas posibles de hacerlo.

A cualquiera se le ocurre que la forma más sencilla sería tipo Festival de Eurovisión. Contabilizamos los estudios primarios en los que el efecto positivo obtuvo significación estadística y, sin son mayoría, decimos que hay consenso a favor del resultado positivo. Este enfoque es bastante sencillo pero, no me lo negaréis, también bastante chapucerillo y se me ocurren una serie de inconvenientes a la hora de usarlo. Por un lado, implica que no significativo es sinónimo de falta de efecto, lo cual no siempre tiene porqué ser verdad. Además, no tiene en cuenta la dirección y fuerza del efecto en cada estudio, ni la precisión de los estimadores empleados ni la calidad o las peculiaridades de diseño de cada estudio primario. Así que este tipo de abordaje no parece muy recomendable, aunque nadie nos va a poner una multa si lo usamos de forma informal como primera aproximación antes de decidir cuál es la mejor forma de combinar los resultados de los estudios.

Otra posibilidad es utilizar una especie de prueba de los signos, similar a la de algunas técnicas de estadística no paramétrica. Se cuentan los positivos a favor del efecto, les restamos los negativos y obtenemos nuestra conclusión. La verdad es que este método también parece demasiado simple. No tiene en cuenta los estudios sin significación estadística ni la precisión de los estimadores. Así que tampoco utilizaremos mucho este tipo de abordaje, a no ser que solo sepamos la dirección del efecto de los estudios primarios. También podríamos utilizarlo cuando los estudios primarios son muy heterogéneos para obtener una aproximación, aunque yo no me fiaría mucho de los resultados.

El tercer método es combinar las “pes” (nuestras amadas y sacrosantas p). Esto podría pasársenos por la cabeza si tuviésemos una revisión sistemática cuyos estudios primarios usaran diferentes medidas de resultado, aunque todos tratasen de contestar a una misma pregunta. Pensad, por ejemplo, un estudio sobre osteoporosis donde unos miden densitometría ultrasónica, otros DEXA en columna, otros en fémur, etc. El problema de este método es que no tiene en cuenta la intensidad del efecto, sino solo su dirección y su nivel de significación estadística, y todos conocemos las deficiencias de nuestras santas “pes”. Para utilizarlo tendremos que utilizar programas informáticos que combinarán los datos siguiendo una distribución de ji-cuadrado o una normal, dándonos el estimador global con su intervalo de confianza.

El cuarto y último método, que yo me sé, es también el más elegante: hacer una combinación ponderada del efecto estimado en los diferentes estudios primarios. La forma más sencilla sería calcular la media aritmética, pero no hemos llegado hasta aquí para hacer otra chapuza. La media aritmética otorga el mismo énfasis a todos los estudios, con lo que si tenemos algún estudio muy impreciso con resultados extremos nos distorsionará enormemente los resultados. Recordad que la media sigue siempre las colas de la distribución, viéndose muy influenciada por los valores extremos (lo que no le ocurre a su prima, la mediana).

Por esto tenemos que ponderar los estimadores de los distintos estudios. Esto podemos hacerlo de dos formas, teniendo en cuenta el número de sujetos de cada estudio, o bien, realizando una ponderación en base a los inversos de las varianzas de cada uno (ya sabéis, los cuadrados de los errores estándar).  Esta última forma es la más compleja, así que es la que más gusta y más se utiliza. Claro que, como la matemática necesaria es cosa fina, se suelen utilizar programas especiales, ya sean módulos que funcionan dentro de los programas estadísticos como Stata, SPSS, SAS o R, o utilizando programas específicos como el famoso RevMan de la Colaboración Cochrane.

Como podéis ver, no me he quedado corto al tildar a la revisión sistemática con metanálisis como la fiera corrupia de los diseños epidemiológicos. No obstante, tiene sus detractores. Todos conocemos a alguien que afirma no gustarle las revisiones sistemáticas porque casi todas acaban de la misma forma: “hacen falta más estudios de calidad para poder realizar recomendaciones con un grado de evidencia razonable”. Claro que, en estos casos, la culpa no es de las revisiones, sino de que no nos esmeramos lo suficiente con nuestros trabajos y la gran mayoría merecerían acabar en la máquina destructora de papel.

Otra polémica es la que tienen los que debaten sobre si es mejor una buena revisión sistemática o un buen ensayo clínico (pueden hacerse revisiones sobre otros tipos de diseños, incluyendo estudios observacionales). A mí esto me recuerda a la polémica sobre si deben hacer calimochos con buen vino o si es un pecado mezclar un buen vino con Coca-Cola. Polémicas aparte, si hay que tomar calimocho, os aseguro que con un buen vino estará mucho más rico, y algo parecido les pasa a las revisiones con la calidad de sus estudios primarios.

El problema de las revisiones sistemáticas es que, para que sean realmente útiles, hay que ser muy riguroso en su elaboración. Para que no se nos olvide nada, existen listas de recomendaciones y de verificación que nos permitan ordenar todo el procedimiento de creación y difusión de trabajos científicos sin que cometamos errores metodológicos u omisiones en el procedimiento.

Todo comenzó con un programa del Servicio de Salud del Reino Unido que terminó con la fundación de una iniciativa internacional para promover la transparencia y precisión de los trabajos de investigación biomédicos: la red EQUATOR (Enhancing the QUAlity and Transparency Of health Research). Esta red se compone de expertos en metodología, comunicación y publicación, por lo que incluye profesionales implicados en la calidad de todo el proceso de producción y difusión de los resultados de investigación. Entre otros muchos objetivos, que podéis consultar en su página web, está el de diseñar un conjunto de recomendaciones para la realización y publicación de los diferentes tipos de estudios, lo que da lugar a las diferentes listas de verificación o declaraciones.

La lista de verificación diseñada para aplicar a las revisiones sistemáticas es la declaración PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses), que viene a sustituir a la declaración QUOROM (QUality Of Reporting Of Meta-analyses). Basándose en la definición de revisión sistemática de la Colaboración Cochrane, PRISMA nos ayuda a seleccionar, identificar y valorar los estudios incluidos en una revisión. Consta también de una lista de verificación y de un diagrama de flujo en el que se describe el paso de todos los trabajos considerados durante la realización de la revisión. Existe también una declaración menos conocida para la valoración de metanálisis de estudios observacionales, la declaración MOOSE (Meta-analyses Of Observational Studies in Epidemiology).

La Colaboración Cochrane tiene también una metodología muy bien estructurada y definida, que podéis consultar en su página web. Esta es la razón por la que tienen tanto prestigio dentro del mundo de las revisiones sistemáticas, por estar hechas por profesionales que se dedican a ello siguiendo una metodología contrastada y rigurosa. De todas formas, incluso las revisiones Cochrane deben leerse de forma crítica y no darles nada por asegurado.

Y con esto hemos llegado al final por hoy. Quiero insistir en que el metanálisis debe hacerse siempre que sea posible y nos interese, pero asegurándonos previamente de que es correcto combinar los resultados. Si los estudios son muy heterogéneos no deberemos combinar nada, ya que los resultados que podríamos obtener tendrían una validez muy comprometida. Hay toda una serie de métodos y estadísticos para medir la homogeneidad o heterogeneidad de los estudios primarios, que influyen también en la forma en que analizaremos los datos combinados. Pero esa es otra historia…

Que los árboles no te impidan ver el bosque

Han pasado muchos años desde que una ardilla podía cruzar la Península Ibérica sin bajarse de un árbol. Tal era la frondosidad de nuestra tierra. Aunque no creáis, hay quien piensa que esto no es más que un mito. De todas formas, me pregunto si la ardilla en cuestión se daría cuenta de que estaba dentro de un gran bosque. Supongo que sí, aunque nunca se sabe: a veces los árboles no nos dejan ver el bosque o, más bien, todo el bosque.

En cualquier caso, una ardilla moderna no tendría esos problemas. No cabe duda de que hoy en día no podría cruzar la Península sin bajarse de un árbol pero, en cambio, sí podría cruzar el país entero sin bajarse de la cabeza de un tonto. Como leí el otro día en un blog, hay más tontos que botellines y, además, están estratégicamente colocados para que te encuentres todos los días, al menos, un par.

El metanálisis  es también una especie de bosque, donde sus estudios primarios serían los árboles. ¡Qué poético!. Pero en este caso los árboles no solo no impiden ver nada, sino que nos ayudan a ver el bosque, todo el bosque de manera global. Claro que, para eso, los resultados del metanálisis deben presentarse de la forma apropiada.

Hasta no hace mucho podíamos seguir los consejos de la declaración QUOROM, pero esta declaración se actualizó para convertirse en PRISMA, que dedica siete de sus 27 ítems a darnos consejos de cómo presentar los resultados de un metanálisis.

Primero debemos informar sobre el proceso de selección de estudios: cuántos hemos encontrado y evaluado, cuántos hemos seleccionado y cuántos rechazado, explicando además las razones para hacerlo. Para esto resulta muy útil el diagrama de flujo que debe incluir la revisión sistemática de la que procede el metanálisis si se acoge a la declaración PRISMA.

En segundo lugar deben especificarse las características de los estudios primarios, detallando qué datos sacamos de cada uno de ellos y sus correspondientes citas bibliográficas para facilitar que cualquier lector del trabajo pueda comprobar los datos si no se fía de nosotros. En este sentido va también el tercer apartado, que se refiere a la evaluación del riesgo de sesgos de los estudios y su validez interna.

Cuarto, debemos presentar los resultados de cada estudio individual con un dato resumen de cada grupo de intervención analizado junto con los estimadores calculados y sus intervalos de confianza. Estos datos nos servirán para confeccionar la información que PRISMA nos pide en su quinto punto referente a la presentación de resultados y no es otro que la síntesis de todos los estudios del metanálisis, sus intervalos de confianza, resultados del estudio de homogeneidad, etc.

Esto suele hacerse de forma gráfica con una herramienta popularmente conocida por su nombre en inglés: el forest plot. Este gráfico es una especie de bosque donde los árboles serían los estudios primarios del metanálisis y donde se resumen todos los resultados relevantes de la síntesis cuantitativa.

La Cochrane Collaboration recomienda estructurar el forest plot en cinco columnas bien diferenciadas. En la columna 1 se listan los estudios primarios o los grupos o subgrupos de pacientes incluidos en el metanálisis. Habitualmente se representan por un identificador compuesto por el nombre del primer autor y la fecha de publicación.

La columna 2 nos muestra los resultados de las medidas de efecto de cada estudio tal como las refieren sus respectivos autores.

La columna 3 es el forest plot propiamente dicho, la parte gráfica del asunto. En él se representan las medidas de efecto de cada estudio a ambos lados de la línea de efecto nulo, que ya sabemos que es el cero para diferencias de medias y el uno para odds ratios, riesgos relativos, hazard ratios, etc. Cada estudio se representa por un cuadrado cuya área suele ser proporcional a la contribución de cada uno al resultado global. Además, el cuadrado está dentro de un segmento que representa los extremos de su intervalo de confianza.

forest_esp

Estos intervalos de confianza nos informan sobre la precisión de los estudios y nos dicen cuáles son estadísticamente significativos: aquellos cuyo intervalo no cruza la línea de efecto nulo. De todas formas, no olvidéis que, aunque crucen la línea de efecto nulo y no sean estadísticamente significativos, los límites del intervalo pueden darnos mucha información sobre la importancia clínica de los resultados de cada estudio. Por último, en el fondo del gráfico encontraremos un diamante que representa el resultado global del metanálisis. Su posición respecto a la línea de efecto nulo nos informará sobre la significación estadística del resultado global, mientras que su anchura nos dará una idea de su precisión (su intervalo de confianza). Además, en la parte superior de esta columna encontraremos el tipo de medida de efecto, el modelo de análisis de datos que se ha utilizados (efectos fijos o efectos aleatorios) y el valor de significación de los intervalos de confianza (habitualmente 95%).

Suele completar este gráfico una cuarta columna con la estimación del peso de cada estudio en tantos por cien y una quinta columna con las estimaciones del efecto ponderado de cada uno. Y en algún rinconcillo de todo este bosque estará la medida de heterogeneidad que se ha utilizado, junto con su significación estadística en los casos en que sea pertinente.

Para finalizar la exposición de los resultados, PRISMA recomienda un sexto apartado con la evaluación que se haya hecho de los riesgos de sesgo del estudio y un séptimo con todos los análisis adicionales que haya sido necesario realizar: estratificación, análisis de sensibilidad, metarregresión, etc.

Como veis, nada es fácil en esto de los metanálisis. Por eso, la Cochrane recomienda seguir una serie de pasos para interpretar correctamente los resultados. A saber:

1. Verificar qué variable se compara y cómo. Suele verse en la parte superior del forest plot.

2. Localizar la medida de efecto utilizada. Esto es lógico y necesario para saber interpretar los resultados. No es lo mismo una hazard ratio que una diferencia de medias o lo que sea que se haya usado.

3. Localizar el diamante, su posición y su amplitud. Conviene también fijarse en el valor numérico del estimador global y en su intervalo de confianza.

4. Comprobar que se ha estudiado la heterogeneidad. Esto puede verse a ojo mirando si los segmentos que representan los estudios primarios están o no muy dispersos y si se solapan o no. En cualquier caso, siempre habrá un estadístico que valore el grado de heterogeneidad. Si vemos que existe heterogeneidad, lo siguiente será buscar qué explicación dan los autores sobre su existencia.

5. Sacar nuestras conclusiones. Nos fijaremos en qué lado de la línea de efecto nulo están el efecto global y su intervalo de confianza. Ya sabéis que, aunque sea significativo, el límite inferior del intervalo conviene que esté lo más lejos posible de la línea, por aquello de la importancia clínica, que no siempre coincide con la significación estadística. Por último, volved a mirar el estudio de homogeneidad. Si hay mucha heterogeneidad los resultados no serán tan fiables.

Y aquí terminamos con los resultados y el forest plot. En realidad, el forest plot no es exclusivo de los metanálisis y puede usarse siempre que queramos comparar estudios para dilucidar su significación estadística o clínica, o en casos como los estudios de equivalencia, en los que a la línea de efecto nulo se le unen las de los umbrales de equivalencia. Pero aún tiene una utilidad más. Una variante del forest plot sirve también para valorar si existe sesgo de publicación en la revisión sistemática, aunque en estos casos se le suele llamar gráfico en embudo. Pero esa es otra historia…

Sopa de letras

Lamentablemente, una gran parte de las veces que pensamos en algún trabajillo de investigación que podamos hacer solo nos mueve el interés por tener alguna publicación más en nuestro ya abultado currículo y el ver nuestro nombre en una revista o en el libro de comunicaciones de un congreso. Así que no es de extrañar que una gran parte de los trabajos que se publican sean, por decirlo de forma suave y educada, de una calidad deficiente, de tal forma que ni sabemos cómo están hechos, ni si son de fiar ni, a veces, qué novedades nos aportan o cómo se incluyen en el contexto de nuestros conocimientos médicos. Y esto no atañe solo a la realización del trabajo, sino que es frecuente que haya también defectos en la publicación y difusión de sus resultados, pudiendo haber casos de publicación incompleta del trabajo, de que se oculte parte de su metodología, que no se hable de efectos perjudiciales ni de efectos negativos y, en resumen, que publiquemos únicamente lo que nos interesa.

Pero no os desaniméis. Para remediar esta triste situación podemos recurrir a una sopa de letras. Y no estoy pensando en comida ni en el famoso pasatiempo que afronta un peligro de extinción inminente por culpa de los pérfidos sudokus, sino en otra sopa que combina letras en un número inimaginable de nombres imposibles para denominar listas de recomendaciones y de verificación que nos permitan ordenar todo el procedimiento de creación y difusión de trabajos científicos sin que cometamos errores metodológicos u omisiones en el procedimiento.

Todo comenzó con un programa del Servicio de Salud del Reino Unido que terminó con la fundación de una iniciativa internacional para promover la transparencia y precisión de los trabajos de investigación biomédicos: la red EQUATOR (Enhancing the QUAlity and Transparency Of health Research). Esta red se compone de expertos en metodología, comunicación y publicación, por lo que incluye profesionales implicados en la calidad de todo el proceso de producción y difusión de los resultados de investigación. Entre otros muchos objetivos, que podéis consultar en su página web, está el de diseñar un conjunto de recomendaciones para la realización y publicación de los diferentes tipos de estudios, lo que da lugar a las diferentes listas de verificación o declaraciones que veremos a continuación.

Quizá la más difundida sea la declaración CONSORT (CONsolidated Standars Of Reporting Trials), que se ocupa de los aspectos de diseño, realización, análisis, validez e interpretación de los ensayos clínicos aleatorizados. Se compone de una lista de verificación (que comprueba el contenido de título, resumen, introducción, métodos, resultados, discusión y otras informaciones, como los datos de registro del ensayo) y de un diagrama de flujo (en el que se describe el paso de todos los participantes a través de todo el estudio).

CONSORT tiene numerosas extensiones para ensayos con distinto tipo de diseño (por grupos, no-inferioridad y equivalencia, pragmáticos), de intervención (tratamientos con hierbas medicinales, no farmacológicos, ocupacionales e, incluso, de acupuntura, homeopáticos, etc.) o de tipo de datos (de daño, de resúmenes, etc.). Para el que quiera más información, existe un catálogo de extensiones no oficiales en Internet que puede consultarse y que es actualizado periódicamente. Además, para los ensayos clínicos no aleatorizados se ha diseñado la declaración TREND (Transparent Reporting of Evaluations with Nonrandomized Designs).

De los estudios observacionales, especialmente los estudios de cohortes, los de casos y controles y los transversales, se encarga la declaración STROBE (STrengthening the Reporting of OBservational studies in Epidemiology). De todas formas, al igual que le ocurría a CONSORT, STROBE tiene multitud de parientes cercanos para controlar la metodología de estudios observacionales de tipos específicos, como STREGA (estudios de asociaciones genéticas), ORION (control de infecciones) y otros muchos para series de casos, estudios longitudinales, etc. Todas estas listas de verificación están disponibles en el sitio web de la declaración STROBE.

Otra de las más extendidas es la declaración STARD (STAndards for the Reporting of Diagnostic studies accuracy), que dedica sus desvelos a mejorar la precisión de los estudios sobre pruebas diagnósticas para permitir una valoración más adecuada de su validez interna y externa. Al igual que CONSORT, se compone de una lista de verificación y de un diagrama de flujo que describe el diseño del estudio y el flujo de pacientes. Una declaración  de similar utilidad es la QUADAS (Quality Assessment of Diagnostic Accuracy Studies), que se centra específicamente en los aspectos de precisión de los estudios de pruebas diagnósticas incluidos en las revisiones sistemáticas.

Y hablando de revisiones sistemáticas, no podía faltar una declaración para ellas: la declaración PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses), que viene a sustituir a la declaración QUOROM (QUality Of Reporting Of Meta-analyses). Basándose en la definición de revisión sistemática de la Cochrane Collaboration, PRISMA nos ayuda a seleccionar, identificar y valorar los estudios incluidos en una revisión. Consta también de una lista de verificación y de un diagrama de flujo en el que se describe el paso de todos los trabajos considerados durante la realización de la revisión. Existe también una declaración menos conocida para la valoración de metaanálisis de estudios observacionales, la declaración MOOSE (Meta-analyses Of Observational Studies in Epidemiology).

Y la lista no acaba aquí, ni muchísimo menos: declaración COREQ (COnsolidated criteria for REporting Qualitative research) para estudios de investigación cualitativa, ISPOR RCT-CEA para estudios de coste efectividad y evaluación económica, SQUIRE (Standards for QUality Improvement Reporting Excellence) para estudios de calidad de vida y mejora de salud, AGREE (Appraisal of Guidelines REsearch and Evaluation) para realización de guías de práctica clínica, GRRS (Guidelines for Reporting Reliability and agreement Studies) para estudios de confiabilidad y acuerdo, etc, etc, etc.

La verdad es que no puede negarse que la cosa tiene un mérito enorme, y me estoy refiriendo al que se ha inventado todos estos nombres tan imaginativos para las diferentes listas y declaraciones. Ahora lo que hace falta es que su esfuerzo, y también el de los que han hecho las declaraciones, se vea premiado con su puesta en práctica para que los trabajos de investigación sirvan más para mejorar nuestra práctica clínica y menos para engordar nuestro currículo o promocionar nuevos productos. Muchas revistas biomédicas ya se han aplicado el cuento y asumen algunas de las declaraciones, de tal forma que solo admiten trabajos que cumplan con todos los puntos de la lista de verificación relacionada como, por ejemplo, la CONSORT para ensayos clínicos.

Para terminar, deciros que todas estas listas de verificación que ayudan al investigador a realizar su trabajo o al editor a decidir si merece la pena publicarlo, pueden servirnos también a nosotros, simples consumidores de literatura médica, para valorar la validez de los estudios y no malgastar tiempo leyendo trabajos que no nos vayan a  aportar nada. Las listas de verificación pueden ser utilizadas como herramientas para la lectura crítica de documentos científicos, al igual que se hace con las plantillas CASPe o con otros recursos. Pero esa es otra historia…