Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Guardado por elLectura crítica Categora
image_pdf

La ostra de las mil perlas

Ya vimos en una entrada anterior que nuestra ignorancia como médicos es grande, lo que nos obliga a plantearnos preguntas sobre lo que hacer con nuestros pacientes en numerosas ocasiones.

Llegado este punto, nos interesará buscar y encontrar las mejores evidencias disponibles sobre el tema que nos ocupe, para lo que tendremos que hacer una buena búsqueda bibliográfica. Aunque se define la búsqueda bibliográfica como el conjunto de procedimientos manuales, automáticos e intelectuales encaminados a localizar, seleccionar y recuperar las referencias o trabajo que respondan a nuestro interés, la inmensa mayoría de las veces simplificamos el proceso y nos dedicamos únicamente a la búsqueda digital.

En estos casos tendremos que recurrir a una de las múltiples bases de datos biomédicas disponibles para buscar la perla que nos aclare nuestra duda y ayude a poner remedio a nuestra ignorancia. De todas estas bases de datos, no cabe duda que la más utilizada es Medline, la base de datos de la Biblioteca Nacional de Medicina de Estados Unidos (la National Library of Medicine, como la llaman ellos). El problema es que Medline es una base muy muy grande, con unos 16 millones de artículos de más de 4800 revistas científicas. Así que, como es fácil suponer, encontrar lo que se busca puede no ser una tarea sencilla en muchas ocasiones.

En realidad, para buscar en Medline lo que utilizamos es una herramienta que se conoce con el nombre de Pubmed. Este es un proyecto desarrollado por el Centro Nacional de Información en Biotecnología (National Center for Biotechnology Information, NCBI para los amigos), que permite acceder realmente a tres bases de datos de la National Library of Medicine: Medline, PreMedline y AIDS. Estas bases de datos no son filtradas, así que necesitaremos de conocimientos de lectura crítica para valorar los resultados (hay otros recursos que dan la información ya filtrada), ya que el buscador proporciona nada más (y nada menos) que la referencia del artículo y, en muchas ocasiones, un breve resumen. Y lo mejor de todo es que es gratis, cosa que no ocurre con todas las herramientas de búsqueda disponibles.

Así que, si queremos explorar esta ostra con miles de perlas, tendremos que aprender a utilizar la herramienta Pubmed para encontrar las perlas que estamos buscando. Podéis entrar en Pubmed haciendo clic sobre este enlace, aunque un pequeño atajo es escribir pubmed en la barra de direcciones del navegador y pulsar control-enter. El navegador sabrá donde queremos ir y nos redirigirá a la página de inicio de Pubmed. Echemos un vistazo entes de empezar a usarlo (ver la primera figura) (el aspecto de Pubmed cambia de vez en cuando, así que alguna cosa puede haber cambiado desde que escribí esta entrada, seguramente para mejorar).

Lo primero que vemos es el cuadro de búsqueda simple, donde podemos escribir los términos de búsqueda para obtener los resultados al pulsar el botón “Search”. Veis que debajo de este cuadro hay un enlace que dice “Advanced”, con el que accederemos a la pantalla de búsqueda avanzada, de la que hablaremos otro día. Hoy nos centraremos en la búsqueda simple.

Debajo hay tres columnas. La primera dice “Using PubMed”. Aquí podéis encontrar ayuda sobre el uso de esta herramienta, incluidos tutoriales sobre las distintas modalidades de búsqueda y las herramientas que incluye Pubmed. Os aconsejo bucear en esta sección para descubrir muchas más posibilidades de este buscador que las pocas que os voy a contar yo en esta entrada.

La segunda columna es la de las herramientas de Pubmed, “PubMed Tools”. Aquí hay dos de especial interés, la “Single Citation Matcher”, para encontrar la referencia en PubMed de un artículo en concreto conociendo algunos aspectos de su cita bibliográfica, y las “Clinical Queries”, que nos permiten filtrar los resultados de las búsquedas según el tipo de estudios o sus características.

La tercera columna muestra recursos del buscador, como la base de datos de los términos MeSH, que no es otra cosa que el tesaurus de los términos de búsqueda que incluye Pubmed.

Bueno, pues vamos a buscar algo para practicar. Pensemos, por ejemplo, que yo quiero saber si es mejor utilizar amoxicilina o cefaclor para el tratamiento de la otitis en los lactantes para que la evolución de la enfermedad sea menos prolongada. Lógicamente, esto no puedo escribirlo tal cual. Primero tengo que construir mi pregunta clínica estructurada y, después, utilizar los componentes de la pregunta como términos de búsqueda.

Mi pregunta sería la siguientes: en (P) lactantes con otitis, ¿(I) el tratamiento con cefaclor en (C) comparación con el tratamiento con amoxicilina, (0) reduce la duración de la enfermedad?. Así que, con este ejemplo, podríamos utilizar cinco términos de búsqueda: otitis, lactantes, amoxicilina, cefaclor y duración.

En la búsqueda sencilla introduciremos sin más las palabras en el cuadro de búsqueda (lenguaje natural) y haremos click en el cuadro “Search”. Aunque Pubmed acepta que introduzcamos palabras en castellano, es preferible ponerlas directamente en inglés, ya que así no tendremos que fiarnos de que las traduzca bien (hay palabras que incluso no las traduce y nos alteran la búsqueda).

El cuadro de búsqueda admite operadores booleanos, que son el “y”, el “o” y el “no” (se suelen ponen en mayúsculas en inglés: AND, OR y NOT). Cuando ponemos varias palabras seguidas sin ningún operador booleano, Pubmed entiende que las palabras van separadas por AND. Así, si tenemos un término formado por dos palabras y queremos que se considere como una, tendremos que escribirlo entre comillas. Por ejemplo, si escribimos apendicitis aguda y queremos que cuente como un solo término, habrá que introducir “acute apendicitis”.

Otro operador útil es el de truncamiento, que es colocar un asterisco al final de la raíz de la palabra para que se busquen todas las palabras que empiecen por esa raíz. Por ejemplo, infan* buscará por infant, infancy…

Vamos con nuestro ejemplo. Escribimos otitis AND infants AND amoxicillin AND cefaclor AND course y hacemos click en “Search” (ver la segunda figura). Hemos tenido bastante suerte, obtenemos solo 11 resultados (a vosotros os puede salir un número diferente si hacéis la búsqueda en otro momento).

Echamos un vistazo y vemos que los trabajos se ajustan más o menos a lo que buscamos. El único inconveniente es que nos incluye artículos que estudian el efecto de la amoxicilina-clavulánico, que no nos interesan. Pues vamos a quitarlos. Al texto de búsqueda le añadimos NOT clavulanate, con lo que la búsqueda queda limitada aún más.

Ya no tenemos más que seleccionar o clicar sobre los trabajos que nos interesen, para obtener el resumen (si está disponible) y, en algunos casos, incluso acceder al texto completo, aunque esto dependerá de que el texto sea de libre acceso o de los permisos o suscripciones que tenga la institución desde la que accedamos a Pubmed.

Hasta aquí hemos visto la forma más sencilla de buscar con Pubmed: búsqueda simple con texto libre. El problema es que usando esta forma de búsqueda no siempre vamos a obtener un resultado tan específico, sino que será mucho más frecuente que obtengamos miles de resultados, la mayor parte de ellos sin ningún interés para nosotros. En estos casos tendremos que recurrir a otros recursos como la búsqueda avanzada, el empleo de términos MeSH o el uso de las Clinical Queries de Pubmed. Pero esa es otra historia…

Quien no tenga preguntas…

…nunca obtendrá respuestas. Esto me lo enseñó una profesora de bioquímica hace ya más de dos vidas, cuando yo era un estudiante de primero de medicina. No recuerdo qué otras cosas me enseñó, pero esta la tengo grabada a fuego porque, no quiero recordar cuántos años después, sigue teniendo la misma vigencia.

Y resulta que la rueda de la medicina basada en pruebas se pone en marcha con una pregunta. Eso sí, el problema es que en medicina no siempre se obtiene respuesta por mucha pregunta que se tenga y, según algunos, en cuatro de cada cinco veces no obtendremos una respuesta satisfactoria por muy bien que sepamos buscar la información.

Los médicos, admitámoslo, somos bastante ignorantes, y el que piense lo contrario es porque no sabe lo ignorante que es, que es mucho peor y más peligroso. A menudo nos vemos asaltados por lagunas en nuestro conocimiento que queremos rellenar con la información que haya disponible. Se ha calculado que, a nivel de Atención Primaria, nos hacemos dos preguntas por cada 10 pacientes que recibimos, aumentando este número a cinco por cada paciente ingresado en Atención Hospitalaria. Se comprende fácilmente que no podemos hacer una búsqueda en la bibliografía cada vez que tengamos una duda, así que tendremos que establecer unas prioridades.

Al principio, cuando somos muy, pero que muy ignorantes, las preguntas son bastante generales. Son las llamadas preguntas básicas (de background, les llaman los que saben inglés), que buscan información sobre aspectos generales de enfermedades o tratamientos. Suelen estar compuestas por una raíz del tipo cómo, cuánto, cuándo o similar y un verbo, seguido de la enfermedad o lo que sea que estemos tratando. Preguntas de este estilo serían, por ejemplo, “¿qué germen produce la risperidiosis?” o “¿cómo se trata un ataque agudo de caspa?”.

En general, las preguntas básicas se pueden responder acudiendo a libros de texto o a artículos de revisión. Existen fuentes digitales de revisiones sobre temas generales, como la que es sin duda una de las más idolatradas, el UpToDate. Todos conoceremos algún uptodatero, que son personas fácilmente reconocibles porque en la sesión de primera hora de la mañana ya tienen en su poder la última información obtenida de UpToDate, de forma que te dan la respuesta incluso antes de que tú te hayas planteado la pregunta.

Pero, según vamos siendo más sabios, las preguntas que nos vamos haciendo implican ya aspectos concretos del tratamiento, pronóstico o lo que sea de una enfermedad en un tipo determinado de pacientes. Estas preguntas avanzadas o preguntas de primera línea (de foreground para los anglófilos) suelen tener una característica que las diferencia cualitativamente de las básicas: habitualmente se hacen como parte de la toma de decisiones clínicas en la fase previa a la búsqueda de información del problema que nos interese.

Es fundamental, por lo tanto, plantearlas bien y formularlas con claridad ya que, si no, no servirán ni para plantear la estrategia de búsqueda ni para tomar la decisión correcta que estemos buscando. Se forma así lo que se conoce como pregunta clínica estructurada, conocida en el argot de la medicina basada en pruebas como pregunta PICO, por las iniciales de sus componentes, que veremos a continuación.

La P representa al paciente, pero también al problema de interés o a la descripción clínica de la situación que estemos estudiando. Debemos definir muy bien las características más relevantes del grupo de pacientes o de la población que originó la pregunta, procurando no restringir demasiado las características del grupo, porque puede ocurrir que luego no encontremos nada que responda a la pregunta. Suele ser preferible seleccionar la población de una forma más general y, si la búsqueda es poco específica (tenemos muchos resultados), siempre podemos restringirla después.

La I representa la intervención principal, que puede ser un tratamiento, una prueba diagnóstica, un factor de riesgo o exposición, etc. La C se refiere a la comparación con la cuál contrastamos la intervención, y puede ser otro tratamiento, el placebo o, a veces, no hacer nada. Este componente no es obligatorio que exista siempre en la estructura de la pregunta, así que podemos obviarlo en los casos que no lo necesitemos.

Por último, la O representa el resultado de interés clínico de nuestra pregunta (de Outcome, en inglés), ya sea en términos de síntomas, complicaciones, calidad de vida, morbilidad, mortalidad o cualquier otra variable de resultado que elijamos. Así, es importante resaltar que el resultado que nos planteemos debería tener importancia desde el punto de vista clínico, sobre todo importancia desde el punto de vista del paciente. Por ejemplo, en un estudio para prevenir enfermedad coronaria podemos medir el efecto mediante la disminución de la troponina, pero seguro que el paciente agradecerá mucho más si lo que estimamos es la disminución de la mortalidad por infarto.

A veces, como ya os he comentado, no es pertinente hacer comparación con nada y el PICO se transforma en PIO. Otros añaden un quinto parámetro, el tiempo, y el PICO pasa a ser PICOt. También podéis verla como PECO o PECOt, cuando preferimos decir exposición mejor que intervención. Pero, usemos las letras que usemos, lo importante es que descompongamos la pregunta en estos elementos, que serán los que nos marcarán las palabras clave para la búsqueda de información y del tipo de estudio que necesitamos encontrar (os diré que algunos añaden el tipo de estudio como quinta o sexta letra al PICO).

Es muy importante encontrar un buen equilibrio entre la amplitud y la precisión de la pregunta. Por ejemplo, la pregunta “¿en lactantes con traumatismo craneal mejora el pronóstico el tratamiento con corticoides?” podría ser demasiado general para que resultase de ninguna utilidad. Por otra parte, “¿en lactantes de 3 a 6 meses de edad que se caen de la cuna desde 20 cm de altura y se dan en la parte izquierda de la frente contra el suelo de moqueta se puede mejorar el pronóstico utilizando metilprednisolona a dosis de 2 mg/kg/d durante cinco días seguidos?” se me hace demasiado específica como para utilizarla en la estrategia de búsqueda o para que sea útil para la toma de decisión clínica. Una forma más adecuada sería algo como “en lactantes con traumatismo craneal leve (los criterios de levedad deben estar previamente definidos), ¿mejora el pronóstico el tratamiento con corticoides?”. La P serían los lactantes que sufren un traumatismo craneal leve, la I sería el tratamiento con corticoides, la C sería, en este caso, no dar corticoides y, finalmente, la O sería el pronóstico (que podríamos sustituir por algo más concreto como la probabilidad de ingreso hospitalario, el tiempo hasta el alta, mortalidad, etc).

Veamos otro ejemplo: en (P) lactantes con bronquiolitis, ¿(I) el uso de corticoides intravenosos (C) en lugar de inhalados (O) disminuye el riesgo de ingreso?. O este otro: en (P) lactantes con otitis, ¿(I) el uso de antibióticos (O) acorta la duración de la enfermedad?.

Según el tipo de respuesta que persiguen, las preguntas clínicas pueden clasificarse en cuatro tipos fundamentales: diagnóstico, tratamiento, pronóstico y etiología o daño. Las preguntas de diagnóstico se refieren a cómo seleccionar e interpretar pruebas diagnósticas. Las preguntas de tratamiento tienen que ver con el tratamiento que podemos seleccionar para ofrecer más beneficios que riesgos y con un coste económico y de recursos que merezca la pena. Las preguntas de pronóstico sirven para estimar la probabilidad del curso clínico venidero y anticipar complicaciones. Por último, las preguntas de etiología o daño son las que nos sirven para identificar las causas de las enfermedades, incluyendo las iatrogénicas.

El tipo de pregunta es importante porque nos va a definir el tipo de diseño de estudio que con más probabilidad puede responder a nuestra pregunta. Así, las preguntas de diagnóstico se responden mejor con estudios de diseño específico para la evaluación de pruebas diagnósticas. Las preguntas de tratamiento o daño pueden responderse con ensayos clínicos (lo ideal) o con estudios observacionales. Sin embargo, las preguntas de pronóstico suelen precisar estudios observacionales para encontrar su respuesta. Por último, saber que existen otros tipos de pregunta clínica además de las cuatro básicas, como las de frecuencia (que se responderán con revisiones sistemáticas o estudios observacionales) o las de coste-beneficio (para las que necesitaremos estudios de evaluación económica).

Una pregunta estructurada bien planteada puede ayudarnos a resolver un problema clínico, pero también suele servir de origen a más preguntas, con las que ir rellenando lagunas para ser cada vez un poco menos ignorantes. Además, sin estructurar nuestra pregunta en los distintos componentes es tarea prácticamente imposible encontrar información útil. El que no me crea que escriba “asma” en PubMed o en otro buscador y mire el número de resultados. Algunos buscadores, como el de Trip Database, permiten incluso realizar la búsqueda utilizando la estructura PICO de la pregunta clínicamente estructurada. Pero, por desgracia, en la mayoría de los casos tendremos que buscar los sinónimos de cada componente y encontrar el descriptor adecuado para la base de datos donde vayamos a buscar, utilizando habitualmente técnicas de búsqueda avanzada. Pero esa es otra historia…

Los tres pilares de la sabiduría

Seguro que todos, con una frecuencia mayor de la que desearíamos, habremos encontrado alguna lagunilla en nuestro conocimiento que nos hacía dudar de los pasos a seguir en el diagnóstico o tratamiento de alguno de nuestros pacientes. Siguiendo la costumbre habitual, e intentando ahorrar esfuerzos, seguro que habremos preguntado a los colegas más cercanos, con la esperanza de que nos resolviesen el problema sin tener que acudir al temido PubMed (¡¿Quién ha dicho Google?!). Como último recurso hasta habremos consultado algún libro de medicina en un intento desesperado de obtener respuestas, pero ni los libros más gordos nos libran de tener que buscar en una base de datos de vez en cuando.

Y para hacerlo bien, convendrá que sigamos la sistemática de los cinco pasos que nos marca la Medicina Basada en la Evidencia: formular nuestra pregunta de forma estructurada (primer paso), hacer nuestra búsqueda bibliográfica (segundo paso) y leer críticamente los artículos que encontremos y que consideremos relevantes para el tema (tercer paso), para terminar con los dos últimos pasos que consistirán en combinar lo que hemos encontrado con nuestra experiencia y los valores del paciente (cuarto paso) y evaluar cómo influye en nuestro desempeño (quinto paso).

Así que nos arremangamos, elaboramos nuestra pregunta clínica estructurada y entramos en PubMed, Embase o TRIP, o la base de datos que nos interese para buscar respuestas. Tras no pocos sudores fríos conseguimos bajar el número inicial de resultados de 15234 y obtenemos el trabajo deseado que esperamos ilumine nuestra ignorancia. Pero, aunque la búsqueda haya sido impecable, ¿estamos seguros de que hemos encontrado lo que necesitamos? Comienza aquí la ardua tarea de realizar una lectura crítica del trabajo para valorar su capacidad real para solucionar nuestro problema.

Este paso, el tercero de los cinco que hemos visto y quizás el más temido de todos, es indispensable dentro del flujo metodológico de la Medicina Basada en la Evidencia. Y esto es así porque no es oro todo lo que reluce: incluso artículos publicados en revistas de prestigio por autores conocidos pueden tener una calidad deficiente, contener errores metodológicos, no tener nada que ver con nuestro problema o tener errores en la forma de analizar o presentar los resultados, muchas veces de manera sospechosamente interesada. Y no es porque lo diga yo, incluso hay quien piensa que el lugar más idóneo para guardar el 90% de lo que se publica es la papelera, sin importar si la revista es de alto impacto o si los autores son más famosos que Julio Iglesias (o su hijo Enrique, para el caso). Nuestra pobre excusa para justificar nuestro poco conocimiento sobre cómo elaborar y publicar trabajos científicos es que somos clínicos y no investigadores y, claro, lo mismo le ocurre muchas veces a los revisores de las revistas, que se tragan todos los gazapos que metemos los clínicos.

Así, pues, se entiende que la lectura crítica sea un paso fundamental para sacar el máximo provecho de la literatura científica, en especial en una era en la que abunda la información pero escasea el tiempo disponible para evaluarla.

Antes de entrar en la sistemática de la lectura, echaremos un vistazo por encima al documento y su resumen para tratar de ver si el artículo en cuestión puede cumplir nuestras expectativas. El primer paso que debemos realizar siempre es valorar si el trabajo contesta a nuestra pregunta. Esto suele ser así si hemos elaborado correctamente la pregunta clínica estructurada y hemos hecho una buena búsqueda de la evidencia disponible, pero de todos modos conviene siempre comprobar que el tipo de población, estudio, intervención, etc se ajustan a lo que buscamos.

Una vez que estamos convencidos de que es el trabajo que necesitamos, realizaremos la lectura crítica. Aunque los detalles dependerán del tipo de diseño del estudio, siempre nos apoyaremos en tres pilares básicos: validez, importancia y aplicabilidad.

La validez consiste en comprobar el rigor científico del trabajo para saber cuánto se aproxima a la verdad. Hay una serie de criterios comunes a todos los estudios, como son un diseño correcto, una población adecuada, la existencia de grupos de intervención y control homogéneos al comienzo del estudio, un seguimiento correcto, etc. A alguien se le ocurrió que esta validez debía llamarse mejor validez interna, así que podemos encontrarla también con este nombre.

El segundo pilar es la importancia, que mide la magnitud del efecto encontrado. Imaginemos el hipotensor de turno que con una p cargada de ceros es mejor que el de uso habitual, pero que disminuye la presión arterial una media de 5 mmHg. Por muchos ceros que tenga la p (que es estadísticamente significativa, eso no se lo quita nadie) no me negaréis que el impacto del efecto es más bien ridículo.

El último pilar es el de la aplicabilidad, que consiste en valorar si la situación, pacientes e intervención del estudio son lo suficientemente parecidos a nuestro ambiente como para generalizar los resultados. La aplicabilidad se conoce también como validez externa.

No todos los trabajos científicos pueden ser calificados de forma favorable en estos tres aspectos. Puede ocurrir que un trabajo muy válido (validez interna) que encuentre un efecto muy importante no sea aplicable en absoluto a nuestros pacientes. Además, no debemos olvidar que estamos hablando de una herramienta de trabajo. Aún con los trabajos más idóneos hay que tener siempre en cuenta los beneficios, daños y costes, así como las preferencias del paciente, aspecto este último del que nos olvidamos con más frecuencia de la que sería deseable.

Para facilitar la sistemática en el acto de la lectura crítica, existen diversas herramientas disponibles en Internet. Una de las más utilizadas son las plantillas o parrillas del grupo CASPe, más que recomendables para utilizar como guía al realizar una lectura crítica sin olvidar ningún aspecto importante. También en nuestro medio están disponibles las fichas de lectura crítica (FLC) de Osteba, que permiten almacenar los trabajos analizados. Y, para aquellos que les guste el inglés, pueden usar las herramientas escocesas de SIGN.

Lógicamente, las medidas específicas de impacto y asociación y los requisitos para cumplir los criterios de validez interna dependerán específicamente del tipo de diseño del estudio que tengamos entre manos. Pero esa es otra historia…

Un sesgo por ausencia

La unión hace la fuerza. Es un hecho. Los grandes objetivos se logran con más facilidad con la unión del esfuerzo de muchos. Y esto también se cumple en estadística.
En efecto, hay ocasiones en que los ensayos clínicos no tienen la potencia necesaria para demostrar lo que persiguen, ya sea por falta de muestra por motivos de tiempo, dinero o dificultad para reclutar participantes, o por otro tipo de limitaciones de tipo metodológico. En estos casos, es posible recurrir a una técnica que nos permite, en ocasiones, aunar el esfuerzo de múltiples ensayos para poder alcanzar la conclusión a la que no llegaríamos con ninguno de los ensayos por separado. Esta técnica es el metanálisis.
El metanálisis nos da una síntesis matemática cuantitativa exacta de los estudios incluidos en el análisis, generalmente los estudios recuperados durante la realización de una revisión sistemática. Lógicamente, si incluimos todos los estudios que se hayan realizado sobre un tema (o, al menos, todos los que sean relevantes para nuestra investigación), esa síntesis reflejará el conocimiento actual sobre el tema. Sin embargo, si la recogida está sesgada y nos faltan estudios, el resultado será reflejo solo de los artículos recogidos, no del total del conocimiento disponible.
Cuando planeamos la revisión debemos establecer una estructura de búsqueda global para tratar de encontrar todos los trabajos. Si no lo hacemos así podemos cometer un sesgo de recuperación, que tendrá el mismo efecto sobre el análisis cuantitativo que el sesgo de publicación. Pero, incluso con las búsquedas electrónicas modernas, es muy difícil encontrar toda la información relevante sobre un tema concreto.
En los casos de que falten estudios, la importancia del efecto dependerá de cómo se pierdan los estudios. Si se pierden al azar, todo quedará en un problema de menor información, con lo que la precisión de nuestros resultados será menor y los intervalos de confianza serán más amplios, pero puede que nuestras conclusiones sean correctas. Sin embargo, si los trabajos que no encontramos son sistemáticamente diferentes de los que encontramos, el resultado de nuestro análisis puede estar sesgado, ya que nuestras conclusiones solo podrán aplicarse a la muestra de trabajos, que será una muestra sesgada.
Existen una serie de factores que pueden contribuir a este sesgo de publicación. En primer lugar, es más probable que se publiquen los estudios con resultados significativos y, dentro de estos, es más probable que se publiquen cuando el efecto es mayor. Esto hace que los estudios con resultados negativos o con efectos de pequeña magnitud puedan no llegar a ser publicados, con lo que sacaremos una conclusión sesgada del análisis solo de los estudios grandes con resultado positivo.
En segundo lugar, como es lógico, los estudios publicados tienen más probabilidad de llegar a nuestras manos que los que no se publican en revistas científicas. Es el caso de tesis doctorales, comunicaciones a congresos, informes de agencias gubernamentales o, incluso, estudios pendientes de publicar realizados por investigadores del tema que estemos tratando. Por este motivo es tan importante hacer una búsqueda que incluya este tipo de trabajos, que se engloban dentro del término de literatura gris.
Por último, pueden enumerarse una serie de sesgos que influyen en la probabilidad de que un trabajo sea publicado o recuperado por el investigador que realiza la revisión sistemática tales como el sesgo de lenguaje (limitamos la búsqueda por idioma), el sesgo de disponibilidad (se incluyen solo los estudios que son fáciles de recuperar por parte del investigador), el sesgo de coste (se incluyen estudios que son gratis o baratos), el sesgo de familiaridad (solo se incluyen los de la disciplina del investigador), el sesgo de duplicación (los que tienen resultados significativos tienen más probabilidad de ser publicados más de una vez) y el sesgo de citación (los estudios con resultado significativo tienen más probabilidad de ser citados por otros autores).
Uno puede pensar que esto de perder trabajos durante la revisión no puede ser tan grave, ya que podría argumentarse que los estudios no publicados en revistas con revisión por pares suelen ser de peor calidad, por lo que no merecen ser incluidos en el metanálisis. Sin embargo, no está claro ni que las revistas científicas aseguren la calidad metodológica del trabajo ni que este sea el único método para hacerlo. Hay investigadores, como los de las agencias gubernamentales, que no están interesados en publicar en revistas científicas, sino en elaborar informes para quienes los encargan. Además, la revisión por pares no es garantía de calidad ya que, con demasiada frecuencia, ni el investigador que realiza el trabajo ni los encargados de revisarlo tienen una formación en metodología que asegure la calidad del producto final.
Existen herramientas para valorar el riesgo de sesgo de publicación. Quizás lo más sencillo puede ser representar un forest plot ordenado con los estudios más precisos en la parte superior y los menos en la inferior. Según nos desplazamos hacia abajo disminuye la precisión de los resultados, con lo que el efecto debe oscilar hacia ambos lados de la medida resumen de resultado. Si solo oscila hacia uno de los lados, podemos suponer de forma indirecta que no hemos detectado los trabajos que deben existir que oscilen hacia el lado contrario, por lo que seguramente tendremos un sesgo de publicación.
funnel_sesgoOtro procedimiento similar es la utilización del gráfico de embudo o funnel plot, tal como veis en la imagen adjunta. En este gráfico se representa en el eje X el tamaño del efecto y en el eje Y una medida de la varianza o el tamaño muestral, invertido. Así, en la parte superior estarán los estudios más grandes y precisos. Una vez más, según bajamos por el gráfico, la precisión de los estudios es menor y se van desplazando hacia los lados por error aleatorio. Cuando existe sesgo de publicación este desplazamiento es asimétrico. El problema del gráfico en embudo (funnel plot para los ingleses) es que su interpretación puede ser subjetiva, por lo que hay métodos numéricos para tratar de detectar el sesgo de publicación.
Y, llegados a este punto, ¿qué debemos hacer ante un sesgo de publicación? Quizás lo más adecuado será no preguntarse si existe el sesgo, sino cuánto afecta mis resultados (y dar por hecho que nos hemos dejado estudios sin incluir en el análisis).
La única forma de saber si el sesgo de publicación afecta a nuestras estimaciones sería comparar el efecto en los estudios recuperados y en los no recuperados pero, claro está, entonces no tendríamos que preocuparnos por el sesgo de publicación.
Para saber si el resultado observado es robusto o, por el contrario, es susceptible de estar sesgado por un sesgo de publicación, se han ideado dos métodos de la N de seguridad, los conocidos en inglés como los métodos fail-safe N.
El primero es el método de la N de seguridad de Rosenthal. Supongamos que tenemos un metanálisis con un efecto que es estadísticamente significativo, por ejemplo, un riesgo relativo mayor que uno con una p < 0,05 (o un intervalo de confianza del 95% que no incluye el valor nulo, el uno). Entonces nos hacemos una pregunta: ¿cuántos estudios con RR = 1 (valor nulo) tendremos que incluir hasta que la p no sea significativa? Si necesitamos pocos estudios (menos de 10) para hacer nulo el valor del efecto, podemos preocuparnos porque puede que el efecto sea nulo en realidad y nuestra significación sea producto de un sesgo de publicación. Por el contrario, si hacen falta muchos estudios, probablemente el efecto sea significativo de verdad. Este número de estudios es lo que significa la letra N del nombre del método. El problema de este método es que se centra en la significación estadística y no en la importancia de los resultados. Lo correcto sería buscar cuántos estudios hacen falta para que el resultado pierda importancia clínica, no significación estadística. Además, asume que los efectos de los estudios faltantes es nulo (uno en caso de riesgos relativos y odds ratios, cero en casos de diferencias de medias), cuando el efecto de los estudios faltantes puede ir en sentido contrario que el efecto que detectamos o en el mismo sentido pero de menor magnitud. Para evitar estos inconvenientes existe una variación de la fórmula anterior que valora la significación estadística y la importancia clínica. Con este método, que se denomina el de la N de seguridad de Orwin, se calcula cuántos estudios hacen falta para llevar el valor del efecto a un valor específico, que será generalmente el menor efecto que sea clínicamente importante. Este método permite también especificar el efecto medio de los estudios faltantes.
Y aquí dejamos los metanálisis y el sesgo de publicación por hoy. No hemos hablado nada de otros métodos matemáticos para detectar el sesgo de publicación como el de Begg y el de Egger. Hay incluso algún método gráfico aparte de los que hemos mencionado, como el de ajuste y relleno. Pero esa es otra historia…

Hazlo con sensibilidad

Hacer las cosas con sensibilidad suele ser garantía de buenos resultados. Pero seguro que no habíais pensado que esto también se aplica en la ciencia: cuando utilizamos el método científico, para garantizar la validez de nuestros resultados tenemos que analizarlos con sensibilidad. Bueno, en realidad tenemos que hacer un análisis de sensibilidad.

Resulta que en los estudios en biomedicina se asumen en ocasiones ciertos supuestos a la hora de realizarlos y estos supuestos, que suelen concernir a los métodos de análisis o a los modelos empleados, pueden influir en los resultados que obtenemos. Siempre que nos podamos preguntar si los resultados cambiarían si cambiásemos alguna de las definiciones del estudio, o el método de análisis, o el modo de tratar los datos faltantes o el cumplimiento o violaciones del protocolo de estudio, la validez de nuestros resultados puede verse comprometida. Para defendernos de esto podemos hacer un análisis de sensibilidad y si los resultados siguen siendo los mismos, podremos decir que nuestras conclusiones son robustas.

Un análisis de sensibilidad es, por tanto, el método que usamos para determinar la robustez de una valoración examinando en qué grado los resultados se influyen por cambios en la metodología o en los modelos utilizados en el estudio.

Así que, siempre que nuestros resultados se basen en suposiciones que puedan influir en su impacto, estaremos obligados a hacer un análisis de sensibilidad, cuya metodología dependerá de cada escenario clínico concreto.

Un ejemplo puede ser la presencia de datos extremos (outliers para nuestros amigos ingleses), que pueden sesgar la media de una muestra y alterar las estimaciones que se hacen a partir de ella. Lo más sencillo es ver si existen mediante un diagrama de cajas (boxplot) y, en caso afirmativo, hacer el análisis con y sin los valores extremos para ver cómo cambian los resultados.

Otras veces existe falta de cumplimiento de la intervención o violaciones del protocolo de estudio que pueden diluir el efecto de la intervención. Podremos, en estos casos, realizar un análisis por intención de tratar y un análisis por protocolo y estudiar si existen diferencias.

En otras ocasiones la definición de las variables de resultado puede ser arbitraria, por lo que puede ser útil estudiar las conclusiones que se obtienen aplicando otros puntos de corte.

Si el muestreo se realiza en bloques, como ocurre con los estudios multicéntricos, tendremos que comparar los resultados haciendo el análisis global y el análisis por bloques, con y sin ajustar por la pertenencia de cada participante a cada bloque, ya que la homogeneidad de los datos dentro de cada bloque puede ser diferente.

Un caso curioso es el de los riesgos competitivos. Por ejemplo, si valoramos como variables de resultado infarto, angina y muerte, esta última evita la posibilidad de que vuelvan a ocurrir las dos primeras, con lo cual el análisis de supervivencia puede verse interferido. Para evitar esto hay métodos de análisis utilizando las curvas de Kaplan-Meier censurando las ocurrencias de las variables competitivas. En cualquier caso, el análisis de sensibilidad debe hacer un ajuste por el factor de riesgo competitivo.

Parecido ocurre cuando existen diferencias en las características basales de las poblaciones de control y de intervención. En estos casos, el análisis simple debe completarse con un análisis que ajuste por estas diferencias, habitualmente utilizando un modelo de regresión multivariante.

Y, para acabar, dos problemas un poco espinosos respecto al análisis estadístico. El primero se refiere al tipo de distribución de frecuencias que empleamos para el análisis. Suele asumirse que las variables continuas siguen una distribución normal, las discretas una de Poisson y las binarias una binomial. Habitualmente se comprueba que los datos se ajustan a estas distribuciones pero, si queremos tener más seguridad acerca de su validez, podemos probar los resultados asumiendo distribuciones diferentes, como la t de Student para la normal o la binomial negativa para la de Poisson.

El segundo sería el problema con los datos que faltan (los missing). En este caso tenemos dos opciones: hacer el análisis solo con los datos completos o suponer (imputar dicen los que saben de esto) los valores que faltan para incluirlos todos en el análisis. Con ambas posibilidades corremos riesgo de sesgos, dependiendo en gran parte de qué condiciona que falten los datos y de si los datos que se pierden son al azar o no. Habitualmente se hace el análisis completo y el análisis con imputación de datos y se estudian las diferencias en los resultados obtenidos.

Y esto es, a grandes rasgos, lo que es un análisis de sensibilidad. Hemos pasado muy por encima el asunto de la imputación de datos, que da para escribir un libro de los gordos. Y es que, aunque lo ideal es tratar de prevenir que nos falten datos, cuando esto ocurre tenemos un montón de formas de inventárnoslos. Pero esa es otra historia…

La asimetría del embudo

Aquiles. ¡Qué tío!. Sin duda, uno de los más famosos de todo el follón que armaron en Troya por culpa de Helena la guapa. Ya sabéis su historia. El tío era la leche porque su madre, que era nada menos que la ninfa Tetis, lo bañó en ambrosía y lo sumergió en la laguna Estigia para que fuese invulnerable. Pero cometió un error que una ninfa no debiera haberse permitido: lo agarró por el talón derecho, que no se mojó en la laguna. Así que de ahí le viene a Aquiles su punto débil. Héctor no se dio cuenta a tiempo pero Paris, bastante más espabilado, le metió un flechazo en el talón y lo mandó otra vez a la laguna, pero no al agua, sino al otro lado. Y sin barquero.

Este cuento es el origen de la expresión “talón de Aquiles”, que suele referirse al punto más débil o vulnerable de alguien o algo que, por lo demás, suele ser conocido por su fortaleza.

Por ejemplo, algo tan robusto y formidable como el metanálisis tiene su talón de Aquiles: el sesgo de publicación. Y eso se debe a que en el mundo de la ciencia no hay justicia social.

Todos los trabajos científicos deberían tener las mismas oportunidades de ser publicados y alcanzar la fama, pero la realidad no es en absoluto así y los trabajos pueden verse discriminados por cuatro razones: significación estadística, popularidad del tema del que tratan, el tener alguien que los apadrine y el idioma en que están escritos.

La realidad es que los trabajos con resultados estadísticamente significativos tienen más probabilidades de ser publicados que los no significativos. Además, incluso si son aceptados, los significativos se publican antes y, con más frecuencia, en revistas en inglés, con mayor prestigio y difusión. Esto hace que, a la larga, se citen en otros trabajos con más frecuencia. Y lo mismo ocurre con los trabajos con resultados “positivos” frente a los que tienen resultados “negativos”.

De igual manera, los trabajos sobre temas de interés público tienen más probabilidad de ser publicados con independencia de la importancia de sus resultados. Además, el padrino también influye: una casa comercial que financie un estudio de un producto suyo y le salga mal, encima no va a publicarlo para que todos sepamos que su producto no es útil. Y, por último, los trabajos en inglés tienen más difusión que los escritos en otros idiomas.

Todo esto puede verse empeorado por el hecho de que estos mismos factores pueden influir en los criterios de inclusión y exclusión de los estudios primarios del metanálisis, de tal forma que obtenemos una muestra de trabajos que puede no ser representativa del conocimiento global sobre el tema del que trate la revisión sistemática y el metanálisis.

Si tenemos un sesgo de publicación la aplicabilidad de los resultados se verá seriamente comprometida. Por esto decimos que el sesgo de publicación es el verdadero talón de Aquiles del metanálisis.

Si delimitamos correctamente los criterios de inclusión y exclusión de los estudios y hacemos una búsqueda global y sin restricciones de la literatura habremos hecho todo lo posible para minimizar el riesgo de sesgo, pero nunca podremos estar seguros de haberlo evitado. Por eso se han ideado técnicas y herramientas para su detección.

funnel_nosesgoLa más usada tiene el simpático nombre de gráfico en embudo, aunque es más conocido por su nombre en inglés: funnel plot. En él se representa la magnitud del efecto medido (eje X) frente a una medida de precisión (eje Y), que suele ser el tamaño muestral, pero que puede también ser el inverso de la varianza o el error estándar. Representamos cada estudio primario con un punto y observamos la nube de puntos.

En la forma más habitual, con el tamaño de la muestra en el eje Y, la precisión de los resultados será mayor en los estudios de muestra más grande, con lo que los puntos estarán más juntos en la parte alta del eje y se irán dispersando al acercarnos al origen del eje Y. De esta forma, se observa una nube de puntos en forma de embudo, con la parte ancha hacia abajo. Este gráfico debe ser simétrico y, en caso de que no sea así, debemos sospechar siempre un sesgo de publicación. En el segundo ejemplo que os pongo podéis ver como “faltan” los estudios que están hacia el lado de falta de efecto: esto puede significar que solo se publican los estudios con resultado positivo.

funnel_sesgoEste método es muy sencillo de utilizar pero, en ocasiones, podemos tener dudas acerca de la asimetría de nuestro embudo, sobre todo si el número de estudios es pequeño. Además, el embudo puede ser asimétrico por defectos de la calidad de los estudios o porque estemos tratando con intervenciones cuyo efecto varíe según el tamaño de la muestra de cada estudio.  Para estos casos se han ideado otros métodos más objetivos como la prueba de correlación de rangos de Begg y la prueba de regresión lineal de Egger.

La prueba de Begg estudia la presencia de asociación entre las estimaciones de los efectos y sus varianzas. Si existe correlación entre ellos, mal asunto. El problema de esta prueba es que tiene poca potencia estadística, por lo que es poco de fiar cuando el número de estudios primarios es pequeño.

eggerLa prueba de Egger, más específica que la de Begg, consiste en representar gráficamente la recta de regresión entre la precisión de los estudios (variable independiente) y el efecto estandarizado (variable dependiente). Esta regresión hay que ponderarla por el inverso de la varianza, así que no os recomiendo que la hagáis por vuestra cuenta, salvo que seáis estadísticos consumados. Cuando no hay sesgo de publicación la recta de regresión se origina en el cero del eje Y. Cuánto más se aleje del cero, mayor evidencia de sesgo de publicación.

Como siempre, existen programas informáticos que hacen estas pruebas con rapidez sin que tengamos que quemarnos el cerebro con sus cálculos.

¿Y si después de hacer el trabajo vemos que hay sesgo de publicación?. ¿Podemos hacer algo para ajustarlo?. Como siempre, podemos.trim_and_fill

La forma más sencilla es utilizar un método gráfico que se llama de ajuste y relleno (trim and fill para los amantes del inglés). Consiste en lo siguiente: a) dibujamos el funnel plot; b) quitamos los estudios pequeños para que el embudo sea simétrico; c) se determina el nuevo centro del gráfico; d) se vuelven a poner los estudios quitados y añadimos su reflejo al otro lado de la línea central; e) reestimamos es efecto.

Y para terminar deciros que, como suele ser habitual, hay un segundo método mucho más exacto pero también bastante más complejo, que consiste en un modelo de regresión basado en la prueba de Egger. Pero esa es otra historia…

Que los árboles no te impidan ver el bosque

Han pasado muchos años desde que una ardilla podía cruzar la Península Ibérica sin bajarse de un árbol. Tal era la frondosidad de nuestra tierra. Aunque no creáis, hay quien piensa que esto no es más que un mito. De todas formas, me pregunto si la ardilla en cuestión se daría cuenta de que estaba dentro de un gran bosque. Supongo que sí, aunque nunca se sabe: a veces los árboles no nos dejan ver el bosque o, más bien, todo el bosque.

En cualquier caso, una ardilla moderna no tendría esos problemas. No cabe duda de que hoy en día no podría cruzar la Península sin bajarse de un árbol pero, en cambio, sí podría cruzar el país entero sin bajarse de la cabeza de un tonto. Como leí el otro día en un blog, hay más tontos que botellines y, además, están estratégicamente colocados para que te encuentres todos los días, al menos, un par.

El metanálisis  es también una especie de bosque, donde sus estudios primarios serían los árboles. ¡Qué poético!. Pero en este caso los árboles no solo no impiden ver nada, sino que nos ayudan a ver el bosque, todo el bosque de manera global. Claro que, para eso, los resultados del metanálisis deben presentarse de la forma apropiada.

Hasta no hace mucho podíamos seguir los consejos de la declaración QUOROM, pero esta declaración se actualizó para convertirse en PRISMA, que dedica siete de sus 27 ítems a darnos consejos de cómo presentar los resultados de un metanálisis.

Primero debemos informar sobre el proceso de selección de estudios: cuántos hemos encontrado y evaluado, cuántos hemos seleccionado y cuántos rechazado, explicando además las razones para hacerlo. Para esto resulta muy útil el diagrama de flujo que debe incluir la revisión sistemática de la que procede el metanálisis si se acoge a la declaración PRISMA.

En segundo lugar deben especificarse las características de los estudios primarios, detallando qué datos sacamos de cada uno de ellos y sus correspondientes citas bibliográficas para facilitar que cualquier lector del trabajo pueda comprobar los datos si no se fía de nosotros. En este sentido va también el tercer apartado, que se refiere a la evaluación del riesgo de sesgos de los estudios y su validez interna.

Cuarto, debemos presentar los resultados de cada estudio individual con un dato resumen de cada grupo de intervención analizado junto con los estimadores calculados y sus intervalos de confianza. Estos datos nos servirán para confeccionar la información que PRISMA nos pide en su quinto punto referente a la presentación de resultados y no es otro que la síntesis de todos los estudios del metanálisis, sus intervalos de confianza, resultados del estudio de homogeneidad, etc.

Esto suele hacerse de forma gráfica con una herramienta popularmente conocida por su nombre en inglés: el forest plot. Este gráfico es una especie de bosque donde los árboles serían los estudios primarios del metanálisis y donde se resumen todos los resultados relevantes de la síntesis cuantitativa.

La Cochrane Collaboration recomienda estructurar el forest plot en cinco columnas bien diferenciadas. En la columna 1 se listan los estudios primarios o los grupos o subgrupos de pacientes incluidos en el metanálisis. Habitualmente se representan por un identificador compuesto por el nombre del primer autor y la fecha de publicación.

La columna 2 nos muestra los resultados de las medidas de efecto de cada estudio tal como las refieren sus respectivos autores.

La columna 3 es el forest plot propiamente dicho, la parte gráfica del asunto. En él se representan las medidas de efecto de cada estudio a ambos lados de la línea de efecto nulo, que ya sabemos que es el cero para diferencias de medias y el uno para odds ratios, riesgos relativos, hazard ratios, etc. Cada estudio se representa por un cuadrado cuya área suele ser proporcional a la contribución de cada uno al resultado global. Además, el cuadrado está dentro de un segmento que representa los extremos de su intervalo de confianza.

forest_esp

Estos intervalos de confianza nos informan sobre la precisión de los estudios y nos dicen cuáles son estadísticamente significativos: aquellos cuyo intervalo no cruza la línea de efecto nulo. De todas formas, no olvidéis que, aunque crucen la línea de efecto nulo y no sean estadísticamente significativos, los límites del intervalo pueden darnos mucha información sobre la importancia clínica de los resultados de cada estudio. Por último, en el fondo del gráfico encontraremos un diamante que representa el resultado global del metanálisis. Su posición respecto a la línea de efecto nulo nos informará sobre la significación estadística del resultado global, mientras que su anchura nos dará una idea de su precisión (su intervalo de confianza). Además, en la parte superior de esta columna encontraremos el tipo de medida de efecto, el modelo de análisis de datos que se ha utilizados (efectos fijos o efectos aleatorios) y el valor de significación de los intervalos de confianza (habitualmente 95%).

Suele completar este gráfico una cuarta columna con la estimación del peso de cada estudio en tantos por cien y una quinta columna con las estimaciones del efecto ponderado de cada uno. Y en algún rinconcillo de todo este bosque estará la medida de heterogeneidad que se ha utilizado, junto con su significación estadística en los casos en que sea pertinente.

Para finalizar la exposición de los resultados, PRISMA recomienda un sexto apartado con la evaluación que se haya hecho de los riesgos de sesgo del estudio y un séptimo con todos los análisis adicionales que haya sido necesario realizar: estratificación, análisis de sensibilidad, metarregresión, etc.

Como veis, nada es fácil en esto de los metanálisis. Por eso, la Cochrane recomienda seguir una serie de pasos para interpretar correctamente los resultados. A saber:

1. Verificar qué variable se compara y cómo. Suele verse en la parte superior del forest plot.

2. Localizar la medida de efecto utilizada. Esto es lógico y necesario para saber interpretar los resultados. No es lo mismo una hazard ratio que una diferencia de medias o lo que sea que se haya usado.

3. Localizar el diamante, su posición y su amplitud. Conviene también fijarse en el valor numérico del estimador global y en su intervalo de confianza.

4. Comprobar que se ha estudiado la heterogeneidad. Esto puede verse a ojo mirando si los segmentos que representan los estudios primarios están o no muy dispersos y si se solapan o no. En cualquier caso, siempre habrá un estadístico que valore el grado de heterogeneidad. Si vemos que existe heterogeneidad, lo siguiente será buscar qué explicación dan los autores sobre su existencia.

5. Sacar nuestras conclusiones. Nos fijaremos en qué lado de la línea de efecto nulo están el efecto global y su intervalo de confianza. Ya sabéis que, aunque sea significativo, el límite inferior del intervalo conviene que esté lo más lejos posible de la línea, por aquello de la importancia clínica, que no siempre coincide con la significación estadística. Por último, volved a mirar el estudio de homogeneidad. Si hay mucha heterogeneidad los resultados no serán tan fiables.

Y aquí terminamos con los resultados y el forest plot. En realidad, el forest plot no es exclusivo de los metanálisis y puede usarse siempre que queramos comparar estudios para dilucidar su significación estadística o clínica, o en casos como los estudios de equivalencia, en los que a la línea de efecto nulo se le unen las de los umbrales de equivalencia. Pero aún tiene una utilidad más. Una variante del forest plot sirve también para valorar si existe sesgo de publicación en la revisión sistemática, aunque en estos casos se le suele llamar gráfico en embudo. Pero esa es otra historia…

Cuando muchos pocos hacen un mucho

Todos conoceréis el cuento chino del pobre grano de arroz solitario que se cae al suelo y no lo oye nadie. Claro que si en lugar de caerse un grano se cae un saco lleno de arroz eso ya será otra cosa. Hay muchos ejemplos de que la unión hace la fuerza. Una hormiga roja es inofensiva, salvo que te muerda en alguna zona blanda y noble, que suelen ser las más sensibles. Pero ¿qué me decís de una marabunta de millones de hormigas rojas?. Eso sí que acojona, porque si se juntan todas y vienen a por ti, poco podrás hacer para parar su empuje. Sí, la suma de muchos “pocos” hace un “mucho”.

Y esto también pasa en estadística. Con una muestra relativamente pequeña de votantes bien elegidos podemos estimar quién va a ganar unas elecciones en las que votan millones. Así que, ¿qué no podríamos hacer con un montón de esas muestras?. Seguro que la estimación sería más fiable y más generalizable.

Pues bien, esta es precisamente una de las finalidades del metanálisis, que utiliza diversas técnicas estadísticas para hacer una síntesis cuantitativa de los resultados de un conjunto de estudios que, aunque tratan de responder a la misma pregunta, no llegan exactamente al mismo resultado.

Sabemos que antes de combinar los resultados de los estudios primarios de un metanálisis debemos comprobar previamente que estos estudios son homogéneos entre sí, ya que, en caso contrario, tendría poco sentido hacerlo y los resultados que obtendríamos no serían válidos ni podríamos generalizarlos. Para esto existen una serie de métodos, tanto numéricos como gráficos, que nos pueden asegurar que tenemos la homogeneidad que necesitamos.

El siguiente paso es analizar los estimadores del tamaño de efecto de los estudios, ponderándolos según la contribución que cada estudio va a tener sobre el resultado global. La forma más habitual es ponderar la estimación del tamaño del efecto por la inversa de la varianza de los resultados, realizando posteriormente el análisis para obtener el efecto medio. Para esto hay varias posibilidades, aunque los dos métodos que se utilizan habitualmente son el modelo de efectos fijos y el modelo de efectos aleatorios. Ambos modelos difieren en la concepción que hacen de la población de partida de la que proceden los estudios primarios.

El modelo de efectos fijos considera que no existe heterogeneidad y que todos los estudios estiman el mismo tamaño de efecto de la población, por lo que se asume que la variabilidad que se observa entre los estudios individuales se debe únicamente al error que se produce al realizar el muestreo aleatorio en cada estudio. Este error se cuantifica estimando la varianza intraestudios, asumiendo que las diferencias en los tamaños de efecto estimados se deben solo a que se han utilizado muestras de sujetos diferentes.

Por otro lado, en el modelo de efectos aleatorios se parte de la base de que el tamaño de efecto sigue una distribución de frecuencias normal dentro de la población, por lo que cada estudio estima un tamaño de efecto diferente. Por lo tanto, además de la varianza intraestudios debida al error del muestreo aleatorio, el modelo incluye también la variabilidad entre estudios, que representaría la desviación de cada estudio respecto del tamaño de efecto medio. Estos dos términos de error son independientes entre sí, contribuyendo ambos a la varianza del estimador de los estudios.

En resumen, el modelo de efectos fijos incorpora solo un término de error por la variabilidad de cada estudio, mientras que el de efectos aleatorios añade, además, otro término de error debido a la variabilidad entre los estudios.

Veis que no he escrito ni una sola fórmula. En realidad no nos hace falta conocerlas y son bastante antipáticas, llenas de letras griegas que no hay quien las entienda. Pero no os preocupéis. Como siempre, los programas estadísticos como RevMan de la Cochrane Collaboration permiten hacer los cálculos de forma sencilla, quitando y sacando estudios del análisis y cambiando de modelo según nos apetezca.

El tipo de modelo a elegir tiene su importancia. Si en el análisis previo de homogeneidad vemos que los estudios son homogéneos podremos utilizar el modelo de efectos fijos. Pero si detectamos que existe heterogeneidad, dentro de los límites que nos permiten combinar los estudios, será preferible usar el modelo de efectos aleatorios.

Otra consideración a realizar es la de la aplicabilidad o validez externa de los resultados del metanálisis. Si hemos utilizado el modelo de efectos fijos será comprometido generalizar los resultados fuera de las poblaciones con características similares a las de los estudios incluidos. Esto no ocurre con los datos utilizados con el modelo de efectos aleatorios, cuya validez externa es mayor por provenir de poblaciones de diferentes estudios.

En cualquier caso, obtendremos una medida de efecto medio junto con su intervalo de confianza. Este intervalo de confianza será estadísticamente significativo cuando no cruce la línea de efecto nulo, que ya sabemos que es cero para diferencias de medias y uno para odds ratios y riesgos relativos. Además, la amplitud del intervalo nos informará sobre la precisión de la estimación del efecto medio en la población: cuánto más ancho, menos preciso, y viceversa.

Si pensáis un poco comprenderéis en seguida porqué el modelo de efectos aleatorios es más conservador que el de efectos fijos en el sentido de que los intervalos de confianza que se obtienen son menos precisos, ya que incorpora más variabilidad en su análisis. En algún caso puede ocurrir que el estimador sea significativo si usamos el de efectos fijos y no lo sea si usamos el de efectos aleatorios, pero esto no debe condicionarnos a la hora de escoger el modelo a utilizar. Siempre debemos basarnos en la medida previa de heterogeneidad aunque, si tenemos dudas, también podemos utilizar los dos y comparar los diferentes resultados.

Y ya solo nos quedaría presentar los resultados de forma correcta. Los datos de los metanálisis suelen representarse en un gráfico específico que se suele conocer por su nombre en inglés: el forest plot. Pero esa es otra historia…

En la variedad, no siempre está el gusto

La variedad es buena para muchas cosas. ¡Qué aburrido sería el mundo si todos fuésemos iguales! (sobre todo si fuésemos como alguno que se me está ocurriendo ahora). Nos gusta ir a sitios diferentes, comer cosas diferentes, conocer a personas distintas y divertirnos en ambientes diferentes. Pero hay cosas para las cuáles la variedad es como un grano en el culo.

Pensad que tenemos un conjunto de ensayos clínicos sobre un mismo tema y queremos hacer un metanálisis para obtener un resultado global. Aquí necesitaremos la menor variabilidad posible entre los estudios si queremos combinarlos. Porque, señoras y señores, aquí impera aquello de juntos, pero no revueltos.

Antes de pensar en combinar los resultados de los estudios de una revisión sistemática para hacer un metanálisis debemos hacer siempre un estudio previo de la heterogeneidad de los estudios primarios, que no es más que la variabilidad que existe entre los estimadores que se han obtenido en cada uno de esos estudios.

En primer lugar, investigaremos posibles causas de heterogeneidad, como pueden ser diferencias en los tratamientos, variabilidad de las poblaciones de los diferentes estudios y diferencias en los diseños de los ensayos.

Una vez que llegamos a la conclusión de que los estudios se parecen lo suficiente como para intentar combinarlos debemos tratar de medir esta heterogeneidad para tener un dato objetivo. Para esto, diversos cerebros privilegiados han creado una serie de estadísticos que contribuyen a nuestra cotidiana selva de siglas y de letras.

Hasta hace poco el más famoso era la Q de Cochran, que no tiene nada que ver ni con el amigo de James Bond ni con nuestro amigo Archie Cochrane. Su cálculo tiene en cuenta la suma de las desviaciones entre el resultado del estudio y el resultado global (elevados al cuadrado por aquello de que no se anulen positivas con negativas), ponderando cada estudio según su contribución al resultados global. Parece impresionante pero, en realidad, no es para tanto. En el fondo no es más que una prima aristócrata de la chi-cuadrado. En efecto, la Q sigue una distribución chi-cuadrado con k-1 grados de libertad (k es el número de estudios primarios). Calculamos su valor, buscamos en la distribución de frecuencias la probabilidad de que la diferencia no se deba al azar y tratamos de rechazar nuestra hipótesis nula (que asume que las diferencias entre estudios son debidas al azar). Pero la Q, a pesar de sus apariencias, tiene una serie de debilidades.

En primer lugar, es un parámetro conservador y debemos siempre tener en cuenta que no significativo no es sinónimo obligatoriamente de ausencia de heterogeneidad: simplemente, no podemos rechazar la hipótesis nula, así que la damos como buena, pero siempre con el riesgo de cometer un error de tipo II y columpiarnos. Por esto, algunos proponen utilizar un nivel de significación de p<0,1 en lugar de la p<0,05 habitual. Otro fallo que tiene la Q es que no cuantifica el grado de heterogeneidad y, por supuesto, tampoco da razones de las causas que la producen. Y, por si fuera poco, pierde potencia cuando el número de estudios es pequeño y no permite comparar diferentes metanálisis entre sí si el número de estudios es diferente.

Por estos motivos se ha desarrollado otro estadístico que es mucho más celebre en la actualidad: la I2. Este parámetro proporciona una estimación de la variabilidad total entre los estudios respecto a la variabilidad total lo que, dicho de otro modo, es la proporción de la variabilidad debida en realidad a heterogeneidad por diferencias reales entre los estimadores respecto a la variabilidad debida al azar. También parece impresionante, pero en realidad es otra prima aventajada del coeficiente de correlación intraclase.

Su valor va de 0 a 100%, considerándose habitualmente los límites de 25%, 50% y 75% para delimitar cuando existe una heterogeneidad baja, moderada y alta, respectivamente. La I2 no depende de las unidades de medida de los efectos ni del número de estudios, por lo que sí permite comparaciones con distintas medidas de efecto y entre diferentes metanálisis con diferente número de estudios.

Si encontráis algún estudio con Q pero sin I2, o viceversa, y queréis calcular el que no tenéis, podéis utilizar la siguiente formulilla, donde k es el número de estudios primarios:

I^{2}= \frac{Q-k+1}{Q}Existe un tercer parámetro menos conocido, pero no por ello menos digno de mención: la H2. Esta H2 mide el exceso del valor de Q respecto del valor que esperaríamos obtener si no existiese heterogeneidad. Por tanto, un valor de 1 significa que no hay heterogeneidad y su valor aumenta cuando aumenta la heterogeneidad entre los estudios. Pero su verdadero interés es que permite el cálculo de intervalos de confianza para la I2.

No os preocupéis por los cálculos de Q, I2 y H2. Para eso se usan programas específicos como RevMan o módulos que hacen la misma función dentro de los programas de estadística habituales.

Un punto de atención: recordad siempre que no poder demostrar heterogeneidad no siempre quiere decir que los estudios sean homogéneos. El problema es que la hipótesis nula asume que son homogéneos y las diferencias se deben al azar. Si podemos rechazarla podemos asegurar que hay heterogeneidad. Pero esto no funciona al revés: si no podemos rechazarla quiere decir simplemente eso, que no podemos rechazar que no haya heterogeneidad, pero siempre habrá una probabilidad de cometer un error de tipo II si asumimos directamente que los estudios son homogéneos.

Por este motivo se han ideado una serie de métodos gráficos para inspeccionar los estudios y comprobar que no hay datos de heterogeneidad aunque los parámetros numéricos digan otra cosa.

Galbraith

Quizás el más utilizado sea el gráfico de Galbraith, que puede emplearse tanto para ensayos como para metanálisis de estudios observacionales. Este gráfico representa la precisión de cada estudio frente a su efecto estandarizado junto con la línea de la ecuación de regresión ajustada y unas bandas de confianza. La posición de cada estudio respecto al eje de la precisión indica el peso de su contribución al resultado global, mientras que su localización fuera de las bandas de confianza indica su contribución a la heterogeneidad.
El gráfico de Galbraith puede resultar útil también para detectar fuentes de heterogeneidad, ya que se pueden etiquetar los estudios según diferentes variables y ver como contribuyen a la heterogeneidad global.

Otra herramienta que puede utilizarse para metanálisis de ensayos clínicos es el gráfico de L’Abbé, que representa las tasas de respuesta de los grupos de tratamiento y de control y su posición respecto a la labbediagonal. Por encima de la diagonal quedan los estudios con resultado favorable al tratamiento, mientras que por debajo están aquellos con resultado favorable al control. Los estudios suelen representarse con un área proporcional a su precisión y su dispersión indica heterogeneidad. Además, en ocasiones pueden dar información adicional. Por ejemplo, en el gráfico que os adjunto podéis ver que a riesgos bajos los estudios están en el área del control, mientras que en riesgos altos van hacia la zona favorable al tratamiento. Esta distribución, además de ser sugestiva de heterogeneidad, puede sugerirnos que la eficacia del tratamiento depende del nivel de riesgo o, dicho de otro modo, que tenemos alguna variable modificadora de efecto en nuestro estudio.

Una vez estudiada la homogeneidad de los estudios primarios podemos llegar a la desoladora conclusión de que la heterogeneidad es la reina de la situación. ¿Podemos hacer algo?. Claro, podemos. Siempre podemos no combinar los estudios o combinarlos a pesar de la heterogeneidad y obtener una medida resumen, pero habrá que calcular también medidas de variabilidad entre estudios y, aun así, no podremos estar seguros de nuestros resultados.

Otra posibilidad es hacer un análisis estratificado según la variable que cause la heterogeneidad, siempre que seamos capaces de identificarla. Para esto podemos hacer un análisis de sensibilidad, repitiendo los cálculos extrayendo uno a uno cada uno de los subgrupos y ver cómo influyen en el resultado global. El problema es que esto deja de lado el verdadero objetivo del metanálisis, que no es otro que el de obtener un valor global de estudios homogéneos.

Los más sesudos en estos temas pueden, por último, recurrir a la metarregresión. Esta técnica es similar a un modelo de regresión multivariante en el que las características de los estudios se usan como variables explicativas y la variable de efecto o alguna medida de la desviación de cada estudio respecto al global se usa como variable dependiente. Hay que hacer, además, una ponderación según la contribución de cada estudio al resultado global y procurar no meter muchos coeficientes al modelo de regresión si el número de estudios primarios no es muy grande. No os aconsejo que hagáis una metarregresión en vuestra casa si no es acompañados de personas mayores.

Y hemos terminado por hoy. Enhorabuena al que me haya aguantado hasta aquí. Pido perdón por el ladrillo que os he soltado, pero es que esto de la heterogeneidad tiene su aquél. Y es que no solo es importante para saber si debemos combinar o no los estudios, sino que también nos condiciona en gran medida el modelo de análisis de los datos que tenemos que utilizar. Pero esa es otra historia…

El todo es mayor que la suma de las partes

Esta es otra de esas frases famosas que están hasta en la sopa. Al parecer, el primero que tuvo esta ocurrente idea fue Aristóteles, que resumió con ella el principio general del holismo en sus escritos sobre metafísica. ¿Quién hubiese dicho que la frasecita encierra tanta sabiduría?. Y es que el holismo insiste en que el todo debe ser considerado de una forma global, ya que sus componentes pueden actuar de una forma sinérgica, permitiendo que el conjunto tenga más significado que el aportado por cada parte de forma individual.

No temáis, seguís en el blog del seso y no en uno de filosofía. Y tampoco he cambiado la temática del blog, pero es que este principio me viene al pelo para introducir esa fiera corrupia del método científico que es el metanálisis.

El metanálisis es un análisis estadístico que combina los resultados de varios estudios independientes pero que tratan de responder a una misma pregunta. Aunque el metanálisis puede considerarse como un trabajo de investigación por derecho propio, lo habitual es que sea una parte de una revisión de un tema que trata de obtener toda la información de calidad sobre el mismo. Estas revisiones sistemáticas realizan una síntesis cualitativa de los resultados obtenidos, que se completará con una síntesis cuantitativa o metanálisis siempre que nos interese y sea posible.

Esto tiene una serie de ventajas. La primera, al combinar todos los resultados de los estudios primarios puede obtenerse una visión global más completa (ya sabéis, el todo es mayor…). La segunda, al combinar aumentamos el tamaño de la muestra, lo que aumenta la potencia del estudio en comparación con la de los estudios individuales, mejorando la estimación del efecto que queremos medir. En tercer lugar, al extraerse las conclusiones de un número mayor de estudios aumenta su validez externa, ya que al haber implicadas poblaciones diferentes es más fácil generalizar los resultados. Por último, puede permitirnos resolver controversias entre las conclusiones de los diferentes estudios primarios de la revisión e, incluso, contestar a preguntas que no se habían planteado en esos estudios.

Una vez hecho el metanálisis habrá que hacer una síntesis final que integre los resultados de las síntesis cualitativa y cuantitativa con el objetivo de dar respuesta a la pregunta que motivó la revisión sistemática o, cuando esto no sea posible, plantear los estudios adicionales que deben realizarse para poder contestarla.

Pero para que un metanálisis merezca todos nuestros respetos debe cumplir una serie de requisitos. Al igual que la revisión sistemática con la que se asocia, el metanálisis debe tratar de contestar una pregunta concreta y debe basarse en toda la información relevante disponible, sin sesgo de recuperación ni sesgo de publicación. Además, deben valorarse los estudios primarios para asegurarnos de que tienen la calidad suficiente y que son lo suficientemente homogéneos como para poder combinarlos. Por supuesto, lo datos deben analizarse y presentarse de la forma apropiada. Y, por último, debe tener sentido el que queramos combinar los resultados. El que podamos hacerlo no siempre significa que tengamos que hacerlo si el contexto clínico no lo hace necesario.

¿Y cómo se combinan los estudios?, preguntaréis algunos. Pues esa es la madre del cordero del metanálisis (o una de las madres, que tiene varias), porque hay varias formas posibles de hacerlo.

A cualquiera se le ocurre que la forma más sencilla sería tipo Festival de Eurovisión. Contabilizamos los estudios primarios en los que el efecto positivo obtuvo significación estadística y, sin son mayoría, decimos que hay consenso a favor del resultado positivo. Este enfoque es bastante sencillo pero, no me lo negaréis, también bastante chapucerillo y se me ocurren una serie de inconvenientes a la hora de usarlo. Por un lado, implica que no significativo es sinónimo de falta de efecto, lo cual no siempre tiene porqué ser verdad. Además, no tiene en cuenta la dirección y fuerza del efecto en cada estudio, ni la precisión de los estimadores empleados ni la calidad o las peculiaridades de diseño de cada estudio primario. Así que este tipo de abordaje no parece muy recomendable, aunque nadie nos va a poner una multa si lo usamos de forma informal como primera aproximación antes de decidir cuál es la mejor forma de combinar los resultados de los estudios.

Otra posibilidad es utilizar una especia de prueba de los signos, similar a la de algunas técnicas de estadística no paramétrica. Se cuentan los positivos a favor del efecto, les restamos los negativos y obtenemos nuestra conclusión. La verdad es que este método también parece demasiado simple. No tiene en cuenta los estudios sin significación estadística ni la precisión de los estimadores. Así que tampoco utilizaremos mucho este tipo de abordaje, a no ser que solo sepamos la dirección del efecto de los estudios primarios. También podríamos utilizarlo cuando los estudios primarios son muy heterogéneos para obtener una aproximación, aunque yo no me fiaría mucho de los resultados.

El tercer método es combinar las Ps (nuestras amadas y sacrosantas Ps). Esto podría pasársenos por la cabeza si tuviésemos una revisión sistemática cuyos estudios primarios usaran diferentes medidas de resultado, aunque todos tratasen de contestar a una misma pregunta. Pensad, por ejemplo, un estudio sobre osteoporosis donde unos miden densitometría ultrasónica, otros DEXA en columna, otros en fémur, etc. El problema de este método es que no tiene en cuenta la intensidad del efecto, sino solo su dirección y su nivel de significación estadística, y todos conocemos las deficiencias de nuestras santas Ps. Para utilizarlo tendremos que utilizar programas informáticos que combinarán los datos siguiendo una distribución de chi-cuadrado o una normal, dándonos el estimador global con su intervalo de confianza.

El cuarto y último método, que yo me sé, es también el más elegante: hacer una combinación ponderada del efecto estimado en los diferentes estudios primarios. La forma más sencilla sería calcular la media aritmética, pero no hemos llegado hasta aquí para hacer otra chapuza. La media aritmética otorga el mismo énfasis a todos los estudios, con lo que si tenemos algún estudio muy impreciso con resultados extremos nos distorsionará enormemente los resultados. Recordad que la media sigue siempre las colas de la distribución, viéndose muy influenciada por los valores extremos (lo que no le ocurre a su prima, la mediana).

Por esto tenemos que ponderar los estimadores de los distintos estudios. Esto podemos hacerlo de dos formas, teniendo en cuenta el número de sujetos de cada estudio, o bien, realizando una ponderación en base a los inversos de las varianzas de cada uno (ya sabéis, los cuadrados de los errores estándar).  Esta última forma es la más compleja, así que es la que más gusta y más se utiliza. Claro que, como la matemática necesaria es cosa fina, se suelen utilizar programas especiales, ya sean módulos que funcionan dentro de los programas estadísticos como Stata, SPSS, SAS o R, o utilizando programas específicos como el famoso RevMan de la Colaboración Cochrane.

Y con esto hemos llegado al final. Es todo lo que puedo deciros sobre cómo combinar los estudios para hacer el metanálisis. De todas formas, quiero insistir en que el metanálisis debe hacerse siempre que sea posible y nos interese, pero asegurándonos previamente de que es correcto combinar los resultados. Si los estudios son muy heterogéneos no deberemos combinar nada, ya que los resultados que podríamos obtener tendrían una validez muy comprometida. Hay toda una serie de métodos y estadísticos para medir la homogeneidad o heterogeneidad de los estudios primarios, que influyen también en la forma en que analizaremos los datos combinados. Pero esa es otra historia…