Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Guardado por elLectura crítica Categora
image_pdf

Buscando las pepitas de oro

Estaba pensando en la entrada de hoy y no puedo evitar acordarme de los buscadores de la fiebre del oro de Alaska de finales del siglo XIX. Viajaban a Yukon, buscaban un buen arroyo como el Bonanza y recogían toneladas de barro. Pero ese barro no era el último paso de la búsqueda. De entre los sedimentos tenían que sacar las ansiadas pepitas de oro, para lo cual filtraban los sedimentos de forma cuidadosa hasta quedarse solo con el oro, cuando  había.

Cuando nosotros buscamos las mejores pruebas científicas para resolver nuestras preguntas clínicas hacemos algo parecido. Normalmente elegimos uno de los buscadores de Internet (como Pubmed, nuestro arroyo Bonanza) y solemos obtener una larga lista de resultados (nuestro montón de barro) que, finalmente, tendremos que filtrar para quedarnos solo con las pepitas de oro, si es que las hay entre los resultados de la búsqueda.

Ya hemos visto en entradas previas cómo hacer una búsqueda simple (la menos específica y que más barro nos va a proporcionar) y cómo refinar las búsquedas mediante el uso de los términos MeSH o el formulario de búsqueda avanzada, con los que buscamos obtener menos fango y más pepitas.

Sin embargo, lo habitual es que, una vez que tenemos la lista de resultados, tengamos que filtrarla para quedarnos solo con lo que más nos interese. Pues bien, para eso existe una herramienta muy popular dentro de Pubmed que es, oh sorpresa, el uso de filtros.

Vamos a ver un ejemplo. Supongamos que queremos buscar información sobre la relación entre asma y obesidad en la infancia. Lo ideal sería plantear una pregunta clínica estructurada para realizar una búsqueda específica, pero para ver más claramente cómo funcionan los filtros vamos a hacer una búsqueda simple “mal” planteada con lenguaje natural, para obtener un número mayor de resultados.

Entramos en la página de inicio de Pubmed, escribimos asthma and obesity in children en la caja de búsqueda y pulsamos el botón “Search”. Yo obtengo 1169 resultados, aunque el número puede variar si vosotros hacéis la búsqueda en otro momento.

Podéis ver el resultado en la primera figura. Si os fijáis, en el margen izquierdo de la pantalla hay una lista de texto con encabezados como “Tipos de artículos” (Article types), “disponibilidad de texto” (Text availability), etc. Cada apartado es uno de los filtros que yo tengo seleccionados para que se muestren en mi pantalla de resultados. Veis que debajo hay dos enlaces. El primero dice “Clear all” y sirve para desmarcar todos los filtros que hayamos seleccionado (en este caso, todavía ninguno). El segundo dice “Show additional filters” y, si clicamos sobre él, aparece una pantalla con todos los filtros disponibles para que elijamos cuáles queremos que se muestren en la pantalla. Echad un vistazo a todas las posibilidades.

Cuando queremos aplicar un filtro, solo tenemos que hacer click sobre el texto que hay debajo de cada encabezado del filtro. En nuestro caso vamos a filtrar solo los ensayos clínicos publicados en los últimos cinco años y de los que esté disponible el texto completo libre (sin tener que pagar suscripción). Para ello, hacemos click sobre “Clinical Trial”, “Free full text” y “5 years”, tal como veis en la segunda figura. Podéis comprobar que la lista de resultados se ha reducido a 11, un número mucho más manejable que los 1169 originales.

Ahora podemos quitar filtros de uno en uno (pulsando en la palabra “clear” que aparece al lado de cada filtro), quitarlos todos (pulsando “Clear all”) o añadir nuevos (haciendo click en el filtro que deseemos).

Dos precauciones a tener en cuenta con el uso de filtros. Lo primero, los filtros van a seguir estando activos hasta que los desactivemos nosotros. Si no nos damos cuenta de desactivarlos, podemos aplicarlos a búsquedas que hagamos después y obtener menos resultados de los esperados. Lo segundo, los filtros funcionan en base a los términos MeSH que se hayan asignado a cada artículo a la hora de indexarlo, por lo que los artículos muy recientes, que no ha dado tiempo de indexar todavía y que no tienen, por tanto, asignados sus términos MeSH, se perderán al aplicar los filtros. Por eso es recomendable aplicar los filtros al final del proceso de búsqueda, que es mejor acotar con otras técnicas como el uso de los MeSH o la búsqueda avanzada.

Otra opción que tenemos con los índices es automatizarlos para todas las búsquedas pero sin que nos recorten el número de resultados. Para ello tenemos que abrir cuenta en Pubmed clicando en “Sign in to NCBI” en el extremo superior derecho de la pantalla. Una vez que usemos el buscador como usuario registrado, podremos hacer click en un enlace arriba a la derecha que dice “Manage filters” y seleccionar los filtros que queramos. En lo sucesivo, las búsquedas que hagamos serán sin filtros, pero arriba a la derecha veréis enlaces a los filtros que hayamos seleccionados con el número de resultados entre paréntesis (podéis verlo en las dos primeras figuras que os he mostrado). Haciendo click, filtraremos la lista de resultados de modo similar a como hacíamos con los otros filtros, los que están accesibles sin registrarnos.

No me gustaría dejar el tema de Pubmed y de los filtros sin hablaros de otro recurso de búsqueda: las Clinical Queries. Podéis acceder a ellas haciendo click en el enlace de las herramientas de Pubmed (Pubmed Tools) de la página de inicio del buscador. Las Clinical Queries son una especie de filtro construido por desarrolladores de Pubmed que filtran la búsqueda para que solo se muestren artículos relacionados con investigación clínica.

Escribimos la cadena de búsqueda en la caja de búsqueda y obtenemos los resultados distribuidos en tres columnas, como veis en la tercera figura que o adjunto. En la primera columna se ordenan según el tipo de estudio (etiología, diagnóstico, tratamiento, pronóstico y guías de predicción clínica) y el alcance de la búsqueda que puede ser más específico (“Narrow”) o menos (“Broad”). Si seleccionamos “tratamiento” y alcance estrecho (“Narrow”), vemos que la búsqueda queda limitada a 25 trabajos.

En la segunda columna se ordenan revisiones sistemáticas, metanálisis, revisiones de medicina basada en la evidencia, etc. Por último, la tercera se centra en trabajos sobre genética.

Si queremos ver el listado completo podemos pulsar en “See all” al fondo del listado. Veremos entonces una pantalla similar a la de los resultados de búsqueda simple o avanzada, como veis en la cuarta figura que os adjunto. Si os fijáis en la caja de búsqueda, la cadena de búsqueda se ha modificado un poco. Una vez que tenemos este listado podemos modificar la cadena de búsqueda y volver a pulsar “Search”, aplicar de nuevo los filtros que nos convenga, etc. Como veis, las posibilidades son muchas.

Y con esto creo que vamos a ir despidiéndonos de Pubmed. Os animo a investigar otras muchas opciones y herramientas que están explicadas en los tutoriales de la página web, para algunos de las cuáles será necesario que tengáis abierta una cuenta en NCBI (recordad que es gratis). Podréis así, por ejemplo, fijar alarmas para que el buscador os avise cuando se publique algo nuevo sobre la búsqueda relacionada, entre otras muchas posibilidades. Pero esa es otra historia…

 

La jerga del buscador

Vimos en una entrada anterior cómo hacer una búsqueda con Pubmed utilizando el sistema más sencillo, que es introducir texto en lenguaje natural en la casilla de búsqueda simple y pulsar el botón “Search”. Este método es bastante fácil e incluso funciona bastante bien cuando estamos buscando algo sobre enfermedades muy raras pero, en general, nos dará una lista de resultados muy sensible y poco específica, lo que en este contexto quiere decir que obtendremos un número grande artículos, pero muchos de ellos tendrán poco que ver con lo que estamos buscando.

En estos casos tendremos que utilizar alguna herramienta para que el resultado sea más específico: menos artículos y más relacionados con el problema que origina la búsqueda. Una de la formas es realizar una búsqueda avanzada en lugar de la búsqueda simple, pero para ello tendremos que utilizar la jerga propia del buscador, los llamados descriptores temáticos de lenguaje controlado.

Un descriptor es un término que se utiliza para elaborar índices, también llamados tesauros. En lugar de usar las palabras del lenguaje natural, éstas se seleccionan o agrupan bajo unos términos específicos, que son los que van a servir de clave en el índice de la base de datos del buscador.

El tesauro, formado por el conjunto de descriptores, es específico de cada buscador, aunque muchos términos pueden ser comunes. En el caso de Pubmed los descriptores se conocen con el nombre de términos MeSH, que son las iniciales de su nombre en inglés, Medical Subject Headings.

Este tesauro o lista de términos con vocabulario controlado ha sido también elaborado por la National Library of Medicine y constituye otra base de datos con más de 30.000 términos que se actualizan con periodicidad anual. Dentro de la National Library hay una serie de personas cuya misión es analizar los nuevos artículos que se incorporan a la base de datos de Medline y asignarles los descriptores que mejor se ajustan a su contenido. Así, cuando busquemos utilizando un descriptor en concreto, hallaremos los artículos que estén indexados con este descriptor.

Pero la cosa de los descriptores es un poco más complicada de lo que pueda parecer, ya que se agrupan en jerarquías (MeSH Tree Structures), pudiendo un mismo descriptor pertenecer a varias jerarquías, además de tener subencabezados (Subheadings), de tal forma que podemos buscar utilizando el término MeSH general o restringir más la búsqueda usando uno de sus subencabezados. La verdad es que leyendo todo esto dan ganas de olvidarse de la búsqueda usando el tesauro, pero no podemos permitirnos ese lujo: la búsqueda utilizando la base de datos MeSH es la más efectiva y precisa, ya que el lenguaje ha sido controlado para eliminar imprecisiones y sinonimias propias del lenguaje natural.

Además, la cosa no es tan complicada cuando nos ponemos a trabajar con ello. Vamos a verlo con el ejemplo que usamos para mostrar la búsqueda simple. Queremos comparar la eficacia de la amoxicilina y del cefaclor sobre la duración de la otitis media en lactantes. Tras elaborar la pregunta clínica estructurada obtenemos nuestros cinco términos de búsqueda, en lenguaje natural: otitis, lactantes, amoxicilina, cefaclor y pronóstico.

Ahora podéis ir a la página de inicio de Pubmed (recordad el atajo: escribir pubmed en la barra del navegador y pulsar control-enter). Debajo de la ventana de búsqueda simple vimos que hay tres columnas. Nos fijamos en la de la derecha, “More Resources” y hacemos click en la primera de las opciones, “MeSH Database”, con lo que accedemos a la página de inicio de la base de datos de descriptores (como se ve en la primera figura).Si escribimos otitis en la ventana de búsqueda vemos que Pubmed nos echa una mano desplegando una lista con los términos que se parecen a lo que estamos escribiendo. Uno de ellos es otitis media, que es lo que nos interesa, así que la seleccionamos y Pubmed nos lleva a la siguiente página, donde hay varias opciones para elegir. En el momento en que yo hago la búsqueda hay tres opciones: “Otitis Media”, “Otitis Media, Suppurative” y “Otitis Media with Effusion”. Fijaos que Pubmed nos define cada uno, para que entendamos bien a qué se refiere con cada término. Estos son los tres términos MeSH que se ajustan a lo que hemos pedido, pero tenemos que elegir uno.

Lo más sencillo que podemos hacer desde esta ventana es marcar el cuadro de selección que hay a la izquierda del término que nos interese y pulsar el botón que hay en la parte derecha de la pantalla y que dice “add to search builder”. Si hacemos esto, Pubmed comienza a construir la cadena de búsqueda empezando con el término elegido (si hacemos esto con el primer término de la lista veréis que aparece el texto “Otitis Media”[Mesh] en la caja de texto “Pubmed Search Builder”, en la parte superior derecha de la pantalla (como veis en la figura adjunta).

Pero recordad que hemos dicho que los términos MeSH tienen subencabezados. Para llegar a ellos, en vez de marcar el cuadro de selección del término “Otitis Media”, hacemos click sobre él, abriéndose la ventana con los subencabezados (Subheadings), como podéis ver en la segunda figura.Cada uno de los términos con su cuadro de selección a la izquierda corresponde a un subencabezado del descriptor “Otitis Media” (el descriptor está en inglés, aunque en este caso coincida con el término en castellano. Os aconsejo trabajar siempre en inglés con la base de datos MeSH). Por ejemplo, si nos interesase hacer una búsqueda dirigida al coste del tratamiento, podríamos marcar el subencabezado “economics” y pulsar entonces el botón de añadir a la búsqueda. El texto que aparecería en la caja de texto de la cadena de búsqueda sería “Otitis Media/economics”[Mesh] y el resultado de la búsqueda sería un poco más específico.

Antes de dejar la ventana del término MeSH vamos a fijarnos en un par de cosas. Además de los subencabezados, que pueden ser más o menos numerosos, la parte inferior de la página nos muestra la jerarquía del descriptor (MeSH Tree Structure). Nuestro descriptor está en negrita, así que podemos ver de qué términos depende y cuáles dependen de él. En algún caso puede interesarnos más utilizar un término superior para la búsqueda, así que no tendremos más que hacer click sobre él para ir a su propia ventana. Si hacemos esto, en general, la búsqueda será más sensible y menos específica (más ruido y menos nueces).

También podemos hacer click en un término que esté por debajo en la jerarquía, haciendo la búsqueda más específica y disminuyendo el número de resultados.

Y la cosa no acaba aquí. Si seleccionamos un término MeSH para la búsqueda, en ésta se incluyen los términos que están por debajo en la jerarquía. Por ejemplo, si seleccionamos el descriptor “Otitis Media” se incluirán en la búsqueda todos los que cuelgan de él (mastoidits, otits con derrame, otitis supurativa y petrositis, que pueden no interesarnos en absoluto). Esto podemos evitarlo marcando el cuadro que dice “Do not include MeSH terms found below this term in the MeSH hierarchy” (no incluir los términos que estén por debajo en la jerarquía).

Bueno, creo que vamos a ir terminando con este ejemplo, si es que todavía hay alguien que sigue leyendo a estas alturas. Supongamos que optamos por lo más sencillo: vamos a “Otitis Media” y lo añadimos a la búsqueda. A continuación escribimos el segundo término de búsqueda en la ventada de búsqueda de la base de datos: infants. Nos salen 14 posibilidades, seleccionamos la primera (“Infant”) y lo añadimos a la búsqueda. Hacemos lo mismo con “Amoxicillin”, “Cefaclor” y “Prognosis”. Cuando hemos añadido todos a la cadena de búsqueda (fijaos que el operador booleano por defecto es AND, pero podemos cambiarlo), la cade de búsqueda es la siguiente: ((((“Otitis Media”[Mesh]) AND “Infant”[Mesh]) AND “Amoxicillin”[Mesh]) AND “Cefaclor”[Mesh]) AND “Prognosis”[Mesh].

Finalmente, pulsamos el botón “Search Pubmed” y obtenemos el resultado de la búsqueda que, en este caso, es un poco más restringida que la que obteníamos con lenguaje natural (esto suele ser lo habitual).

Si quisiésemos quitar los trabajos sobre el clavulánico, como hicimos en el ejemplo con la búsqueda simple, podríamos añadir el término clavulanate igual que con añadimos los otros términos, pero cambiando el operador booleano AND por el operador NOT. Pero hay otra forma que es, incluso, más sencilla. Si os fijáis, cuando Pubmed nos da la lista de resultados, en la ventana de búsqueda de Pubmed está escrita la cadena de búsqueda que se ha utilizado y nosotros podemos añadir o quitar términos de esta cadena, usando términos MeSH o lenguaje natural, lo que más nos convenga. Así que, en nuestro ejemplo, a la cadena de texto le añadiríamos NOT clavulanate en la caja de búsqueda y volveríamos a pulsar sobre el botón “Search”.

Y aquí lo vamos a dejar por hoy. Simplemente decir que hay otras formas de utilizar los términos MeSH, usando el formulario de búsqueda avanzada, y que podemos acotar todavía más los resultados utilizando algunos recursos, como las Clinical Queries o el uso de límites. Pero esa es otra historia…

La ostra de las mil perlas

Ya vimos en una entrada anterior que nuestra ignorancia como médicos es grande, lo que nos obliga a plantearnos preguntas sobre lo que hacer con nuestros pacientes en numerosas ocasiones.

Llegado este punto, nos interesará buscar y encontrar las mejores evidencias disponibles sobre el tema que nos ocupe, para lo que tendremos que hacer una buena búsqueda bibliográfica. Aunque se define la búsqueda bibliográfica como el conjunto de procedimientos manuales, automáticos e intelectuales encaminados a localizar, seleccionar y recuperar las referencias o trabajo que respondan a nuestro interés, la inmensa mayoría de las veces simplificamos el proceso y nos dedicamos únicamente a la búsqueda digital.

En estos casos tendremos que recurrir a una de las múltiples bases de datos biomédicas disponibles para buscar la perla que nos aclare nuestra duda y ayude a poner remedio a nuestra ignorancia. De todas estas bases de datos, no cabe duda que la más utilizada es Medline, la base de datos de la Biblioteca Nacional de Medicina de Estados Unidos (la National Library of Medicine, como la llaman ellos). El problema es que Medline es una base muy muy grande, con unos 16 millones de artículos de más de 4800 revistas científicas. Así que, como es fácil suponer, encontrar lo que se busca puede no ser una tarea sencilla en muchas ocasiones.

En realidad, para buscar en Medline lo que utilizamos es una herramienta que se conoce con el nombre de Pubmed. Este es un proyecto desarrollado por el Centro Nacional de Información en Biotecnología (National Center for Biotechnology Information, NCBI para los amigos), que permite acceder realmente a tres bases de datos de la National Library of Medicine: Medline, PreMedline y AIDS. Estas bases de datos no son filtradas, así que necesitaremos de conocimientos de lectura crítica para valorar los resultados (hay otros recursos que dan la información ya filtrada), ya que el buscador proporciona nada más (y nada menos) que la referencia del artículo y, en muchas ocasiones, un breve resumen. Y lo mejor de todo es que es gratis, cosa que no ocurre con todas las herramientas de búsqueda disponibles.

Así que, si queremos explorar esta ostra con miles de perlas, tendremos que aprender a utilizar la herramienta Pubmed para encontrar las perlas que estamos buscando. Podéis entrar en Pubmed haciendo clic sobre este enlace, aunque un pequeño atajo es escribir pubmed en la barra de direcciones del navegador y pulsar control-enter. El navegador sabrá donde queremos ir y nos redirigirá a la página de inicio de Pubmed. Echemos un vistazo entes de empezar a usarlo (ver la primera figura) (el aspecto de Pubmed cambia de vez en cuando, así que alguna cosa puede haber cambiado desde que escribí esta entrada, seguramente para mejorar).

Lo primero que vemos es el cuadro de búsqueda simple, donde podemos escribir los términos de búsqueda para obtener los resultados al pulsar el botón “Search”. Veis que debajo de este cuadro hay un enlace que dice “Advanced”, con el que accederemos a la pantalla de búsqueda avanzada, de la que hablaremos otro día. Hoy nos centraremos en la búsqueda simple.

Debajo hay tres columnas. La primera dice “Using PubMed”. Aquí podéis encontrar ayuda sobre el uso de esta herramienta, incluidos tutoriales sobre las distintas modalidades de búsqueda y las herramientas que incluye Pubmed. Os aconsejo bucear en esta sección para descubrir muchas más posibilidades de este buscador que las pocas que os voy a contar yo en esta entrada.

La segunda columna es la de las herramientas de Pubmed, “PubMed Tools”. Aquí hay dos de especial interés, la “Single Citation Matcher”, para encontrar la referencia en PubMed de un artículo en concreto conociendo algunos aspectos de su cita bibliográfica, y las “Clinical Queries”, que nos permiten filtrar los resultados de las búsquedas según el tipo de estudios o sus características.

La tercera columna muestra recursos del buscador, como la base de datos de los términos MeSH, que no es otra cosa que el tesaurus de los términos de búsqueda que incluye Pubmed.

Bueno, pues vamos a buscar algo para practicar. Pensemos, por ejemplo, que yo quiero saber si es mejor utilizar amoxicilina o cefaclor para el tratamiento de la otitis en los lactantes para que la evolución de la enfermedad sea menos prolongada. Lógicamente, esto no puedo escribirlo tal cual. Primero tengo que construir mi pregunta clínica estructurada y, después, utilizar los componentes de la pregunta como términos de búsqueda.

Mi pregunta sería la siguientes: en (P) lactantes con otitis, ¿(I) el tratamiento con cefaclor en (C) comparación con el tratamiento con amoxicilina, (0) reduce la duración de la enfermedad?. Así que, con este ejemplo, podríamos utilizar cinco términos de búsqueda: otitis, lactantes, amoxicilina, cefaclor y duración.

En la búsqueda sencilla introduciremos sin más las palabras en el cuadro de búsqueda (lenguaje natural) y haremos click en el cuadro “Search”. Aunque Pubmed acepta que introduzcamos palabras en castellano, es preferible ponerlas directamente en inglés, ya que así no tendremos que fiarnos de que las traduzca bien (hay palabras que incluso no las traduce y nos alteran la búsqueda).

El cuadro de búsqueda admite operadores booleanos, que son el “y”, el “o” y el “no” (se suelen ponen en mayúsculas en inglés: AND, OR y NOT). Cuando ponemos varias palabras seguidas sin ningún operador booleano, Pubmed entiende que las palabras van separadas por AND. Así, si tenemos un término formado por dos palabras y queremos que se considere como una, tendremos que escribirlo entre comillas. Por ejemplo, si escribimos apendicitis aguda y queremos que cuente como un solo término, habrá que introducir “acute apendicitis”.

Otro operador útil es el de truncamiento, que es colocar un asterisco al final de la raíz de la palabra para que se busquen todas las palabras que empiecen por esa raíz. Por ejemplo, infan* buscará por infant, infancy…

Vamos con nuestro ejemplo. Escribimos otitis AND infants AND amoxicillin AND cefaclor AND course y hacemos click en “Search” (ver la segunda figura). Hemos tenido bastante suerte, obtenemos solo 11 resultados (a vosotros os puede salir un número diferente si hacéis la búsqueda en otro momento).

Echamos un vistazo y vemos que los trabajos se ajustan más o menos a lo que buscamos. El único inconveniente es que nos incluye artículos que estudian el efecto de la amoxicilina-clavulánico, que no nos interesan. Pues vamos a quitarlos. Al texto de búsqueda le añadimos NOT clavulanate, con lo que la búsqueda queda limitada aún más.

Ya no tenemos más que seleccionar o clicar sobre los trabajos que nos interesen, para obtener el resumen (si está disponible) y, en algunos casos, incluso acceder al texto completo, aunque esto dependerá de que el texto sea de libre acceso o de los permisos o suscripciones que tenga la institución desde la que accedamos a Pubmed.

Hasta aquí hemos visto la forma más sencilla de buscar con Pubmed: búsqueda simple con texto libre. El problema es que usando esta forma de búsqueda no siempre vamos a obtener un resultado tan específico, sino que será mucho más frecuente que obtengamos miles de resultados, la mayor parte de ellos sin ningún interés para nosotros. En estos casos tendremos que recurrir a otros recursos como la búsqueda avanzada, el empleo de términos MeSH o el uso de las Clinical Queries de Pubmed. Pero esa es otra historia…

Quien no tenga preguntas…

…nunca obtendrá respuestas. Esto me lo enseñó una profesora de bioquímica hace ya más de dos vidas, cuando yo era un estudiante de primero de medicina. No recuerdo qué otras cosas me enseñó, pero esta la tengo grabada a fuego porque, no quiero recordar cuántos años después, sigue teniendo la misma vigencia.

Y resulta que la rueda de la medicina basada en pruebas se pone en marcha con una pregunta. Eso sí, el problema es que en medicina no siempre se obtiene respuesta por mucha pregunta que se tenga y, según algunos, en cuatro de cada cinco veces no obtendremos una respuesta satisfactoria por muy bien que sepamos buscar la información.

Los médicos, admitámoslo, somos bastante ignorantes, y el que piense lo contrario es porque no sabe lo ignorante que es, que es mucho peor y más peligroso. A menudo nos vemos asaltados por lagunas en nuestro conocimiento que queremos rellenar con la información que haya disponible. Se ha calculado que, a nivel de Atención Primaria, nos hacemos dos preguntas por cada 10 pacientes que recibimos, aumentando este número a cinco por cada paciente ingresado en Atención Hospitalaria. Se comprende fácilmente que no podemos hacer una búsqueda en la bibliografía cada vez que tengamos una duda, así que tendremos que establecer unas prioridades.

Al principio, cuando somos muy, pero que muy ignorantes, las preguntas son bastante generales. Son las llamadas preguntas básicas (de background, les llaman los que saben inglés), que buscan información sobre aspectos generales de enfermedades o tratamientos. Suelen estar compuestas por una raíz del tipo cómo, cuánto, cuándo o similar y un verbo, seguido de la enfermedad o lo que sea que estemos tratando. Preguntas de este estilo serían, por ejemplo, “¿qué germen produce la risperidiosis?” o “¿cómo se trata un ataque agudo de caspa?”.

En general, las preguntas básicas se pueden responder acudiendo a libros de texto o a artículos de revisión. Existen fuentes digitales de revisiones sobre temas generales, como la que es sin duda una de las más idolatradas, el UpToDate. Todos conoceremos algún uptodatero, que son personas fácilmente reconocibles porque en la sesión de primera hora de la mañana ya tienen en su poder la última información obtenida de UpToDate, de forma que te dan la respuesta incluso antes de que tú te hayas planteado la pregunta.

Pero, según vamos siendo más sabios, las preguntas que nos vamos haciendo implican ya aspectos concretos del tratamiento, pronóstico o lo que sea de una enfermedad en un tipo determinado de pacientes. Estas preguntas avanzadas o preguntas de primera línea (de foreground para los anglófilos) suelen tener una característica que las diferencia cualitativamente de las básicas: habitualmente se hacen como parte de la toma de decisiones clínicas en la fase previa a la búsqueda de información del problema que nos interese.

Es fundamental, por lo tanto, plantearlas bien y formularlas con claridad ya que, si no, no servirán ni para plantear la estrategia de búsqueda ni para tomar la decisión correcta que estemos buscando. Se forma así lo que se conoce como pregunta clínica estructurada, conocida en el argot de la medicina basada en pruebas como pregunta PICO, por las iniciales de sus componentes, que veremos a continuación.

La P representa al paciente, pero también al problema de interés o a la descripción clínica de la situación que estemos estudiando. Debemos definir muy bien las características más relevantes del grupo de pacientes o de la población que originó la pregunta, procurando no restringir demasiado las características del grupo, porque puede ocurrir que luego no encontremos nada que responda a la pregunta. Suele ser preferible seleccionar la población de una forma más general y, si la búsqueda es poco específica (tenemos muchos resultados), siempre podemos restringirla después.

La I representa la intervención principal, que puede ser un tratamiento, una prueba diagnóstica, un factor de riesgo o exposición, etc. La C se refiere a la comparación con la cuál contrastamos la intervención, y puede ser otro tratamiento, el placebo o, a veces, no hacer nada. Este componente no es obligatorio que exista siempre en la estructura de la pregunta, así que podemos obviarlo en los casos que no lo necesitemos.

Por último, la O representa el resultado de interés clínico de nuestra pregunta (de Outcome, en inglés), ya sea en términos de síntomas, complicaciones, calidad de vida, morbilidad, mortalidad o cualquier otra variable de resultado que elijamos. Así, es importante resaltar que el resultado que nos planteemos debería tener importancia desde el punto de vista clínico, sobre todo importancia desde el punto de vista del paciente. Por ejemplo, en un estudio para prevenir enfermedad coronaria podemos medir el efecto mediante la disminución de la troponina, pero seguro que el paciente agradecerá mucho más si lo que estimamos es la disminución de la mortalidad por infarto.

A veces, como ya os he comentado, no es pertinente hacer comparación con nada y el PICO se transforma en PIO. Otros añaden un quinto parámetro, el tiempo, y el PICO pasa a ser PICOt. También podéis verla como PECO o PECOt, cuando preferimos decir exposición mejor que intervención. Pero, usemos las letras que usemos, lo importante es que descompongamos la pregunta en estos elementos, que serán los que nos marcarán las palabras clave para la búsqueda de información y del tipo de estudio que necesitamos encontrar (os diré que algunos añaden el tipo de estudio como quinta o sexta letra al PICO).

Es muy importante encontrar un buen equilibrio entre la amplitud y la precisión de la pregunta. Por ejemplo, la pregunta “¿en lactantes con traumatismo craneal mejora el pronóstico el tratamiento con corticoides?” podría ser demasiado general para que resultase de ninguna utilidad. Por otra parte, “¿en lactantes de 3 a 6 meses de edad que se caen de la cuna desde 20 cm de altura y se dan en la parte izquierda de la frente contra el suelo de moqueta se puede mejorar el pronóstico utilizando metilprednisolona a dosis de 2 mg/kg/d durante cinco días seguidos?” se me hace demasiado específica como para utilizarla en la estrategia de búsqueda o para que sea útil para la toma de decisión clínica. Una forma más adecuada sería algo como “en lactantes con traumatismo craneal leve (los criterios de levedad deben estar previamente definidos), ¿mejora el pronóstico el tratamiento con corticoides?”. La P serían los lactantes que sufren un traumatismo craneal leve, la I sería el tratamiento con corticoides, la C sería, en este caso, no dar corticoides y, finalmente, la O sería el pronóstico (que podríamos sustituir por algo más concreto como la probabilidad de ingreso hospitalario, el tiempo hasta el alta, mortalidad, etc).

Veamos otro ejemplo: en (P) lactantes con bronquiolitis, ¿(I) el uso de corticoides intravenosos (C) en lugar de inhalados (O) disminuye el riesgo de ingreso?. O este otro: en (P) lactantes con otitis, ¿(I) el uso de antibióticos (O) acorta la duración de la enfermedad?.

Según el tipo de respuesta que persiguen, las preguntas clínicas pueden clasificarse en cuatro tipos fundamentales: diagnóstico, tratamiento, pronóstico y etiología o daño. Las preguntas de diagnóstico se refieren a cómo seleccionar e interpretar pruebas diagnósticas. Las preguntas de tratamiento tienen que ver con el tratamiento que podemos seleccionar para ofrecer más beneficios que riesgos y con un coste económico y de recursos que merezca la pena. Las preguntas de pronóstico sirven para estimar la probabilidad del curso clínico venidero y anticipar complicaciones. Por último, las preguntas de etiología o daño son las que nos sirven para identificar las causas de las enfermedades, incluyendo las iatrogénicas.

El tipo de pregunta es importante porque nos va a definir el tipo de diseño de estudio que con más probabilidad puede responder a nuestra pregunta. Así, las preguntas de diagnóstico se responden mejor con estudios de diseño específico para la evaluación de pruebas diagnósticas. Las preguntas de tratamiento o daño pueden responderse con ensayos clínicos (lo ideal) o con estudios observacionales. Sin embargo, las preguntas de pronóstico suelen precisar estudios observacionales para encontrar su respuesta. Por último, saber que existen otros tipos de pregunta clínica además de las cuatro básicas, como las de frecuencia (que se responderán con revisiones sistemáticas o estudios observacionales) o las de coste-beneficio (para las que necesitaremos estudios de evaluación económica).

Una pregunta estructurada bien planteada puede ayudarnos a resolver un problema clínico, pero también suele servir de origen a más preguntas, con las que ir rellenando lagunas para ser cada vez un poco menos ignorantes. Además, sin estructurar nuestra pregunta en los distintos componentes es tarea prácticamente imposible encontrar información útil. El que no me crea que escriba “asma” en PubMed o en otro buscador y mire el número de resultados. Algunos buscadores, como el de Trip Database, permiten incluso realizar la búsqueda utilizando la estructura PICO de la pregunta clínicamente estructurada. Pero, por desgracia, en la mayoría de los casos tendremos que buscar los sinónimos de cada componente y encontrar el descriptor adecuado para la base de datos donde vayamos a buscar, utilizando habitualmente técnicas de búsqueda avanzada. Pero esa es otra historia…

Los tres pilares de la sabiduría

Seguro que todos, con una frecuencia mayor de la que desearíamos, habremos encontrado alguna lagunilla en nuestro conocimiento que nos hacía dudar de los pasos a seguir en el diagnóstico o tratamiento de alguno de nuestros pacientes. Siguiendo la costumbre habitual, e intentando ahorrar esfuerzos, seguro que habremos preguntado a los colegas más cercanos, con la esperanza de que nos resolviesen el problema sin tener que acudir al temido PubMed (¡¿Quién ha dicho Google?!). Como último recurso hasta habremos consultado algún libro de medicina en un intento desesperado de obtener respuestas, pero ni los libros más gordos nos libran de tener que buscar en una base de datos de vez en cuando.

Y para hacerlo bien, convendrá que sigamos la sistemática de los cinco pasos que nos marca la Medicina Basada en la Evidencia: formular nuestra pregunta de forma estructurada (primer paso), hacer nuestra búsqueda bibliográfica (segundo paso) y leer críticamente los artículos que encontremos y que consideremos relevantes para el tema (tercer paso), para terminar con los dos últimos pasos que consistirán en combinar lo que hemos encontrado con nuestra experiencia y los valores del paciente (cuarto paso) y evaluar cómo influye en nuestro desempeño (quinto paso).

Así que nos arremangamos, elaboramos nuestra pregunta clínica estructurada y entramos en PubMed, Embase o TRIP, o la base de datos que nos interese para buscar respuestas. Tras no pocos sudores fríos conseguimos bajar el número inicial de resultados de 15234 y obtenemos el trabajo deseado que esperamos ilumine nuestra ignorancia. Pero, aunque la búsqueda haya sido impecable, ¿estamos seguros de que hemos encontrado lo que necesitamos? Comienza aquí la ardua tarea de realizar una lectura crítica del trabajo para valorar su capacidad real para solucionar nuestro problema.

Este paso, el tercero de los cinco que hemos visto y quizás el más temido de todos, es indispensable dentro del flujo metodológico de la Medicina Basada en la Evidencia. Y esto es así porque no es oro todo lo que reluce: incluso artículos publicados en revistas de prestigio por autores conocidos pueden tener una calidad deficiente, contener errores metodológicos, no tener nada que ver con nuestro problema o tener errores en la forma de analizar o presentar los resultados, muchas veces de manera sospechosamente interesada. Y no es porque lo diga yo, incluso hay quien piensa que el lugar más idóneo para guardar el 90% de lo que se publica es la papelera, sin importar si la revista es de alto impacto o si los autores son más famosos que Julio Iglesias (o su hijo Enrique, para el caso). Nuestra pobre excusa para justificar nuestro poco conocimiento sobre cómo elaborar y publicar trabajos científicos es que somos clínicos y no investigadores y, claro, lo mismo le ocurre muchas veces a los revisores de las revistas, que se tragan todos los gazapos que metemos los clínicos.

Así, pues, se entiende que la lectura crítica sea un paso fundamental para sacar el máximo provecho de la literatura científica, en especial en una era en la que abunda la información pero escasea el tiempo disponible para evaluarla.

Antes de entrar en la sistemática de la lectura, echaremos un vistazo por encima al documento y su resumen para tratar de ver si el artículo en cuestión puede cumplir nuestras expectativas. El primer paso que debemos realizar siempre es valorar si el trabajo contesta a nuestra pregunta. Esto suele ser así si hemos elaborado correctamente la pregunta clínica estructurada y hemos hecho una buena búsqueda de la evidencia disponible, pero de todos modos conviene siempre comprobar que el tipo de población, estudio, intervención, etc se ajustan a lo que buscamos.

Una vez que estamos convencidos de que es el trabajo que necesitamos, realizaremos la lectura crítica. Aunque los detalles dependerán del tipo de diseño del estudio, siempre nos apoyaremos en tres pilares básicos: validez, importancia y aplicabilidad.

La validez consiste en comprobar el rigor científico del trabajo para saber cuánto se aproxima a la verdad. Hay una serie de criterios comunes a todos los estudios, como son un diseño correcto, una población adecuada, la existencia de grupos de intervención y control homogéneos al comienzo del estudio, un seguimiento correcto, etc. A alguien se le ocurrió que esta validez debía llamarse mejor validez interna, así que podemos encontrarla también con este nombre.

El segundo pilar es la importancia, que mide la magnitud del efecto encontrado. Imaginemos el hipotensor de turno que con una p cargada de ceros es mejor que el de uso habitual, pero que disminuye la presión arterial una media de 5 mmHg. Por muchos ceros que tenga la p (que es estadísticamente significativa, eso no se lo quita nadie) no me negaréis que el impacto del efecto es más bien ridículo.

El último pilar es el de la aplicabilidad, que consiste en valorar si la situación, pacientes e intervención del estudio son lo suficientemente parecidos a nuestro ambiente como para generalizar los resultados. La aplicabilidad se conoce también como validez externa.

No todos los trabajos científicos pueden ser calificados de forma favorable en estos tres aspectos. Puede ocurrir que un trabajo muy válido (validez interna) que encuentre un efecto muy importante no sea aplicable en absoluto a nuestros pacientes. Además, no debemos olvidar que estamos hablando de una herramienta de trabajo. Aún con los trabajos más idóneos hay que tener siempre en cuenta los beneficios, daños y costes, así como las preferencias del paciente, aspecto este último del que nos olvidamos con más frecuencia de la que sería deseable.

Para facilitar la sistemática en el acto de la lectura crítica, existen diversas herramientas disponibles en Internet. Una de las más utilizadas son las plantillas o parrillas del grupo CASPe, más que recomendables para utilizar como guía al realizar una lectura crítica sin olvidar ningún aspecto importante. También en nuestro medio están disponibles las fichas de lectura crítica (FLC) de Osteba, que permiten almacenar los trabajos analizados. Y, para aquellos que les guste el inglés, pueden usar las herramientas escocesas de SIGN.

Lógicamente, las medidas específicas de impacto y asociación y los requisitos para cumplir los criterios de validez interna dependerán específicamente del tipo de diseño del estudio que tengamos entre manos. Pero esa es otra historia…

Un sesgo por ausencia

La unión hace la fuerza. Es un hecho. Los grandes objetivos se logran con más facilidad con la unión del esfuerzo de muchos. Y esto también se cumple en estadística.
En efecto, hay ocasiones en que los ensayos clínicos no tienen la potencia necesaria para demostrar lo que persiguen, ya sea por falta de muestra por motivos de tiempo, dinero o dificultad para reclutar participantes, o por otro tipo de limitaciones de tipo metodológico. En estos casos, es posible recurrir a una técnica que nos permite, en ocasiones, aunar el esfuerzo de múltiples ensayos para poder alcanzar la conclusión a la que no llegaríamos con ninguno de los ensayos por separado. Esta técnica es el metanálisis.
El metanálisis nos da una síntesis matemática cuantitativa exacta de los estudios incluidos en el análisis, generalmente los estudios recuperados durante la realización de una revisión sistemática. Lógicamente, si incluimos todos los estudios que se hayan realizado sobre un tema (o, al menos, todos los que sean relevantes para nuestra investigación), esa síntesis reflejará el conocimiento actual sobre el tema. Sin embargo, si la recogida está sesgada y nos faltan estudios, el resultado será reflejo solo de los artículos recogidos, no del total del conocimiento disponible.
Cuando planeamos la revisión debemos establecer una estructura de búsqueda global para tratar de encontrar todos los trabajos. Si no lo hacemos así podemos cometer un sesgo de recuperación, que tendrá el mismo efecto sobre el análisis cuantitativo que el sesgo de publicación. Pero, incluso con las búsquedas electrónicas modernas, es muy difícil encontrar toda la información relevante sobre un tema concreto.
En los casos de que falten estudios, la importancia del efecto dependerá de cómo se pierdan los estudios. Si se pierden al azar, todo quedará en un problema de menor información, con lo que la precisión de nuestros resultados será menor y los intervalos de confianza serán más amplios, pero puede que nuestras conclusiones sean correctas. Sin embargo, si los trabajos que no encontramos son sistemáticamente diferentes de los que encontramos, el resultado de nuestro análisis puede estar sesgado, ya que nuestras conclusiones solo podrán aplicarse a la muestra de trabajos, que será una muestra sesgada.
Existen una serie de factores que pueden contribuir a este sesgo de publicación. En primer lugar, es más probable que se publiquen los estudios con resultados significativos y, dentro de estos, es más probable que se publiquen cuando el efecto es mayor. Esto hace que los estudios con resultados negativos o con efectos de pequeña magnitud puedan no llegar a ser publicados, con lo que sacaremos una conclusión sesgada del análisis solo de los estudios grandes con resultado positivo.
En segundo lugar, como es lógico, los estudios publicados tienen más probabilidad de llegar a nuestras manos que los que no se publican en revistas científicas. Es el caso de tesis doctorales, comunicaciones a congresos, informes de agencias gubernamentales o, incluso, estudios pendientes de publicar realizados por investigadores del tema que estemos tratando. Por este motivo es tan importante hacer una búsqueda que incluya este tipo de trabajos, que se engloban dentro del término de literatura gris.
Por último, pueden enumerarse una serie de sesgos que influyen en la probabilidad de que un trabajo sea publicado o recuperado por el investigador que realiza la revisión sistemática tales como el sesgo de lenguaje (limitamos la búsqueda por idioma), el sesgo de disponibilidad (se incluyen solo los estudios que son fáciles de recuperar por parte del investigador), el sesgo de coste (se incluyen estudios que son gratis o baratos), el sesgo de familiaridad (solo se incluyen los de la disciplina del investigador), el sesgo de duplicación (los que tienen resultados significativos tienen más probabilidad de ser publicados más de una vez) y el sesgo de citación (los estudios con resultado significativo tienen más probabilidad de ser citados por otros autores).
Uno puede pensar que esto de perder trabajos durante la revisión no puede ser tan grave, ya que podría argumentarse que los estudios no publicados en revistas con revisión por pares suelen ser de peor calidad, por lo que no merecen ser incluidos en el metanálisis. Sin embargo, no está claro ni que las revistas científicas aseguren la calidad metodológica del trabajo ni que este sea el único método para hacerlo. Hay investigadores, como los de las agencias gubernamentales, que no están interesados en publicar en revistas científicas, sino en elaborar informes para quienes los encargan. Además, la revisión por pares no es garantía de calidad ya que, con demasiada frecuencia, ni el investigador que realiza el trabajo ni los encargados de revisarlo tienen una formación en metodología que asegure la calidad del producto final.
Existen herramientas para valorar el riesgo de sesgo de publicación. Quizás lo más sencillo puede ser representar un forest plot ordenado con los estudios más precisos en la parte superior y los menos en la inferior. Según nos desplazamos hacia abajo disminuye la precisión de los resultados, con lo que el efecto debe oscilar hacia ambos lados de la medida resumen de resultado. Si solo oscila hacia uno de los lados, podemos suponer de forma indirecta que no hemos detectado los trabajos que deben existir que oscilen hacia el lado contrario, por lo que seguramente tendremos un sesgo de publicación.
funnel_sesgoOtro procedimiento similar es la utilización del gráfico de embudo o funnel plot, tal como veis en la imagen adjunta. En este gráfico se representa en el eje X el tamaño del efecto y en el eje Y una medida de la varianza o el tamaño muestral, invertido. Así, en la parte superior estarán los estudios más grandes y precisos. Una vez más, según bajamos por el gráfico, la precisión de los estudios es menor y se van desplazando hacia los lados por error aleatorio. Cuando existe sesgo de publicación este desplazamiento es asimétrico. El problema del gráfico en embudo (funnel plot para los ingleses) es que su interpretación puede ser subjetiva, por lo que hay métodos numéricos para tratar de detectar el sesgo de publicación.
Y, llegados a este punto, ¿qué debemos hacer ante un sesgo de publicación? Quizás lo más adecuado será no preguntarse si existe el sesgo, sino cuánto afecta mis resultados (y dar por hecho que nos hemos dejado estudios sin incluir en el análisis).
La única forma de saber si el sesgo de publicación afecta a nuestras estimaciones sería comparar el efecto en los estudios recuperados y en los no recuperados pero, claro está, entonces no tendríamos que preocuparnos por el sesgo de publicación.
Para saber si el resultado observado es robusto o, por el contrario, es susceptible de estar sesgado por un sesgo de publicación, se han ideado dos métodos de la N de seguridad, los conocidos en inglés como los métodos fail-safe N.
El primero es el método de la N de seguridad de Rosenthal. Supongamos que tenemos un metanálisis con un efecto que es estadísticamente significativo, por ejemplo, un riesgo relativo mayor que uno con una p < 0,05 (o un intervalo de confianza del 95% que no incluye el valor nulo, el uno). Entonces nos hacemos una pregunta: ¿cuántos estudios con RR = 1 (valor nulo) tendremos que incluir hasta que la p no sea significativa? Si necesitamos pocos estudios (menos de 10) para hacer nulo el valor del efecto, podemos preocuparnos porque puede que el efecto sea nulo en realidad y nuestra significación sea producto de un sesgo de publicación. Por el contrario, si hacen falta muchos estudios, probablemente el efecto sea significativo de verdad. Este número de estudios es lo que significa la letra N del nombre del método. El problema de este método es que se centra en la significación estadística y no en la importancia de los resultados. Lo correcto sería buscar cuántos estudios hacen falta para que el resultado pierda importancia clínica, no significación estadística. Además, asume que los efectos de los estudios faltantes es nulo (uno en caso de riesgos relativos y odds ratios, cero en casos de diferencias de medias), cuando el efecto de los estudios faltantes puede ir en sentido contrario que el efecto que detectamos o en el mismo sentido pero de menor magnitud. Para evitar estos inconvenientes existe una variación de la fórmula anterior que valora la significación estadística y la importancia clínica. Con este método, que se denomina el de la N de seguridad de Orwin, se calcula cuántos estudios hacen falta para llevar el valor del efecto a un valor específico, que será generalmente el menor efecto que sea clínicamente importante. Este método permite también especificar el efecto medio de los estudios faltantes.
Y aquí dejamos los metanálisis y el sesgo de publicación por hoy. No hemos hablado nada de otros métodos matemáticos para detectar el sesgo de publicación como el de Begg y el de Egger. Hay incluso algún método gráfico aparte de los que hemos mencionado, como el de ajuste y relleno. Pero esa es otra historia…

Hazlo con sensibilidad

Hacer las cosas con sensibilidad suele ser garantía de buenos resultados. Pero seguro que no habíais pensado que esto también se aplica en la ciencia: cuando utilizamos el método científico, para garantizar la validez de nuestros resultados tenemos que analizarlos con sensibilidad. Bueno, en realidad tenemos que hacer un análisis de sensibilidad.

Resulta que en los estudios en biomedicina se asumen en ocasiones ciertos supuestos a la hora de realizarlos y estos supuestos, que suelen concernir a los métodos de análisis o a los modelos empleados, pueden influir en los resultados que obtenemos. Siempre que nos podamos preguntar si los resultados cambiarían si cambiásemos alguna de las definiciones del estudio, o el método de análisis, o el modo de tratar los datos faltantes o el cumplimiento o violaciones del protocolo de estudio, la validez de nuestros resultados puede verse comprometida. Para defendernos de esto podemos hacer un análisis de sensibilidad y si los resultados siguen siendo los mismos, podremos decir que nuestras conclusiones son robustas.

Un análisis de sensibilidad es, por tanto, el método que usamos para determinar la robustez de una valoración examinando en qué grado los resultados se influyen por cambios en la metodología o en los modelos utilizados en el estudio.

Así que, siempre que nuestros resultados se basen en suposiciones que puedan influir en su impacto, estaremos obligados a hacer un análisis de sensibilidad, cuya metodología dependerá de cada escenario clínico concreto.

Un ejemplo puede ser la presencia de datos extremos (outliers para nuestros amigos ingleses), que pueden sesgar la media de una muestra y alterar las estimaciones que se hacen a partir de ella. Lo más sencillo es ver si existen mediante un diagrama de cajas (boxplot) y, en caso afirmativo, hacer el análisis con y sin los valores extremos para ver cómo cambian los resultados.

Otras veces existe falta de cumplimiento de la intervención o violaciones del protocolo de estudio que pueden diluir el efecto de la intervención. Podremos, en estos casos, realizar un análisis por intención de tratar y un análisis por protocolo y estudiar si existen diferencias.

En otras ocasiones la definición de las variables de resultado puede ser arbitraria, por lo que puede ser útil estudiar las conclusiones que se obtienen aplicando otros puntos de corte.

Si el muestreo se realiza en bloques, como ocurre con los estudios multicéntricos, tendremos que comparar los resultados haciendo el análisis global y el análisis por bloques, con y sin ajustar por la pertenencia de cada participante a cada bloque, ya que la homogeneidad de los datos dentro de cada bloque puede ser diferente.

Un caso curioso es el de los riesgos competitivos. Por ejemplo, si valoramos como variables de resultado infarto, angina y muerte, esta última evita la posibilidad de que vuelvan a ocurrir las dos primeras, con lo cual el análisis de supervivencia puede verse interferido. Para evitar esto hay métodos de análisis utilizando las curvas de Kaplan-Meier censurando las ocurrencias de las variables competitivas. En cualquier caso, el análisis de sensibilidad debe hacer un ajuste por el factor de riesgo competitivo.

Parecido ocurre cuando existen diferencias en las características basales de las poblaciones de control y de intervención. En estos casos, el análisis simple debe completarse con un análisis que ajuste por estas diferencias, habitualmente utilizando un modelo de regresión multivariante.

Y, para acabar, dos problemas un poco espinosos respecto al análisis estadístico. El primero se refiere al tipo de distribución de frecuencias que empleamos para el análisis. Suele asumirse que las variables continuas siguen una distribución normal, las discretas una de Poisson y las binarias una binomial. Habitualmente se comprueba que los datos se ajustan a estas distribuciones pero, si queremos tener más seguridad acerca de su validez, podemos probar los resultados asumiendo distribuciones diferentes, como la t de Student para la normal o la binomial negativa para la de Poisson.

El segundo sería el problema con los datos que faltan (los missing). En este caso tenemos dos opciones: hacer el análisis solo con los datos completos o suponer (imputar dicen los que saben de esto) los valores que faltan para incluirlos todos en el análisis. Con ambas posibilidades corremos riesgo de sesgos, dependiendo en gran parte de qué condiciona que falten los datos y de si los datos que se pierden son al azar o no. Habitualmente se hace el análisis completo y el análisis con imputación de datos y se estudian las diferencias en los resultados obtenidos.

Y esto es, a grandes rasgos, lo que es un análisis de sensibilidad. Hemos pasado muy por encima el asunto de la imputación de datos, que da para escribir un libro de los gordos. Y es que, aunque lo ideal es tratar de prevenir que nos falten datos, cuando esto ocurre tenemos un montón de formas de inventárnoslos. Pero esa es otra historia…

La asimetría del embudo

Aquiles. ¡Qué tío!. Sin duda, uno de los más famosos de todo el follón que armaron en Troya por culpa de Helena la guapa. Ya sabéis su historia. El tío era la leche porque su madre, que era nada menos que la ninfa Tetis, lo bañó en ambrosía y lo sumergió en la laguna Estigia para que fuese invulnerable. Pero cometió un error que una ninfa no debiera haberse permitido: lo agarró por el talón derecho, que no se mojó en la laguna. Así que de ahí le viene a Aquiles su punto débil. Héctor no se dio cuenta a tiempo pero Paris, bastante más espabilado, le metió un flechazo en el talón y lo mandó otra vez a la laguna, pero no al agua, sino al otro lado. Y sin barquero.

Este cuento es el origen de la expresión “talón de Aquiles”, que suele referirse al punto más débil o vulnerable de alguien o algo que, por lo demás, suele ser conocido por su fortaleza.

Por ejemplo, algo tan robusto y formidable como el metanálisis tiene su talón de Aquiles: el sesgo de publicación. Y eso se debe a que en el mundo de la ciencia no hay justicia social.

Todos los trabajos científicos deberían tener las mismas oportunidades de ser publicados y alcanzar la fama, pero la realidad no es en absoluto así y los trabajos pueden verse discriminados por cuatro razones: significación estadística, popularidad del tema del que tratan, el tener alguien que los apadrine y el idioma en que están escritos.

La realidad es que los trabajos con resultados estadísticamente significativos tienen más probabilidades de ser publicados que los no significativos. Además, incluso si son aceptados, los significativos se publican antes y, con más frecuencia, en revistas en inglés, con mayor prestigio y difusión. Esto hace que, a la larga, se citen en otros trabajos con más frecuencia. Y lo mismo ocurre con los trabajos con resultados “positivos” frente a los que tienen resultados “negativos”.

De igual manera, los trabajos sobre temas de interés público tienen más probabilidad de ser publicados con independencia de la importancia de sus resultados. Además, el padrino también influye: una casa comercial que financie un estudio de un producto suyo y le salga mal, encima no va a publicarlo para que todos sepamos que su producto no es útil. Y, por último, los trabajos en inglés tienen más difusión que los escritos en otros idiomas.

Todo esto puede verse empeorado por el hecho de que estos mismos factores pueden influir en los criterios de inclusión y exclusión de los estudios primarios del metanálisis, de tal forma que obtenemos una muestra de trabajos que puede no ser representativa del conocimiento global sobre el tema del que trate la revisión sistemática y el metanálisis.

Si tenemos un sesgo de publicación la aplicabilidad de los resultados se verá seriamente comprometida. Por esto decimos que el sesgo de publicación es el verdadero talón de Aquiles del metanálisis.

Si delimitamos correctamente los criterios de inclusión y exclusión de los estudios y hacemos una búsqueda global y sin restricciones de la literatura habremos hecho todo lo posible para minimizar el riesgo de sesgo, pero nunca podremos estar seguros de haberlo evitado. Por eso se han ideado técnicas y herramientas para su detección.

funnel_nosesgoLa más usada tiene el simpático nombre de gráfico en embudo, aunque es más conocido por su nombre en inglés: funnel plot. En él se representa la magnitud del efecto medido (eje X) frente a una medida de precisión (eje Y), que suele ser el tamaño muestral, pero que puede también ser el inverso de la varianza o el error estándar. Representamos cada estudio primario con un punto y observamos la nube de puntos.

En la forma más habitual, con el tamaño de la muestra en el eje Y, la precisión de los resultados será mayor en los estudios de muestra más grande, con lo que los puntos estarán más juntos en la parte alta del eje y se irán dispersando al acercarnos al origen del eje Y. De esta forma, se observa una nube de puntos en forma de embudo, con la parte ancha hacia abajo. Este gráfico debe ser simétrico y, en caso de que no sea así, debemos sospechar siempre un sesgo de publicación. En el segundo ejemplo que os pongo podéis ver como “faltan” los estudios que están hacia el lado de falta de efecto: esto puede significar que solo se publican los estudios con resultado positivo.

funnel_sesgoEste método es muy sencillo de utilizar pero, en ocasiones, podemos tener dudas acerca de la asimetría de nuestro embudo, sobre todo si el número de estudios es pequeño. Además, el embudo puede ser asimétrico por defectos de la calidad de los estudios o porque estemos tratando con intervenciones cuyo efecto varíe según el tamaño de la muestra de cada estudio.  Para estos casos se han ideado otros métodos más objetivos como la prueba de correlación de rangos de Begg y la prueba de regresión lineal de Egger.

La prueba de Begg estudia la presencia de asociación entre las estimaciones de los efectos y sus varianzas. Si existe correlación entre ellos, mal asunto. El problema de esta prueba es que tiene poca potencia estadística, por lo que es poco de fiar cuando el número de estudios primarios es pequeño.

eggerLa prueba de Egger, más específica que la de Begg, consiste en representar gráficamente la recta de regresión entre la precisión de los estudios (variable independiente) y el efecto estandarizado (variable dependiente). Esta regresión hay que ponderarla por el inverso de la varianza, así que no os recomiendo que la hagáis por vuestra cuenta, salvo que seáis estadísticos consumados. Cuando no hay sesgo de publicación la recta de regresión se origina en el cero del eje Y. Cuánto más se aleje del cero, mayor evidencia de sesgo de publicación.

Como siempre, existen programas informáticos que hacen estas pruebas con rapidez sin que tengamos que quemarnos el cerebro con sus cálculos.

¿Y si después de hacer el trabajo vemos que hay sesgo de publicación?. ¿Podemos hacer algo para ajustarlo?. Como siempre, podemos.trim_and_fill

La forma más sencilla es utilizar un método gráfico que se llama de ajuste y relleno (trim and fill para los amantes del inglés). Consiste en lo siguiente: a) dibujamos el funnel plot; b) quitamos los estudios pequeños para que el embudo sea simétrico; c) se determina el nuevo centro del gráfico; d) se vuelven a poner los estudios quitados y añadimos su reflejo al otro lado de la línea central; e) reestimamos es efecto.

Y para terminar deciros que, como suele ser habitual, hay un segundo método mucho más exacto pero también bastante más complejo, que consiste en un modelo de regresión basado en la prueba de Egger. Pero esa es otra historia…

Que los árboles no te impidan ver el bosque

Han pasado muchos años desde que una ardilla podía cruzar la Península Ibérica sin bajarse de un árbol. Tal era la frondosidad de nuestra tierra. Aunque no creáis, hay quien piensa que esto no es más que un mito. De todas formas, me pregunto si la ardilla en cuestión se daría cuenta de que estaba dentro de un gran bosque. Supongo que sí, aunque nunca se sabe: a veces los árboles no nos dejan ver el bosque o, más bien, todo el bosque.

En cualquier caso, una ardilla moderna no tendría esos problemas. No cabe duda de que hoy en día no podría cruzar la Península sin bajarse de un árbol pero, en cambio, sí podría cruzar el país entero sin bajarse de la cabeza de un tonto. Como leí el otro día en un blog, hay más tontos que botellines y, además, están estratégicamente colocados para que te encuentres todos los días, al menos, un par.

El metanálisis  es también una especie de bosque, donde sus estudios primarios serían los árboles. ¡Qué poético!. Pero en este caso los árboles no solo no impiden ver nada, sino que nos ayudan a ver el bosque, todo el bosque de manera global. Claro que, para eso, los resultados del metanálisis deben presentarse de la forma apropiada.

Hasta no hace mucho podíamos seguir los consejos de la declaración QUOROM, pero esta declaración se actualizó para convertirse en PRISMA, que dedica siete de sus 27 ítems a darnos consejos de cómo presentar los resultados de un metanálisis.

Primero debemos informar sobre el proceso de selección de estudios: cuántos hemos encontrado y evaluado, cuántos hemos seleccionado y cuántos rechazado, explicando además las razones para hacerlo. Para esto resulta muy útil el diagrama de flujo que debe incluir la revisión sistemática de la que procede el metanálisis si se acoge a la declaración PRISMA.

En segundo lugar deben especificarse las características de los estudios primarios, detallando qué datos sacamos de cada uno de ellos y sus correspondientes citas bibliográficas para facilitar que cualquier lector del trabajo pueda comprobar los datos si no se fía de nosotros. En este sentido va también el tercer apartado, que se refiere a la evaluación del riesgo de sesgos de los estudios y su validez interna.

Cuarto, debemos presentar los resultados de cada estudio individual con un dato resumen de cada grupo de intervención analizado junto con los estimadores calculados y sus intervalos de confianza. Estos datos nos servirán para confeccionar la información que PRISMA nos pide en su quinto punto referente a la presentación de resultados y no es otro que la síntesis de todos los estudios del metanálisis, sus intervalos de confianza, resultados del estudio de homogeneidad, etc.

Esto suele hacerse de forma gráfica con una herramienta popularmente conocida por su nombre en inglés: el forest plot. Este gráfico es una especie de bosque donde los árboles serían los estudios primarios del metanálisis y donde se resumen todos los resultados relevantes de la síntesis cuantitativa.

La Cochrane Collaboration recomienda estructurar el forest plot en cinco columnas bien diferenciadas. En la columna 1 se listan los estudios primarios o los grupos o subgrupos de pacientes incluidos en el metanálisis. Habitualmente se representan por un identificador compuesto por el nombre del primer autor y la fecha de publicación.

La columna 2 nos muestra los resultados de las medidas de efecto de cada estudio tal como las refieren sus respectivos autores.

La columna 3 es el forest plot propiamente dicho, la parte gráfica del asunto. En él se representan las medidas de efecto de cada estudio a ambos lados de la línea de efecto nulo, que ya sabemos que es el cero para diferencias de medias y el uno para odds ratios, riesgos relativos, hazard ratios, etc. Cada estudio se representa por un cuadrado cuya área suele ser proporcional a la contribución de cada uno al resultado global. Además, el cuadrado está dentro de un segmento que representa los extremos de su intervalo de confianza.

forest_esp

Estos intervalos de confianza nos informan sobre la precisión de los estudios y nos dicen cuáles son estadísticamente significativos: aquellos cuyo intervalo no cruza la línea de efecto nulo. De todas formas, no olvidéis que, aunque crucen la línea de efecto nulo y no sean estadísticamente significativos, los límites del intervalo pueden darnos mucha información sobre la importancia clínica de los resultados de cada estudio. Por último, en el fondo del gráfico encontraremos un diamante que representa el resultado global del metanálisis. Su posición respecto a la línea de efecto nulo nos informará sobre la significación estadística del resultado global, mientras que su anchura nos dará una idea de su precisión (su intervalo de confianza). Además, en la parte superior de esta columna encontraremos el tipo de medida de efecto, el modelo de análisis de datos que se ha utilizados (efectos fijos o efectos aleatorios) y el valor de significación de los intervalos de confianza (habitualmente 95%).

Suele completar este gráfico una cuarta columna con la estimación del peso de cada estudio en tantos por cien y una quinta columna con las estimaciones del efecto ponderado de cada uno. Y en algún rinconcillo de todo este bosque estará la medida de heterogeneidad que se ha utilizado, junto con su significación estadística en los casos en que sea pertinente.

Para finalizar la exposición de los resultados, PRISMA recomienda un sexto apartado con la evaluación que se haya hecho de los riesgos de sesgo del estudio y un séptimo con todos los análisis adicionales que haya sido necesario realizar: estratificación, análisis de sensibilidad, metarregresión, etc.

Como veis, nada es fácil en esto de los metanálisis. Por eso, la Cochrane recomienda seguir una serie de pasos para interpretar correctamente los resultados. A saber:

1. Verificar qué variable se compara y cómo. Suele verse en la parte superior del forest plot.

2. Localizar la medida de efecto utilizada. Esto es lógico y necesario para saber interpretar los resultados. No es lo mismo una hazard ratio que una diferencia de medias o lo que sea que se haya usado.

3. Localizar el diamante, su posición y su amplitud. Conviene también fijarse en el valor numérico del estimador global y en su intervalo de confianza.

4. Comprobar que se ha estudiado la heterogeneidad. Esto puede verse a ojo mirando si los segmentos que representan los estudios primarios están o no muy dispersos y si se solapan o no. En cualquier caso, siempre habrá un estadístico que valore el grado de heterogeneidad. Si vemos que existe heterogeneidad, lo siguiente será buscar qué explicación dan los autores sobre su existencia.

5. Sacar nuestras conclusiones. Nos fijaremos en qué lado de la línea de efecto nulo están el efecto global y su intervalo de confianza. Ya sabéis que, aunque sea significativo, el límite inferior del intervalo conviene que esté lo más lejos posible de la línea, por aquello de la importancia clínica, que no siempre coincide con la significación estadística. Por último, volved a mirar el estudio de homogeneidad. Si hay mucha heterogeneidad los resultados no serán tan fiables.

Y aquí terminamos con los resultados y el forest plot. En realidad, el forest plot no es exclusivo de los metanálisis y puede usarse siempre que queramos comparar estudios para dilucidar su significación estadística o clínica, o en casos como los estudios de equivalencia, en los que a la línea de efecto nulo se le unen las de los umbrales de equivalencia. Pero aún tiene una utilidad más. Una variante del forest plot sirve también para valorar si existe sesgo de publicación en la revisión sistemática, aunque en estos casos se le suele llamar gráfico en embudo. Pero esa es otra historia…

Cuando muchos pocos hacen un mucho

Todos conoceréis el cuento chino del pobre grano de arroz solitario que se cae al suelo y no lo oye nadie. Claro que si en lugar de caerse un grano se cae un saco lleno de arroz eso ya será otra cosa. Hay muchos ejemplos de que la unión hace la fuerza. Una hormiga roja es inofensiva, salvo que te muerda en alguna zona blanda y noble, que suelen ser las más sensibles. Pero ¿qué me decís de una marabunta de millones de hormigas rojas?. Eso sí que acojona, porque si se juntan todas y vienen a por ti, poco podrás hacer para parar su empuje. Sí, la suma de muchos “pocos” hace un “mucho”.

Y esto también pasa en estadística. Con una muestra relativamente pequeña de votantes bien elegidos podemos estimar quién va a ganar unas elecciones en las que votan millones. Así que, ¿qué no podríamos hacer con un montón de esas muestras?. Seguro que la estimación sería más fiable y más generalizable.

Pues bien, esta es precisamente una de las finalidades del metanálisis, que utiliza diversas técnicas estadísticas para hacer una síntesis cuantitativa de los resultados de un conjunto de estudios que, aunque tratan de responder a la misma pregunta, no llegan exactamente al mismo resultado.

Sabemos que antes de combinar los resultados de los estudios primarios de un metanálisis debemos comprobar previamente que estos estudios son homogéneos entre sí, ya que, en caso contrario, tendría poco sentido hacerlo y los resultados que obtendríamos no serían válidos ni podríamos generalizarlos. Para esto existen una serie de métodos, tanto numéricos como gráficos, que nos pueden asegurar que tenemos la homogeneidad que necesitamos.

El siguiente paso es analizar los estimadores del tamaño de efecto de los estudios, ponderándolos según la contribución que cada estudio va a tener sobre el resultado global. La forma más habitual es ponderar la estimación del tamaño del efecto por la inversa de la varianza de los resultados, realizando posteriormente el análisis para obtener el efecto medio. Para esto hay varias posibilidades, aunque los dos métodos que se utilizan habitualmente son el modelo de efectos fijos y el modelo de efectos aleatorios. Ambos modelos difieren en la concepción que hacen de la población de partida de la que proceden los estudios primarios.

El modelo de efectos fijos considera que no existe heterogeneidad y que todos los estudios estiman el mismo tamaño de efecto de la población, por lo que se asume que la variabilidad que se observa entre los estudios individuales se debe únicamente al error que se produce al realizar el muestreo aleatorio en cada estudio. Este error se cuantifica estimando la varianza intraestudios, asumiendo que las diferencias en los tamaños de efecto estimados se deben solo a que se han utilizado muestras de sujetos diferentes.

Por otro lado, en el modelo de efectos aleatorios se parte de la base de que el tamaño de efecto sigue una distribución de frecuencias normal dentro de la población, por lo que cada estudio estima un tamaño de efecto diferente. Por lo tanto, además de la varianza intraestudios debida al error del muestreo aleatorio, el modelo incluye también la variabilidad entre estudios, que representaría la desviación de cada estudio respecto del tamaño de efecto medio. Estos dos términos de error son independientes entre sí, contribuyendo ambos a la varianza del estimador de los estudios.

En resumen, el modelo de efectos fijos incorpora solo un término de error por la variabilidad de cada estudio, mientras que el de efectos aleatorios añade, además, otro término de error debido a la variabilidad entre los estudios.

Veis que no he escrito ni una sola fórmula. En realidad no nos hace falta conocerlas y son bastante antipáticas, llenas de letras griegas que no hay quien las entienda. Pero no os preocupéis. Como siempre, los programas estadísticos como RevMan de la Cochrane Collaboration permiten hacer los cálculos de forma sencilla, quitando y sacando estudios del análisis y cambiando de modelo según nos apetezca.

El tipo de modelo a elegir tiene su importancia. Si en el análisis previo de homogeneidad vemos que los estudios son homogéneos podremos utilizar el modelo de efectos fijos. Pero si detectamos que existe heterogeneidad, dentro de los límites que nos permiten combinar los estudios, será preferible usar el modelo de efectos aleatorios.

Otra consideración a realizar es la de la aplicabilidad o validez externa de los resultados del metanálisis. Si hemos utilizado el modelo de efectos fijos será comprometido generalizar los resultados fuera de las poblaciones con características similares a las de los estudios incluidos. Esto no ocurre con los datos utilizados con el modelo de efectos aleatorios, cuya validez externa es mayor por provenir de poblaciones de diferentes estudios.

En cualquier caso, obtendremos una medida de efecto medio junto con su intervalo de confianza. Este intervalo de confianza será estadísticamente significativo cuando no cruce la línea de efecto nulo, que ya sabemos que es cero para diferencias de medias y uno para odds ratios y riesgos relativos. Además, la amplitud del intervalo nos informará sobre la precisión de la estimación del efecto medio en la población: cuánto más ancho, menos preciso, y viceversa.

Si pensáis un poco comprenderéis en seguida porqué el modelo de efectos aleatorios es más conservador que el de efectos fijos en el sentido de que los intervalos de confianza que se obtienen son menos precisos, ya que incorpora más variabilidad en su análisis. En algún caso puede ocurrir que el estimador sea significativo si usamos el de efectos fijos y no lo sea si usamos el de efectos aleatorios, pero esto no debe condicionarnos a la hora de escoger el modelo a utilizar. Siempre debemos basarnos en la medida previa de heterogeneidad aunque, si tenemos dudas, también podemos utilizar los dos y comparar los diferentes resultados.

Y ya solo nos quedaría presentar los resultados de forma correcta. Los datos de los metanálisis suelen representarse en un gráfico específico que se suele conocer por su nombre en inglés: el forest plot. Pero esa es otra historia…