Ciencia sin seso… locura doble

Píldoras sobre medicina basada en pruebas

Entradas etiquetadasImputación
image_pdf

La intención es lo que cuenta

Siempre hay alguien que no hace lo que se le dice. Mira que el planteamiento de un ensayo clínico parece sencillo en lo que se refiere a sus participantes. Se les asigna al azar a una de las dos ramas del ensayo y unos se tienen que tomar la pastilla A y otras la B, para que nosotros podamos ver cuál de las dos funciona mejor.

Sin embargo, siempre hay alguien que no hace lo que se le dice y se toma la pastilla que no es, o no se la toma, o se la toma mal, o la deja de tomar antes de tiempo, etc, etc, etc.

¿Y qué hacemos a la hora de analizar los resultados?. El sentido común nos dice que si un participante se ha equivocado de pastilla lo incluyamos en el grupo de la pastilla que finalmente se tomó (es lo que se llama hacer un análisis por protocolo). O que si no la ha tomado, nos olvidemos de él. Pero esta actitud no es correcta si queremos realizar un análisis no sesgado de los resultados del ensayo. Si empezamos a cambiar los participantes de un grupo a otro perderemos el beneficio que obteníamos al repartirlos al azar, con lo que pueden entrar en juego variables de confusión o modificadoras de efecto que estuviesen equilibrados entre las dos ramas del ensayo por el proceso de reparto aleatorio.

Para evitar esto, lo correcto es respetar la intención inicial de asignación de grupo y analizar los resultados del sujeto que se confunde como si se hubiese tomado el tratamiento asignado de forma correcta. Es lo que se conoce como el análisis por intención de tratar, el único que preserva las ventajas de la aleatorización.

Hay varias razones por las que un participante en un ensayo puede no recibir el tratamiento tal y como se le asignó, además del mal cumplimiento por su parte. Veamos algunas.

En ocasiones puede ser el investigador el que hace una inclusión errónea del participante en el grupo de tratamiento. Imaginemos que, después de aleatorizarlos, nos damos cuenta de que algunos participantes no son idóneos para recibir la intervención, bien porque no tengan la enfermedad o porque descubramos que existe alguna contraindicación para la intervención, por ejemplo. Si somos estrictos, deberíamos incluirlos en el análisis del grupo al que se asignaron, aunque no hayan recibido la intervención. Sin embargo, puede ser razonable excluirlos si las causas de exclusión están previamente especificadas en el protocolo del ensayo. De todas formas, es importante que esto lo realice alguien que desconozca la asignación y los resultados, para que se traten de igual forma los participantes dela dos ramas del ensayo. De todas formas, si queremos una mayor seguridad, podemos hacer un análisis de sensibilidad con y sin estos sujetos para ver cómo se modifican los resultados.

Otro problema de este tipo lo pueden ocasionar los datos faltantes. Los resultados de todas las variables, y especialmente de la principal, deberían estar presentes para todos los participantes, pero esto no siempre es así, de forma que tenemos que decidir qué hacemos con los sujetos a los que les falte algún dato.

La mayor parte de los programas de estadística funcionan con datos completos, excluyendo del análisis aquéllos registros de sujetos con datos faltantes. Esto disminuye el tamaño muestral efectivo y puede sesgar los resultados, además de disminuir la potencia del estudio. Algunos modelos, como los longitudinales mixtos o la regresión de Cox, manejan registros en los que falten algunos datos, pero ninguno puede hacer nada si falta toda la información de un sujeto. En estos casos podemos recurrir a la imputación de datos con cualquiera de sus modalidades, de tal forma que rellenemos los huecos para aprovechar toda la muestra según la intención de tratamiento.

Cuando la imputación de datos no es conveniente, una cosa que podemos hacer es lo que se llama análisis de casos extremos. Esto se hace asignando a los huecos los mejores y peores resultados posibles y viendo cómo se modifican los resultados. Así nos haremos una idea del máximo impacto que pueden tener los datos faltantes sobre los resultados del estudio. En cualquier caso, no cabe duda de que la mejor estrategia será diseñar el estudio para que los datos faltantes sean los mínimos posibles.

En cualquier caso, siempre hay alguien que se equivoca y nos lía el planteamiento del ensayo. ¿Qué podemos hacer entonces?.

Una posibilidad es utilizar un análisis por intención de tratar modificado. Se incluye cada uno en el grupo asignado, pero se permite la exclusión de algunos como los que nunca empezaron el tratamiento o los que no se consideraron adecuados para el estudio. El problema es que esto abre una puerta para maquillar los datos según nos interese y sesgar los resultados en nuestro provecho. Por eso, debemos desconfiar cuando estas modificaciones no estuviesen especificadas en el protocolo del ensayo y se decidan post hoc.

La otra posibilidad es hacer el análisis según el tratamiento recibido (análisis por protocolo). El problema, ya lo hemos dicho, es que se pierde el balance de la aleatorización. Además, si los que se equivocan tienen algunas características especiales, esto puede sesgar los resultados del estudio. Por otra parte, la ventaja de analizar las cosas tal y como realmente se han hecho es que nos puede dar una idea mejor de cómo puede funcionar el tratamiento en la vida real.

Por último, quizás lo más seguro sea realizar ambos análisis, por protocolo y por intención de tratamiento, y comparar los resultados que se obtienen con cada uno. En estos casos puede ocurrir que detectemos un efecto al analizar por protocolo y no al analizar por intención de tratamiento. Esto puede deberse a dos causas principales. Primero, el análisis por protocolo puede crear asociaciones espurias al romper el balance de variables de confusión que nos garantizaba la aleatorización. Segundo, el análisis por intención de tratamiento va a favor de la hipótesis nula, por lo que su potencia es menor que la del análisis por protocolo. Eso sí, si detectamos un efecto significativo, nos veremos reforzados si el análisis se hizo por intención de tratar.

Y aquí lo dejamos por hoy. Hemos visto como intentar controlar los errores de asignación de grupo en los ensayos y cómo podemos imputar los datos faltantes, que es una forma elegante de decir que inventamos datos allá donde falten. Claro, que para poder hacerlo se han de cumplir una serie de condiciones estrictas. Pero esa es otra historia…

…Ni están todos los que son

Supongo que conocéis esta frase. Habitualmente se usa para dar a entender que alguien no anda muy en sus cabales por algo que haya dicho. Ya sabéis también que la frase pertenece a un refrán más largo que dice que “ni son todos los que están, ni están todos los que son”, que suele referirse a los manicomios. Según el refrán, ni todos los que están ingresados en un manicomio están locos, ni todos los que estamos fuera estamos cuerdos. Yo, personalmente, no puedo decir nada de la primera mitad, ya que nunca he estado ingresado en uno de ellos, aunque siempre se está a tiempo. En cuanto a la segunda mitad, es evidente que es cierta. Yo me atrevería a decir que hay incluso más locos fuera que dentro.

Pero hoy no vamos a hablar de locos, sino de otros que tampoco están. Pero estos no están no por no ser nada, sino simplemente por faltar. Son los datos faltantes, mundialmente conocidos como missing, por aquello del dominio de la lengua inglesa en el mundo de la ciencia.

La ausencia de datos es muy frecuente en cualquier estudio de investigación. No hay encuesta o base de datos de cualquier estudio en el que no haya casillas vacías, a veces incluso de datos con gran interés para el investigador. Las causas para que falten datos pueden ser múltiples. A veces, los encuestados no responden por falta de tiempo o de interés. A veces responden, pero contestan algo sin sentido o el investigador se equivoca al codificar la respuesta. Otras veces están relacionadas con las pérdidas durante el seguimiento que se producen en muchos estudios, o con faltas de cumplimiento de los tratamientos de los ensayos.

Hay varias formas de reaccionar ante la pérdida de datos, pero cuál elegir depende en gran parte de los mecanismos que producen esta ausencia de datos. En este sentido, los datos pueden perderse al azar (DPA), perderse de forma no aleatoria (DPNA) y de forma completamente aleatoria (DPCA).

Las ausencias de DPA pueden estar relacionadas con una determinada variable, pero no con el valor que tenga. Por ejemplo, si valoramos el efecto teratogénico de un fármaco, el valor de la variable dependerá de la variable “embarazo previo” o de la variable “indicación del fármaco”, que pueden también faltar del registro. Otro ejemplo es la omisión u olvido accidental a la hora de contestar una de las preguntas de la encuesta. Por otro lado, los DPCA no están relacionados con ninguna de las variables medidas ni con los factores conocidos o desconocidos que puedan influir en la variable. Como su nombre indica, las pérdidas ocurren totalmente al azar, pero esto es algo que ocurre pocas veces. Asumir que las pérdidas son totalmente aleatorias es difícil de probar, porque siempre pueden ser debidas a una variable en la que no se haya pensado y que tenga un efecto desconocido sobre la variable de resultado.

Por último, los DPNA responden a una causa determinada que habitualmente no hemos observado. Por ejemplo, si los participantes de un ensayo faltan a una visita intermedia por olvido, la ausencia de datos en esa visita puede ser aleatoria. Pero si faltan porque en esa visita se encuentran fatal por un efecto de la intervención, los datos faltantes no podrán ser considerados aleatorios.

Los DPA y los DPCA pueden ser ignorados, aunque siempre con cierto riesgo de sesgo. Sin embargo, nunca deben ignorarse los DPNA. Hacerlo nos llevará siempre a la obtención de estimaciones sesgadas, comprometiendo la validez interna y externa de los resultados.

¿Y qué podemos hacer con los datos ausentes?. Lo ideal, claro está, es que no nos falten datos, para lo cual deberemos ser cuidadosos al diseñar el estudio, en especial las fases de recolección de datos. Pero, por muy cuidadosos que seamos, será raro que no tengamos datos faltantes. En este caso podemos hacer dos cosas: ignorarlos o inventarlos.

Podemos ignorarlos y hacer un análisis de los datos completos. El problema es que siempre perdemos la información de los participantes con algún datos ausente, además de correr el riesgo de cometer algún sesgo. Y ya hemos dicho que esta práctica está totalmente desaconsejada en el caso de DPNA. En estos casos, las pérdidas deben analizarse y tratar de explicarlas.

La otra posibilidad es inventarlos, pero como esto suena muy mal, usamos la palabra imputarlos. Hay diversas técnicas de imputación de datos, las simples y las múltiples.

Entre las técnicas de imputación simple están el método de medias no condicionadas, el método de medias condicionadas para datos agrupados, la imputación con variables ficticias, la imputación mediante una distribución no condicionada (el hot deck de los ingleses), la imputación del valor vecino más próximo (cold deck) y la imputación por regresión.

La mayor parte de los investigadores suelen preferir los métodos de imputación múltiple, asegurándose previamente de que las pérdidas sean aleatorias, lo que, en ocasiones, puede ser complicado, como ya hemos mencionado previamente. Estos métodos utilizan una simulación de Monte Carlo y sustituyen los datos faltantes por otros obtenidos a partir de un número de simulaciones, que se suele considerar óptimo entre 3 y 10. La matemática es compleja, pero la mayor parte de las aplicaciones informáticas estadísticas implementa algún método de imputación de datos.

Es difícil decidir cuándo utilizar un método de imputación simple o uno múltiple. En general, si tratamos con una encuesta compleja y el número de datos faltantes no es muy alto, es probable que un método simple reproduzca bien las características de esta subpoblación de interés en la que faltan los datos. Sin embargo, no nos dejemos  tentar por lo más fácil: los métodos de imputación múltiple suelen ser más adecuados para este fin que los simples.

Para terminar con los datos faltantes deciros que hay alguna opción más aparte de obviarlos o inventarlos. Por ejemplo, con variables continuas pueden utilizarse modelos lineales de mediciones repetidas para analizar los resultados a lo largo del seguimiento. Para las variables categóricas existen también otras técnicas estadísticas más complejas, como los modelos de ecuaciones de estimaciones generalizadas o los modelos lineales mixtos de efectos aleatorios generalizados. Pero esa es otra historia…