Justificaciones para un modelo de efectos fijos versus efectos aleatorios en el metanálisis

He leído varias publicaciones que intentan justificar el uso de un modelo de efectos fijos con declaraciones en la línea de "se eligió el modelo de efectos fijos porque la heterogeneidad era baja". Sin embargo, me preocupa que aún pueda ser un enfoque inapropiado para el análisis de datos.

¿Hay razones o publicaciones que discutan si esto podría ser un error y por qué?

Nota: Si desea una respuesta rápida a su pregunta sobre el uso de la prueba de heterogeneidad para tomar esta decisión, desplácese hacia abajo hasta " ¿Qué justificaciones son razonables? ".

Hay algunas justificaciones (algunas más / menos razonables que otras) que los investigadores ofrecen para su selección de una síntesis metaanalítica de efectos fijos versus efectos aleatorios. Estos se discuten en los textos introductorios de metaanálisis, como Borenstein et al. (2009), Card (2011) y Cooper (2017).

Sin condenar o condonar ninguna de estas justificaciones (todavía), incluyen:

Justificaciones para la selección del modelo de efectos fijos

1. Simplicidad analítica : algunas personas sienten que el cálculo / interpretación de un modelo de efectos aleatorios está más allá de su comprensión estadística y, por lo tanto, se adhieren a un modelo más simple. Con el modelo de efectos fijos, el investigador solo necesita estimar la variabilidad en los tamaños de los efectos impulsados ​​por el error de muestreo. Para bien o para mal, esta es una práctica pragmática fomentada explícitamente en Card (2011).

2. Creencia previa en la variabilidad / moderadores a nivel de estudio : si un investigador cree que todos los tamaños de efecto en su muestra varían solo debido a un error de muestreo, y que no existe una variabilidad sistemática a nivel de estudio (y, por lo tanto, no hay moderadores), habría poco imperativo para adaptarse a un modelo de efectos aleatorios. Creo que esta justificación y la primera a veces van de la mano, cuando un investigador siente que el ajuste de un modelo de efectos aleatorios está más allá de su capacidad, y luego racionaliza esta decisión alegando, después de el hecho de que no anticipan ninguna cantidad de verdadera heterogeneidad a nivel de estudio.

3. Los moderadores sistemáticos se han considerado exhaustivamente : algunos investigadores pueden usar un análisis de efectos fijos después de haber investigado y tenido en cuenta a cada moderador que se les ocurra. La razón subyacente aquí es que una vez que un investigador ha tenido en cuenta cada fuente concebible / significativa de variabilidad a nivel de estudio, todo lo que puede sobra es un error de muestreo y, por lo tanto, un modelo de efectos aleatorios sería innecesario.

4. $Q$
5. Intención de hacer inferencias limitadas / específicas : los modelos de efectos fijos son apropiados para hablar de patrones de efectos estrictamente dentro de la muestra de efectos. Por lo tanto, un investigador podría justificar ajustar un modelo de efectos fijos si se siente cómodo hablando solo de lo que está sucediendo en su muestra y no especulando sobre lo que podría suceder en los estudios omitidos por su revisión, o en los estudios que vienen después de su revisión.

Justificaciones para la selección de un modelo de efectos aleatorios

6. Creencia previa en la variabilidad / moderadores a nivel de estudio : en contraste con la justificación 2. (a favor de los modelos de efectos fijos), si el investigador anticipa que habrá una cantidad significativa de variabilidad a nivel de estudio (y, por lo tanto, moderación), predeterminado para especificar un modelo de efectos aleatorios. Si proviene de un entorno de psicología (yo sí), esto se está convirtiendo en una forma predeterminada cada vez más rutinaria / alentada de pensar sobre los tamaños de los efectos (por ejemplo, ver Cumming, 2014).

7. $Q$$Q$$Q$

8. $Q$

9. Intención de hacer inferencias amplias / generalizables : a diferencia de los modelos de efectos fijos, los modelos de efectos aleatorios autorizan a un investigador a hablar (hasta cierto punto) más allá de su muestra, en términos de patrones de efectos / moderación que se desarrollarían en una literatura más amplia. Si este nivel de inferencia es deseable para un investigador, podría preferir un modelo de efectos aleatorios.

Consecuencias de especificar el modelo incorrecto

Aunque no es una parte explícita de su pregunta, creo que es importante señalar por qué es importante para el investigador "acertar" al seleccionar entre modelos de metanálisis de efectos fijos y aleatorios: en gran medida se reduce a la estimación precisión y potencia estadística .

Los modelos de efectos fijos son estadísticamente más potentes a riesgo de producir estimaciones artificialmente precisas; Los modelos de efectos aleatorios son menos poderosos estadísticamente, pero potencialmente más razonables si existe una verdadera heterogeneidad. En el contexto de las pruebas de los moderadores, los modelos de efectos fijos pueden subestimar la extensión de la varianza del error, mientras que los modelos de efectos aleatorios pueden sobrestimar la extensión de la varianza del error (dependiendo de si se cumplen o violan sus supuestos de modelado, ver Overton, 1998). Nuevamente, dentro de la literatura de psicología, existe una sensación cada vez mayor de que el campo se ha basado demasiado en los metanálisis de efectos fijos, y que, por lo tanto, nos hemos engañado a nosotros mismos con un mayor sentido de certeza / precisión en nuestros efectos (ver Schmidt et al. ., 2009).

¿Qué justificaciones son razonables?

$Q$$Q$$Q$ es probable que tenga poca potencia para detectar una heterogeneidad significativa (o una potencia excesiva para detectar cantidades triviales de heterogeneidad).

La simplicidad analítica ( Justificación 1. ) parece otra justificación para los modelos de efectos fijos que es poco probable que tenga éxito (por razones que creo son más obvias). Argumentar que todos los moderadores posibles se han agotado ( Justificación 3. ), por otro lado, podría ser más convincente en algunos casos, si el investigador puede demostrar que han considerado / modelado una amplia gama de variables moderadoras. Si solo han codificado a unos pocos moderadores, esta justificación probablemente se considerará bastante engañosa / endeble.

Dejar que los datos tomen la decisión a través de un modelo de efectos aleatorios predeterminado ( Justificación 8. ) es algo sobre lo que no estoy seguro. Ciertamente no es una decisión activa / basada en principios, pero junto con el cambio del campo de la psicología hacia la preferencia de modelos de efectos aleatorios por defecto, puede resultar una justificación aceptable (aunque no particularmente reflexiva).

Eso deja justificaciones relacionadas con creencias previas con respecto a la (s) distribución (es) de los efectos ( Justificación 2. y Justificación 6. ), y aquellas relacionadas con los tipos de inferencias que el investigador desea obtener una licencia ( Justificación 5. y Justificación 9.) La plausibilidad de las creencias anteriores sobre la distribución de los efectos se reducirá en gran medida a las características de la investigación que está sintetizando; Como señala Cooper (2017), si está sintetizando los efectos de procesos mecanicistas / universales, recopilados de contextos / muestras en gran medida similares, y en entornos estrechamente controlados, un análisis de efectos fijos podría ser completamente razonable. Sintetizar los resultados de las réplicas del mismo experimento sería un buen ejemplo de cuándo esta estrategia analítica podría ser deseable (ver. Goh et al., 2016). Sin embargo, si está sintetizando un campo donde los diseños, manipulaciones, medidas, contextos y características de la muestra difieren bastante, parece cada vez más difícil argumentar que uno está estudiando exactamenteel mismo efecto en cada caso Por último, el tipo de inferencias que uno desea hacer parece una cuestión de preferencia / gusto personal, por lo que no estoy seguro de cómo comenzar a argumentar a favor / en contra de esta justificación siempre que parezca conceptualmente defendible.

Referencias

Borenstein, M., Hedges, LV, Higgins, JPT y Rothstein, HR (2009). Introducción al metanálisis . West Sussex, Reino Unido: Wiley.

Card, NA (2011). Metanálisis aplicado para la investigación en ciencias sociales.Nueva York, NY: Guilford Press.

Cooper, H. (2017). Síntesis de investigación y metaanálisis: un enfoque paso a paso.Thousand Oaks, CA: Sabio.

Cumming, G. (2014). Las nuevas estadísticas: por qué y cómo. Ciencias psicológicas , 25 (1), 7-29.

Goh, JX, Hall, JA y Rosenthal, R. (2016). Mini meta-análisis de sus propios estudios: algunos argumentos sobre por qué y un manual sobre cómo. Brújula de psicología social y de personalidad , 10 (10), 535-549.

Overton, RC (1998). Una comparación de modelos de efectos fijos y mixtos (efectos aleatorios) para pruebas de metanálisis de efectos variables moderadores. Metodos psicologicos , 3 (3), 354-379.

Schmidt, FL, Oh, IS, y Hayes, TL (2009). Modelos de efectos fijos versus efectos aleatorios en el metanálisis: propiedades del modelo y una comparación empírica de las diferencias en los resultados. Revista británica de psicología matemática y estadística , 62 (1), 97-128.

Pide en particular referencias.

La referencia clásica para esto es probablemente el artículo de Hedges y Vevea titulado " Modelos de efectos fijos y aleatorios en el metanálisis ".

Si trabaja en salud, el capítulo relevante del manual Cochrane es probablemente una lectura esencial y contiene mucho sentido común. En particular, sugiere cuándo el metanálisis no debe considerarse en absoluto y también distingue claramente qué hacer con respecto a la heterogeneidad además de simplemente ajustar modelos de efectos aleatorios.