Metarregresión multivariada multinivel

Antecedentes:
me gustaría llevar a cabo una meta-regresión utilizando estudios que tengan (1) varios resultados / constructos (= multivariante) y (2) tamaños de efectos múltiples para cada uno de estos resultados debido a diferentes medidas. Aquí hay un esquema que, con suerte, lo explica mejor:

• Estudio 1, Resultado A, Tamaño del efecto 1
• Estudio 1, Resultado A, Tamaño del efecto 2
• Estudio 1, Resultado B, Tamaño del efecto 3
• Estudio 2, Resultado A, Tamaño del efecto 4
• Estudio 2, Resultado C, Tamaño del efecto 5
• Estudio 2, Resultado C, Tamaño del efecto 6
• ...

Los estudios comparan las medias de dos grupos en diferentes resultados y los tamaños de los efectos son g de Hedge.

Un ejemplo práctico sería "Memoria de trabajo" que se puede dividir en diferentes resultados (Baddeley, 1974), por ejemplo, "Bucle fonológico", "Bloc de dibujo visoespacial" o "Ejecutivo central".
Por ejemplo, el Estudio 1 evalúa el "bucle fonológico" (Resultado A) con dos medidas diferentes (= Tamaño del efecto 1 y 2) y el "Ejecutivo central" (Resultado B) con una medida (= Tamaño del efecto 3).

Problema:
un enfoque multivariado adecuado requiere conocer cada correlación entre los tamaños del efecto y los resultados para estimar las covarianzas. Sin embargo, no sé (1) las correlaciones entre diferentes tamaños de efectos dentro del mismo estudio y (2) las correlaciones entre los resultados de diferentes estudios. Puedo estimarlos o tratar de encontrar al menos algunas correlaciones para trabajar, pero eso significaría mucha búsqueda adicional de literatura que me gustaría evitar.

Solución (hasta ahora):
Encontré algunos métodos que tratan problemas similares.
La estimación robusta de la varianza (Hedges, 2010) es un buen enfoque para tratar con múltiples tamaños de efectos. Sin embargo, todavía tengo que adivinar una correlación y realizar un análisis de sensibilidad y tampoco parece posible comparar varios resultados (es decir, solo una metarregresión univariada).
El enfoque multinivel de Van den Noorgate (2014) es prometedor ya que no requiere estimar ninguna correlación al permitir la variación entre los tamaños del efecto y entre los tamaños del efecto dentro de los estudios. Se describe un metanálisis multivariado multinivel (= resultados diferentes y tamaños de efectos múltiples como en el esquema anterior) y una metarregresión univariada multinivel (= tamaños de efectos múltiples pero sin diferenciación entre los resultados).

Usando el paquete metafor en R, me pregunto si puedo combinar ambos enfoques multinivel y realizar una meta-regresión multivariada multinivel. Los ejemplos para un metanálisis multinivel y una metarregresión multivariada usando metafor se dan aquí http://www.metafor-project.org/doku.php/analyses:konstantopoulos2011 (multinivel) y aquí http: //www.metafor- project.org/doku.php/analyses:berkey1998 (multivariante). (Tenga en cuenta que el ejemplo multinivel vinculado anteriormente en realidad describe un enfoque para tratar las dependencias jerárquicas (por ejemplo, estudios realizados por el mismo laboratorio de investigación). En su lugar, uso el enfoque multinivel descrito por Van den Noorgate).

Variables:
ES: Tamaños de efectos (Hedge's g)
VI: Varianza de los tamaños de efectos
Pub_Year: Año de publicación como predictor en la meta-regresión
ES_ID: Cada tamaño de efecto tiene una ID única, independientemente del estudio o resultado al que pertenezcan.
ID de resultado : Los mismos resultados tienen la misma ID (por ejemplo, "Bucle fonológico" = 1, "Ejecutivo central" = 2), independientemente del estudio al que pertenezcan.
Study_ID: los tamaños de efecto del mismo estudio tienen la misma ID (por ejemplo, tamaños de efecto del estudio 1 = 1, tamaños de efecto del estudio 2 = 2), independientemente del resultado al que pertenezcan.

R-Code en metafor para el metaanálisis multivariado multinivel:
rma.mv (ES, VI, mods = ~ Result_ID -1, random = list (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Result_ID -1 requiere un enfoque multivariado y enumera los tamaños de efecto promedio para cada resultado.
• random = list (~ 1 | Study_ID, ~ 1 | ES_ID) es el enfoque multinivel descrito por Van den Noorgate. Permite una variación aleatoria entre los tamaños del efecto dentro de los estudios (~ 1 | Study_ID) y entre los tamaños del efecto (~ 1 | ES_ID). También puede realizar este análisis utilizando el paquete metaSEM. Los resultados son idénticos.

Código R en metafor para la meta-regresión multivariada multinivel:
rma.mv (ES, VI, mods = ~ ID_de_producto + Resultado: I (Promedio_año_publico (Año_Pub)) -1, aleatorio = lista (~ 1 | ID_Estudio, ~ 1 | ES_ID), data = data.set)

• mods = ~ Result_ID + Resultado: I (Pub_Year-mean (Pub_Year)) -1 ahora requiere una meta-regresión multivariada con el Año de publicación centrado alrededor de la media como predictor.

El uso de la opción profile () en metafor los Gráficos de probabilidad de perfil se ve bien. Sin embargo, todavía me pregunto si no parametrizo demasiado el modelo o si hay algo mal al combinar los mods y los argumentos aleatorios de esta manera.
Esperamos su opinión, sugerencias, ideas, otros enfoques, todo ;-) ¡Gracias!

Actualización, respuesta a la respuesta de Wolfgang:

En primer lugar: muchas gracias por su respuesta detallada y los enlaces adicionales que ha proporcionado. No sabía sobre la lista de correo de modelos mixtos R-sig. ¡Así que gracias! Te lo agradezco mucho.

Permítanme intentar resumir todo y adaptarlo a mi situación para ver si entiendo las cosas aquí. Puedo hacer lo siguiente:

1. Obtención de correlaciones: lamentablemente no se informan correlaciones. Inicialmente, el metanálisis consistió en más de 50 estudios. Casi la mitad de los estudios tenían datos faltantes o no informados. Se contactó con cada autor de estos estudios y recibí 4 respuestas de 26 solicitudes (después de 2 meses de espera). Pero ese es un problema general de informes que no se debe discutir aquí.

2. Si hago una suposición aproximada de todas las correlaciones que puedo:
   Llevar a cabo un metanálisis multivariado y una metarregresión como en Berkey et al. (1998) ejemplo y hacer un análisis de sensibilidad.
   Utilice este modelo de metaanálisis multivariado ajustado y trabaje con la función robusta (). Sin embargo, ninguna meta-regresión basada en la función robusta () parece posible en metafor. Y la función robusta () descrita en el blog de James Pustejovsky solo funciona con meta-regresiones univariadas. Entonces, si lo entiendo bien, las estimaciones de la función robusta () son más o menos para confirmar las estimaciones de mi modelo ya ajustado (?).
   Diríjase directamente a métodos robustos y use el paquete robumeta. Sin embargo, no es posible un metanálisis multivariado. Encontré un código SASpara manejar este problema. Pero el código se desarrolló hace 3 años y parece que nunca se discutió realmente. Al final, cuando uso robumeta, tengo que resumir muchos resultados diferentes en un gran metanálisis o tengo que realizar varios metanálisis univariados para cada resultado que me gustaría evitar.

3. Si no quiero adivinar ninguna correlación, puedo seguir el enfoque multinivel descrito por Van den Noorgate usando metafor, metaSEM o SAS. Sin embargo, existen algunas limitaciones al usar este enfoque en comparación con un enfoque multivariado basado en correlaciones. Además, no estoy seguro de si es posible una meta-regresión multivariada multinivel. El paquete metaSEM solo describe un metanálisis multivariado multinivel o una metarregresión univariada multinivel.

Lamentablemente, no estoy tan familiarizado con el uso de métodos de remuestreo en el metanálisis. He estudiado sus ejemplos, pero no estoy seguro de cómo puede ayudarme a resolver el problema de "correlación / multivariante". ¿Quiere decir que debería intentar estimar las correlaciones usando bootstrapping? Y si es así, no estoy seguro de qué valores deberían correlacionarse, ya que el número de medias o tamaños de efectos dentro y entre los estudios difiere.

La simplificación del modelo descrito por Riley y sus colegas suena interesante. Lo tengo en cuenta, aunque me gustaría trabajar con uno de los métodos descritos anteriormente.

Como observa, el modelo que agrega efectos aleatorios para cada estudio y efectos aleatorios para cada resultado es un modelo que explica la dependencia jerárquica. Este modelo permite correlacionar los resultados / efectos verdaderos dentro de un estudio. Este es el ejemplo de Konstantopoulos (2011) al que se vincula.

Pero este modelo aún supone que los errores de muestreo de los resultados / efectos observados dentro de un estudio son independientes, lo que definitivamente no es el caso cuando esos resultados se evalúan dentro de los mismos individuos. Entonces, como en Berkey et al. (1998) al que se vincula, idealmente necesita construir la matriz de varianza-covarianza completa de los errores de muestreo (con las varianzas de muestreo a lo largo de la diagonal). El capítulo de Gleser y Olkin (2009) del Manual de síntesis de investigación y metaanálisis describe cómo se pueden calcular las covarianzas para diversas medidas de resultados (incluidas las diferencias de medias estandarizadas). Los análisis / métodos de ese capítulo se replican aquí (se trata del caso de punto final múltiple).

Y como observa, hacer esto requiere saber cómo se correlacionan las mediciones reales dentro de los estudios. Usando su ejemplo, necesitaría saber para el estudio 1 qué tan fuerte era la correlación entre las dos mediciones para el "bucle fonológico" (más exactamente, hay dos correlaciones, una para el primero y otra para el segundo grupo, pero generalmente asumimos que la correlación es la misma para los dos grupos) y cuán fuertemente se correlacionaron esas mediciones con las mediciones del "Ejecutivo central". Entonces, tres correlaciones en total.

Obtener / extraer estas correlaciones a menudo es difícil, si no imposible (ya que a menudo no se informan). Si realmente no puede obtenerlos (incluso después de contactar a los autores del estudio en un intento de obtener la información que falta), hay varias opciones:

1. Todavía se puede hacer una suposición aproximada / educada de cuán grandes son las correlaciones. Luego, usamos esos 'huéspedes invitados' y realizamos análisis de sensibilidad para asegurar que las conclusiones permanezcan sin cambios cuando los valores varían dentro de un rango razonable.

2. Uno podría usar métodos robustos: en esencia, consideramos que la matriz de varianza-covarianza supuesta de los errores de muestreo está mal especificada (es decir, suponemos que es diagonal, cuando de hecho sabemos que no lo es) y luego estimamos la varianza -matriz de covarianza de los efectos fijos (que suelen ser de interés primario) utilizando métodos consistentes incluso bajo una especificación errónea de este modelo. En esencia, este es el enfoque descrito por Hedges, Tipton y Johnson (2010) que usted mencionó.

3. Los métodos de remuestreo (es decir, pruebas de arranque y prueba de permutación) también pueden funcionar.

4. También hay algunos modelos alternativos que intentan sortear el problema mediante alguna simplificación del modelo. Específicamente, en el modelo / enfoque de Riley y colegas (ver, por ejemplo: Riley, Abrams, Lambert, Sutton y Thompson, 2007, Statistics in Medicine, 26, 78-97), suponemos que la correlación entre los errores de muestreo es idéntico a la correlación entre los verdaderos efectos subyacentes, y luego solo estimamos esa correlación. Esto puede funcionar, pero si lo hace depende de qué tan bien esa simplificación coincida con la realidad.

5. Siempre hay otra opción: evitar cualquier tipo de dependencia estadística a través de la reducción de datos (por ejemplo, seleccionando solo una estimación, realizando análisis separados para diferentes resultados). Este sigue siendo el enfoque más utilizado para "manejar" el problema, ya que permite a los profesionales atenerse a modelos / métodos / software (relativamente simples) con los que ya están familiarizados. Pero este enfoque puede ser un desperdicio y limita la inferencia (p. Ej., Si llevamos a cabo dos metanálisis separados para los resultados A y B, no podemos probar si el efecto estimado es diferente para A y B a menos que podamos nuevamente explicar adecuadamente su covarianza).

Nota: El mismo problema se discutió en la lista de correo de modelos mixtos R-sig y, en esencia, estoy repitiendo lo que ya publiqué allí. Ver aquí .

Para el método robusto, puede probar el paquete robumeta . Si desea seguir metafor, encontrará estos , blog , publicaciones de James Pustejovsky de interés. También está trabajando en otro paquete, llamado clubSandwich, que agrega algunas correcciones adicionales de muestra pequeña. También puede probar la versión de desarrollo de metafor(ver aquí ): incluye una nueva función llamada robust()que puede usar después de haber ajustado su modelo para obtener pruebas robustas de clúster e intervalos de confianza. Y puede encontrar algún código para comenzar aquí con bootstrapping aquí .