¿Por qué no realizar un metanálisis en datos parcialmente simulados?

11

Antecedentes:

Un metaanálisis típico en psicología podría tratar de modelar la correlación entre dos variables X e Y. El análisis típicamente implicaría obtener un conjunto de correlaciones relevantes de la literatura junto con los tamaños de muestra. Las fórmulas se pueden aplicar para calcular una correlación promedio ponderada. Luego, se pueden realizar análisis para ver si las correlaciones varían entre los estudios en más de lo que implicarían los meros efectos del muestreo aleatorio.

Además, los análisis pueden hacerse mucho más complejos. Las estimaciones se pueden ajustar por confiabilidad, restricción de rango y más. Las correlaciones se pueden usar en combinación para explorar modelos de ecuaciones metaestructurales o meta regresiones, y así sucesivamente.

Sin embargo, todos estos análisis se realizan utilizando estadísticas de resumen (por ejemplo, correlaciones, odds ratios, diferencias de medias estandarizadas) como datos de entrada. Esto requiere el uso de fórmulas y procedimientos especiales que acepten estadísticas resumidas.

Enfoque alternativo para el metanálisis

Por lo tanto, estaba pensando en un enfoque alternativo para el metanálisis, donde los datos sin procesar se utilizan como entrada. Es decir, para una correlación, los datos de entrada serían los datos sin procesar utilizados para formar la correlación. Obviamente, en la mayoría de los metanálisis, varios, si no la mayoría, de los datos sin procesar reales no están disponibles. Por lo tanto, un procedimiento básico podría verse así:

  1. Póngase en contacto con todos los autores publicados que busquen datos sin procesar y, si se proporcionan, use datos sin procesar reales .
  2. Para los autores que no proporcionan datos sin procesar, simule datos sin procesar para que tengan estadísticas de resumen idénticas a las reportadas. Dichas simulaciones también podrían incorporar cualquier conocimiento obtenido de los datos sin procesar (por ejemplo, si se sabe que una variable está sesgada, etc.).

Me parece que este enfoque podría tener varios beneficios:

  • Las herramientas estadísticas que usan datos sin procesar como entrada podrían usarse para los análisis
  • Al obtener al menos algunos datos sin procesar reales, los autores de los metanálisis se verían obligados a considerar cuestiones relacionadas con los datos reales (por ejemplo, valores atípicos, distribuciones, etc.).

Pregunta

  • ¿Hay algún problema con la realización de estudios de metanálisis en una combinación de datos sin procesar verdaderos y datos simulados para tener estadísticas resumidas idénticas a los estudios publicados existentes?
  • ¿Sería este enfoque superior a los métodos existentes para realizar metanálisis sobre estadísticas resumidas?
  • ¿Existe alguna literatura existente que discuta, defienda o critique este enfoque?
Jeromy Anglim
fuente
1
Re # 1: la mayoría de las veces, ¡parece que sería increíblemente difícil forzar todos los datos en el mismo formato! Re # 2: será a menos que a) use métodos particularmente malos, o b) la estadística de resumen también sea una estadística suficiente para los parámetros que le interesan.
Andy McKenzie
1
@Andy McKenzie Re # 1: Eso es lo que estoy haciendo actualmente (es decir, metanálisis de IPD). Dado que mis estadísticas de resultados provienen de modelos de regresión, este parece ser el enfoque más útil para mí. Sé que escribiste "la mayor parte del tiempo" :-)
Bernd Weiss

Respuestas:

6

Ya existen enfoques que apuntan a sintetizar datos de personas individuales y agregadas. Sutton y col. (2008) el artículo aplica un enfoque bayesiano que (en mi humilde opinión) tiene algunas similitudes con su idea.

  • Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L. y Boutitie, F. (2007). Metanálisis de resultados continuos que combinan datos de pacientes individuales y datos agregados. Estadísticas en medicina, 27 (11), 1870-1893. doi: 10.1002 / sim.3165 PDF

  • Riley, RD y Steyerberg, EW (2010). Metanálisis de un resultado binario utilizando datos de participantes individuales y datos agregados. Métodos de síntesis de investigación, 1 (1), 2–19. doi: 10.1002 / jrsm.4

  • Sutton, AJ, Kendrick, D. y Coupland, CAC (2008). Metaanálisis de datos a nivel individual y agregado. Estadísticas en medicina, 27 (5), 651–669.

Bernd Weiss
fuente
10

Agradezco a @Bernd por señalarme en la dirección correcta. Aquí hay algunas notas sobre las referencias que mencionó en su respuesta, así como algunas de las referencias mencionadas en estos artículos.

Sutton y otros (2008)

Sutton et al utilizan dentro de un contexto de salud los términos datos de pacientes individuales versus datos agregados .

Señalan que el análisis de los datos de pacientes individuales a menudo se considera el estándar de oro para el metanálisis, citando a Stewart y Clark (1995). Es particularmente útil para evaluar la calidad de los datos y realizar análisis de valores no informados en informes existentes (por ejemplo, análisis de subgrupos particulares). Naturalmente, notan problemas, como la imposibilidad en algunos casos de obtener todos los datos individuales del paciente y los costos adicionales en el procesamiento de dichos datos. También observan que para modelos simples donde las estadísticas de resumen son resultados disponibles, a menudo serán similares o iguales.

También observan la poca frecuencia del metanálisis de pacientes individuales citando una revisión de Simmonds et al (2005). También mencionan el artículo de revisión del metanálisis que combina datos de pacientes individuales con datos agregados de Riley RD, Simmonds, et al (2008)

Riley Lambert Abo-Zaid (2010)

En este artículo, Riley et al describen más sobre el metanálisis de datos de participantes individuales. Esbozan las ventajas del metanálisis de los datos de los participantes individuales (p. Ej., Procesamiento de datos consistente, modelado de datos faltantes, verificación de los resultados informados originales, más opciones de análisis, etc.)

Stewart y Tierney (2002)

Stewart y Tierney revisan las ventajas y desventajas del metanálisis de datos de pacientes individuales, centrándose particularmente en cuestiones prácticas.

Riley Lambert y otros (2007)

Describen métodos para combinar datos de pacientes individuales con datos agregados en términos de enfoques de uno y dos pasos.

Cooper y Patall (2009)

Cooper y Patall escribieron un artículo como parte de un número especial sobre metaanálisis de datos a nivel individual en Métodos psicológicos (ver Shrout, 2009 para un resumen). Cooper y Patall describen la síntesis de la investigación como una en una segunda etapa de transición:

La primera transición es desde la revisión de la investigación narrativa, en la que se utilizan reglas opacas del álgebra cognitiva para sintetizar los resultados de los estudios, hasta el metanálisis de [datos agregados]. La segunda etapa implica la transición del metanálisis de [datos agregados] a la acumulación de [datos de nivel de participante individual].

continuará...

Referencias

  • Cooper, H. y Patall, EA (2009). Los beneficios relativos del metanálisis realizado con datos de participantes individuales versus datos agregados. Métodos psicológicos, 14 (2), 165-176. doi: 10.1037 / a0015565
  • Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L. y Boutitie, F. (2007). Metanálisis de resultados continuos que combinan datos de pacientes individuales y datos agregados. Estadísticas en medicina, 27 (11), 1870-1893. doi: 10.1002 / sim.3165 [PDF] (http://www.staessen.net/publications/2006-2010/08-21-P.pdf)
  • Riley, RD, Lambert, PC y Abo-Zaid, G. (2010). Metaanálisis de datos de participantes individuales: justificación, conducta e informes, BMJ, 340, 221.
  • Riley RD, Simmonds MC, Mira MP. (2007) Síntesis de evidencia que combina datos de pacientes individuales y datos agregados: una revisión sistemática identificó la práctica actual y los posibles métodos. Journal of Clinical Epidemiology, en prensa y vista temprana.
  • Riley, RD y Steyerberg, EW (2010). Metanálisis de un resultado binario utilizando datos de participantes individuales y datos agregados. Métodos de síntesis de investigación, 1 (1), 2–19. doi: 10.1002 / jrsm.4
  • Shrout, PE (2009). Vistas cortas y largas del análisis integrador de datos: comentarios sobre contribuciones al número especial. Métodos psicológicos, 14, 177.
  • Simmonds MC, Higgins JPT, Stewart LA, Tierney JF, Clarke MJ, Thompson SG. (2005) Metaanálisis de datos de pacientes individuales de ensayos aleatorios: una revisión de los métodos utilizados en la práctica. Ensayos clínicos ; 2: 209–217.
  • Stewart LA, Clarke MJ. Metodología práctica de metanálisis (descripciones generales) utilizando datos actualizados de pacientes individuales. Grupo de trabajo Cochrane. Estadísticas en medicina 1995; 14: 2057-2079.
  • Stewart LA, Tierney JF. ¿A IPD o no a IPD? Ventajas y desventajas de las revisiones sistemáticas utilizando datos de pacientes individuales. Eval Health Prof 2002; 25: 76-97.
  • Sutton, AJ, Kendrick, D. y Coupland, CAC (2008). Metaanálisis de datos a nivel individual y agregado. Estadísticas en medicina, 27 (5), 651–669.
Jeromy Anglim
fuente
Gran respuesta, Jeromy! En realidad, esta debería ser la mejor respuesta ... Aquí hay algunos documentos más que faltan en su lista.
Bernd Weiss
Gracias. Solo estoy tomando algunas notas mientras leo las referencias. Esas referencias adicionales son particularmente útiles gracias.
Jeromy Anglim