Pros y contras de los metanálisis

He estado considerando hacer un metanálisis para un campo particular de estudio en evolución, pero antes de continuar, me gustaría saberlo; ¿Cuáles son los aspectos positivos y negativos del proceso? Por ejemplo, la necesidad de un experimento práctico es una ventaja (tiempo y dinero) pero habrá un sesgo de publicación (se publicarán resultados más interesantes) que sería una desventaja.

¿Qué artículos en revistas de estadística discuten los pros y los contras del metanálisis?

Introducción al metanálisis de Borenstein, Hedges, Higgins y Rothstein proporciona una discusión detallada de los pros y los contras del metanálisis. Véase, por ejemplo, el capítulo " Crítica del metanálisis ", donde los autores responden a varias críticas al metanálisis. Tomo nota de los títulos de las secciones para ese capítulo y luego hago algunas observaciones de memoria que se relacionan con ese punto:

• "un número no puede resumir un campo de investigación": un buen metanálisis modelará la variabilidad en los tamaños de efectos verdaderos y modelará la incertidumbre de las estimaciones.
• "el problema del cajón de archivos invalida el metanálisis": los gráficos de embudo y las herramientas relacionadas le permiten ver si el tamaño de la muestra está relacionado con el tamaño del efecto para verificar el sesgo de publicación. Los buenos metanálisis se esfuerzan por obtener estudios no publicados. Este tema se comparte con los estudios narrativos.
• "Mezcla de manzanas y naranjas": los buenos metanálisis proporcionan un sistema de codificación riguroso para clasificar los estudios incluidos y justificar la inclusión y exclusión de estudios en el metanálisis. Después de clasificar los estudios, se puede realizar un análisis moderador para ver si los tamaños del efecto varían según el tipo de estudio.
• "Se ignoran los estudios importantes": puede codificar la calidad evaluada de los estudios. Las muestras grandes pueden recibir una mayor ponderación.
• "el metanálisis puede estar en desacuerdo con los ensayos aleatorios":
• "los metanálisis se realizan mal": esto es simplemente un argumento para mejorar los estándares de los métodos metaanalíticos.
• "¿Es mejor una revisión narrativa?": Muchas de las críticas al metanálisis (p. Ej., Sesgo de publicación) son compartidas por las revisiones narrativas. Es solo que los métodos de inferencia son menos explícitos y menos rigurosos en las revisiones narrativas.

En mi experiencia haciéndolos, si no se han hecho antes, ya que no está dando su propio giro en un área, entonces las revistas correctas no tienen prejuicios contra ellos. Un metaanálisis no entrará en Ciencias, pero en su campo las buenas publicaciones generalmente están bien con nuevos metaanálisis.

El tiempo y los costos ahorrados al no hacer un experimento a menudo se consumen haciendo otras cosas. Uno de los grandes es que muchos artículos no informan suficiente información para analizar. A menudo tiene que ponerse en contacto con los autores para recuperar esto y desafortunadamente todos con frecuencia no pueden o no cumplirán con las solicitudes. Es el mayor sumidero de tiempo del proceso.

También te perdiste algunas ventajas como las altas tasas de citas. Si usted es el primer y único metaanálisis, los nuevos investigadores a menudo citarán su artículo. Otro profesional son los estudios de seguimiento relativamente fáciles. En un año o dos, en un campo de estudio dinámico, simplemente tiene que agregar los próximos dos años de investigación a los metanálisis de seguimiento. Es relativamente fácil cooptar metaanálisis en un área de estudio si usted es el primero en moverse. Luego conduce a tasas de citas relativamente altas.

Si le preocupa que los resultados que está recuperando de la literatura tengan un sesgo de publicación, existen técnicas estadísticas como gráficos en embudo (tamaño del estudio (a menudo -se) en el eje y y efecto en la x) que se pueden utilizar para detectar tal. Una literatura imparcial sobre un tema tenderá a tener resultados simétricos en un gráfico en embudo, pero un efecto debido al sesgo de publicación se parecerá mucho más a la mitad de una distribución. Y a diferencia de hacer experimentos, encontrar que los datos que entran en un metanálisis están sesgados es publicable.

Pensé que haría una crítica de la "Crítica del metanálisis" con disculpas a Michael Borenstein y sus colegas.

• "un número no puede resumir un campo de investigación": un buen metanálisis modelará la variabilidad en los tamaños de efectos verdaderos y modelará la incertidumbre de las estimaciones.

! La variación es solo otro resumen posiblemente engañoso, como lo es la incertidumbre y ambos serán muy engañosos si los sesgos que casi con seguridad no se abordan explícitamente.

• "el problema del cajón de archivos invalida el metanálisis": los gráficos de embudo y las herramientas relacionadas le permiten ver si el tamaño de la muestra está relacionado con el tamaño del efecto para verificar el sesgo de publicación. Los buenos metanálisis se esfuerzan por obtener estudios no publicados. Este tema se comparte con los estudios narrativos.

! Como dijo Box una vez, como enviar un bote de remos para ver si los mares están lo suficientemente tranquilos como para que el Queen Mary pueda viajar. Muy bajo consumo y casi seguramente un proceso de censura mal especificado .

• "Mezcla de manzanas y naranjas": los buenos metanálisis proporcionan un sistema de codificación riguroso para clasificar los estudios incluidos y justificar la inclusión y exclusión de estudios en el metanálisis. Después de clasificar los estudios, se puede realizar un análisis moderador para ver si los tamaños del efecto varían según el tipo de estudio.

! De nuevo, el poder sin esperanza y, por lo general, el sesgo de agregación también.

• "Se ignoran los estudios importantes": puede codificar la calidad evaluada de los estudios. Las muestras grandes pueden recibir una mayor ponderación.

! Ahora el poder sin esperanza, modelo especificación errónea y el sesgo no siempre debidamente contabilizados Ver En el sesgo producido por las puntuaciones de calidad en el metanálisis

• "el metanálisis puede estar en desacuerdo con los ensayos aleatorios":

! Totalmente de acuerdo y también la única fuente sobre la incertidumbre real de ellos.

• "los metanálisis se realizan mal": esto es simplemente un argumento para mejorar los estándares de los métodos metaanalíticos.

! Completamente de acuerdo.

• "¿Es mejor una revisión narrativa?": Muchas de las críticas al metanálisis (p. Ej., Sesgo de publicación) son compartidas por las revisiones narrativas. Es solo que los métodos de inferencia son menos explícitos y menos rigurosos en las revisiones narrativas.

! Completamente de acuerdo.

No sé por qué la mayor parte de los meta-análisis de la literatura maintians estos cristales de color rosa - metanálisis tienen que hacerse metanálisis en la investigación médica: el estímulo fuerte para una mayor calidad en los esfuerzos individuales de investigación , pero debe hacerse críticamente con plena conciencia de todo lo los mosto

Y, como casi siempre olvido, necesito aclarar qué es exactamente lo que quiero decir con metanálisis, ya que lo que otros entienden que ha variado con el tiempo y el lugar y quizás el significado más común hoy en día, solo los métodos cuantitativos utilizados en los números extraídos obtenidos en una revisión sistemática, no es lo que quiero decir. Me refiero a todo el proceso de revisión sistemática, incluso si se decide no utilizar ningún método cuantitativo. O en solo una oración como se cita en wiki

En estadística, un metanálisis se refiere a métodos enfocados en contrastar y combinar resultados de diferentes estudios, con la esperanza de identificar patrones entre los resultados del estudio, fuentes de desacuerdo entre esos resultados u otras relaciones interesantes que pueden salir a la luz en el contexto de Múltiples estudios.