¿Por qué encontrar pequeños efectos en estudios grandes indica un sesgo de publicación?

Varios documentos metodológicos (por ejemplo, Egger et al 1997a, 1997b) discuten el sesgo de publicación revelado por los metanálisis, utilizando gráficos en embudo como el que se muestra a continuación.

El artículo de 1997b continúa diciendo que "si el sesgo de publicación está presente, se espera que, de los estudios publicados, los más grandes reporten los efectos más pequeños". ¿Pero por qué es eso? Me parece que todo esto probaría lo que ya sabemos: pequeños efectos solo son detectables con muestras de gran tamaño ; sin decir nada sobre los estudios que permanecieron inéditos.

Además, el trabajo citado afirma que la asimetría que se evalúa visualmente en un gráfico en embudo "indica que hubo una no publicación selectiva de ensayos más pequeños con un beneficio menos considerable". Pero, nuevamente, ¡no entiendo cómo las características de los estudios que se publicaron pueden decirnos algo (nos permiten hacer inferencias) sobre trabajos que no se publicaron!

Referencias
Egger, M., Smith, GD y Phillips, AN (1997). Metaanálisis: principios y procedimientos . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M. y Minder, C. (1997). Sesgo en el metanálisis detectado por una prueba simple y gráfica . BMJ , 315 (7109), 629-634.

Las respuestas aquí son buenas, +1 para todos. Solo quería mostrar cómo podría verse este efecto en términos de gráfico de embudo en un caso extremo. A continuación, simulo un pequeño efecto como y extraigo muestras de entre 2 y 2000 observaciones de tamaño.$N(.01, .1)$

Los puntos grises en la trama no se publicarían bajo un estricto régimen . La línea gris es una regresión del tamaño del efecto sobre el tamaño de la muestra, incluidos los estudios de "valor p malo", mientras que el rojo los excluye. La línea negra muestra el verdadero efecto.$p < .05$

Como puede ver, según el sesgo de publicación, existe una fuerte tendencia a que los estudios pequeños sobreestimen los tamaños de los efectos y que los más grandes informen los tamaños de los efectos más cercanos a la realidad.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Creado el 20/02/2019 por el paquete reprex (v0.2.1)}

Primero, debemos pensar qué es el "sesgo de publicación" y cómo afectará lo que realmente se incluye en la literatura.

Un modelo bastante simple para el sesgo de publicación es que recopilamos algunos datos y si , publicamos. De lo contrario, no lo hacemos. Entonces, ¿cómo afecta esto a lo que vemos en la literatura? Bueno, por un lado, garantiza que (suponiendo que se utilice una estadística Wald). Ahora, un punto que se destaca es que si es realmente pequeño, entonces es relativamente grande y un granSe requiere para su publicación.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

Ahora supongamos que, en realidad, es relativamente pequeño. Supongamos que realizamos 200 experimentos, 100 con tamaños de muestra realmente pequeños y 100 con tamaños de muestra realmente grandes. Tenga en cuenta que de 100 experimentos de tamaño de muestra realmente pequeño, los únicos que se publicarán mediante nuestro modelo de sesgo de publicación simple son aquellos con valores grandes desolo por error aleatorio . Sin embargo, en nuestros 100 experimentos con muestras de gran tamaño, se publicarán valores mucho más pequeños de . Entonces, si los experimentos más grandes muestran sistemáticamente un efecto menor que los experimentos más pequeños, esto sugiere que quizás$\theta$$|\hat \theta|$ theta | θ |$\hat \theta$$|\theta|$ en realidad es significativamente más pequeño de lo que normalmente vemos en los experimentos más pequeños que realmente se publican.

Nota técnica: es cierto que tener una grany / o pequeño conducirá a . Sin embargo, dado que los tamaños de los efectos generalmente se consideran relativos a la desviación estándar del término de error, estas dos condiciones son esencialmente equivalentes.$|\hat \theta|$ S E ( θ )$SE(\hat \theta)$$p < 0.05$

Lea esta declaración de una manera diferente:

Si no hay sesgo de publicación, el tamaño del efecto debe ser independiente del tamaño del estudio.

Es decir, si está estudiando un fenómeno, el tamaño del efecto es una propiedad del fenómeno, no la muestra / estudio.

Las estimaciones del tamaño del efecto podrían (y variarán) entre los estudios, pero si hay un tamaño del efecto decreciente sistemático con el aumento del tamaño del estudio , eso sugiere que hay sesgo. El punto es que esta relación sugiere que hay pequeños estudios adicionales que muestran un tamaño de efecto bajo que no se han publicado, y si se publicaron y, por lo tanto, podrían incluirse en un metanálisis, la impresión general sería que el tamaño del efecto es más pequeño de lo que se estima a partir del subconjunto de estudios publicado.

La varianza de las estimaciones del tamaño del efecto entre los estudios dependerá del tamaño de la muestra, pero debería ver un número igual de estimaciones inferiores y superiores en tamaños de muestra bajos si no hubo sesgo.