Ejemplo simple que muestra las ventajas del Promedio Bayesiano de Modelos (BMA)

Estoy incorporando un enfoque Bayesian Model Averaging (BMA) en mi investigación y pronto daré una presentación sobre mi trabajo a mis colegas. Sin embargo, BMA no es realmente tan conocido en mi campo, así que después de presentarles toda la teoría y antes de aplicarla realmente a mi problema, quiero presentar un ejemplo simple pero instructivo sobre por qué funciona BMA.

Estaba pensando en un ejemplo simple con dos modelos entre los que se puede elegir, pero el verdadero modelo de generación de datos (DGM) está en algún punto intermedio y la evidencia realmente no favorece a ninguno de ellos. Entonces, si elige uno y continúa a partir de ellos, ignorará la incertidumbre del modelo y cometerá un error, pero BMA, aunque el modelo verdadero no es parte del conjunto de modelos, al menos proporciona la densidad posterior correcta del parámetro de interés. Por ejemplo, hay dos pronósticos del tiempo cada día (A y B) y uno quiere predecir el mejor clima, por lo que en las estadísticas clásicas primero trataría de encontrar el mejor pronosticador entre los dos, pero ¿y si la verdad está en algún punto intermedio? (es decir, a veces A es correcto, a veces B). Pero no pude formalizarlo. Algo así pero estoy muy abierto a las ideas. ¡Espero que esta pregunta sea lo suficientemente específica!

En la literatura, no he encontrado ningún buen ejemplo de lo que he leído hasta ahora:

• Kruschke (2011) , si bien es una gran introducción a las estadísticas bayesianas, no se enfoca realmente en BMA y el ejemplo de lanzamiento de monedas que tiene en el capítulo 4 es excelente para presentar estadísticas bayesianas, pero realmente no convence a un compañero investigador para usar BMA. ("¿Por qué nuevamente tengo tres modelos, uno que dice que la moneda es justa y dos que dicen que está sesgada en cualquier dirección?")
• Todas las otras cosas que leí ( Koop 2003 , Koop / Poirier / Tobias (2007) , Hoeting et al. (1999) y toneladas de otras) son excelentes referencias, pero no he encontrado un ejemplo de juguete simple en ellas.

Pero tal vez me perdí una buena fuente aquí.

Entonces, ¿alguien tiene un buen ejemplo que él o ella usa para introducir BMA? Tal vez incluso mostrando las probabilidades y las posteriores porque creo que sería bastante instructivo.

$X$$y$

El código R que utilicé para esto se presenta a continuación. ¡Espero que pueda inspirarte!

# The sample size
n <- 100

# The 'true' coefficient vector
Beta <- cbind(c(-1.5, 0.45, -3))

# Generate the explanatory variables which have an effect on the outcome
set.seed(1)
X <- cbind(rnorm(n, 0, 1), rnorm(n, 4, 2), rnorm(n, 0.5, 1))

# Convert this into probabilities
prob <- 1/(1+exp(-X %*% Beta))

# Generate some uniform numbers. If the elements are smaller than the corresponding elements in the prob vector, then return 1.
set.seed(2)
runis <- runif(n, 0, 1)
y <- ifelse(runis < prob, 1, 0)

# Add the nonsense variables
X <- cbind(X, rpois(n, 3))        # Redundant variable 1 (x4)
X <- cbind(X, rexp(n, 10))        # Redundant variable 2 (x5)
X <- cbind(X, rbeta(n, 3, 10))    # Redundant variable 3 (x6)
X <- cbind(X, rbinom(n, 10, 0.5)) # Redundant variable 4 (x7)
X <- cbind(X, rpois(n, 40))       # Redundant variable 5 (x8)
X <- cbind(X, rgamma(n, 10, 20))  # Redundant variable 6 (x9)
X <- cbind(X, runif(n, 0, 1))     # Redundant variable 7 (x10)


# The BMA
library(BMA)
model <- bic.glm(X, y,  glm.family="binomial", factor.type=FALSE, thresProbne0 = 5, strict = FALSE)

# The frequentist model
model2 <- glm(y~X, family = "binomial")

old.par <- par()
par(mar=c(3,2,3,1.5))
plot(model, mfrow=c(2,5))
par(old.par)

summary(model)
summary(model2)

Un gran recurso para esto es:
Promedio de modelos bayesianos con BMS por Stefan Zeugner (2012)

Está utilizando el paquete RMS BMS , puede encontrar más información aquí:
http://bms.zeugner.eu/

Aquí se pueden encontrar dos tutoriales prácticos para reproducir ejemplos del mundo real con el paquete:

• http://bms.zeugner.eu/tutorials/fls/
• http://bms.zeugner.eu/tutorials/fat/

Una introducción motivacional y actual más general a los métodos bayesianos es el siguiente documento:

Ha llegado el momento: métodos bayesianos para el análisis de datos en las ciencias de la organización por John K. Kruschke, Herman Aguinis y Harry Joo