Ejemplos de errores en algoritmos MCMC

Estoy investigando un método para la verificación automática de los métodos de Monte Carlo de la cadena de Markov, y me gustaría algunos ejemplos de errores que pueden ocurrir al construir o implementar tales algoritmos. Puntos de bonificación si se utilizó el método incorrecto en un artículo publicado.

Estoy particularmente interesado en los casos en que el error significa que la cadena tiene una distribución invariante incorrecta, aunque otros tipos de errores (por ejemplo, cadena no ergódica) también serían interesantes.

Un ejemplo de tal error sería no generar un valor cuando Metropolis-Hastings rechaza un movimiento propuesto.

1. Probabilidad marginal y estimador de media armónica

La probabilidad marginal se define como la constante de normalización de la distribución posterior.

La importancia de esta cantidad proviene del papel que juega en la comparación de modelos a través de factores de Bayes .

Se han propuesto varios métodos para aproximar esta cantidad. Raftery y col. (2007) proponen el estimador de media armónica , que rápidamente se hizo popular debido a su simplicidad. La idea consiste en utilizar la relación.

Por lo tanto, si tenemos una muestra de la parte posterior, por ejemplo , esta cantidad se puede aproximar por$(\theta_1,...,\theta_N)$

Esta aproximación está relacionada con el concepto de muestreo de importancia .

Según la ley de los grandes números, como se discutió en el blog de Neal , tenemos que este estimador es consistente . El problema es que el requerido para una buena aproximación puede ser enorme. Vea el blog de Neal o el blog de Robert 1 , 2 , 3 , 4 para ver algunos ejemplos.$N$

Alternativas

Hay muchas alternativas para aproximar . Chopin y Robert (2008) presentan algunos métodos basados ​​en el muestreo de importancia.$p({\bf x})$

2. No ejecuta su muestreador MCMC el tiempo suficiente (especialmente en presencia de multimodalidad)

Mendoza y Gutiérrez-Peña (1999) deducen la referencia anterior / posterior para la razón de dos medias normales y presentan un ejemplo de las inferencias obtenidas con este modelo utilizando un conjunto de datos real. Usando métodos MCMC, obtienen una muestra de tamaño de la parte posterior de la relación de medias φ que se muestra a continuación$2000$$\varphi$

$\varphi$ $(0.63,5.29)$$0$$0$

$(0,7.25)$

3. En esta discusión , Gelman, Carlin y Neal pueden encontrar otros temas , como la evaluación de la convergencia, la elección de valores iniciales, el mal comportamiento de la cadena .

4. Muestreo de importancia

$g$

$g$$(x_1,...,x_N)$$I$

$g$$f$$N$

# Integrating a Student's t with 1 d.f. using a normal importance function   
x1 = rnorm(10000000)   # N=10,000,000
mean(dt(x1,df=1)/dnorm(x1))

# Now using a Student's t with 2 d.f. function
x2 = rt(1000,df=2)
mean(dt(x2,df=1)/dt(x2,df=2))

Darren Wilkinson en su blog da un ejemplo detallado de un error común en el paseo aleatorio Metropolis-Hastings. Recomiendo leerlo en su totalidad, pero aquí está la versión tl; dr.

Si la distribución objetivo es positiva (como las distribuciones Gamma, etc. ) en una dimensión, es tentador rechazar propuestas que tengan un valor negativo en esa dimensión de inmediato. El error es descartar las propuestas como nunca ocurrieron y evaluar la relación de aceptación de Metropolis-Hastings (MH) de las otras solamente. Esto es un error porque equivale a usar una densidad de propuesta no simétrica.

El autor sugiere aplicar una de dos correcciones.

1. Cuente los "aspectos negativos" como una aceptación fallida (y pierda un poco de eficiencia).

2. Utilice la relación MH correcta en ese caso, que es

$\pi$$\Phi$$\phi$ $\Phi(x) = \int_0^{\infty} \phi(y-x)dy$

Un caso muy claro (relacionado con la aproximación de probabilidad marginal mencionada en la primera respuesta) donde la convergencia verdadera es el ejemplo del problema del cambio de etiqueta en modelos mixtos junto con el uso del estimador de Chib (1995) . Como señaló Radford Neal (1999), si la cadena MCMC no converge correctamente, en el sentido de que explora parte del modo de distribución objetivo, la aproximación de Monte Carlo de Chib no alcanza el valor numérico correcto.