Encontré este artículo donde dice que en el muestreo de Gibbs se acepta cada muestra. Estoy un poco confundido. ¿Cómo es que si cada muestra que aceptaba converge a una distribución estacionaria?
En general, el algoritmo Metropolis aceptamos como min (1, p (x *) / p (x)) donde x * es el punto de muestra. Supongo que x * nos señala a una posición donde la densidad es alta, por lo que nos estamos moviendo a la distribución objetivo. Por lo tanto, supongo que se mueve a la distribución de destino después de un período de grabación.
Sin embargo, en el muestreo de Gibbs aceptamos todo, por lo que, aunque puede llevarnos a un lugar diferente, ¿cómo podemos decir que converge a la distribución estacionaria / objetivo?
Supongamos que tenemos una distribución . No podemos calcular Z. En el algoritmo de metrópolis utilizamos el término c ( θ n e w ) / c ( θ o l d ) para incorporar la distribución c ( θ ) más la constante de normalización Z cancela. Entonces está bien
Pero en el muestreo de Gibbs, ¿dónde estamos usando la distribución
Por ejemplo, en el documento http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf se da
así que no tenemos la distribución condicional exacta de la que tomar muestras, solo tenemos algo que es directamente proporcional a la distribución condicional
fuente
Respuestas:
Sin embargo, en el muestreo de Gibbs siempre exceptuamos la variable aleatoria porque no tenemos que calcular la relación de aceptación (bueno, en realidad lo haces, pero cuando conectas las cosas, ves que todo se cancela y tu relación de aceptación es y, por lo tanto, claramente siempre es menor que y por eso siempre estás aceptando). Sin embargo, también puede pensar intuitivamente cuando en el muestreo de Gibbs está tomando muestras de los condicionales completos, que es una expresión de forma cerrada de la que podemos tomar muestras directamente y, por lo tanto, no hay necesidad de rechazar muestras como en el algoritmo Metropolis-Hastings donde no sabe cómo muestrear (o generalmente no reconoce la forma de) . ¡Espero que ayude!α=1 U α p(x)
fuente
La prueba de que la tasa de aceptación es igual a 1 como un error tipográfico, es decir, en el denominador en la parte media y tercera, la expresión para q debe tener z_i prime, de modo que al final obtenga P (z_i prime | z_i prime).
Alex
fuente