¿Gibbs está probando un método MCMC?

11

Según tengo entendido, lo es (al menos, así es como lo define Wikipedia ). Pero he encontrado esta declaración de Efron * (énfasis agregado):

La cadena de Markov Monte Carlo (MCMC) es la gran historia de éxito de las estadísticas bayesianas modernas. MCMC y su método hermano "muestreo de Gibbs" permiten el cálculo numérico de distribuciones posteriores en situaciones demasiado complicadas para la expresión analítica.

y ahora estoy confundido ¿Es esta una diferencia menor en la terminología, o Gibbs está probando algo diferente a MCMC?

[*]: Efron 2011, "The Bootstrap and Markov-Chain Monte Carlo"

Gabriel
fuente

Respuestas:

15

El algoritmo que ahora se llama muestreo de Gibbs forma una cadena de Markov y utiliza la simulación de Montecarlo para sus entradas, por lo que de hecho cae dentro del alcance adecuado de los métodos MCMC (Markov-Chain Monte-Carlo). Históricamente, el método se remonta al menos a mediados del siglo XX, pero no era bien conocido y solo fue popularizado más tarde por el artículo seminal de Geman y Geman (1984) que examinó la física estadística en relación con el uso de la distribución de Gibbs (para algunas referencias históricas, ver Casella y George 1992 , p. 167).

Por alguna razón, en su artículo, Efron se refiere a la muestra de Gibbs como si estuviera fuera del alcance de MCMC. Lo hace en la cita que ha dado, y también en otras partes del documento. Dado que su referencia inicial a la técnica se refiere a la "muestra de Gibbs" (dada entre comillas) es posible que esté aludiendo al hecho histórico de que el método original se desarrolló a través de la distribución de Gibbs en física estadística, y no se incorporó al teoría estadística general de MCMC hasta mucho más tarde. Esta es mi mejor suposición de por qué se refiere a esto de esta manera.

Actualización: dado que el profesor Efron todavía está vivo, me tomé la libertad de escribirle para preguntarle por qué describe la muestra de Gibbs de esta manera. Aquí está su respuesta (reproducida con su permiso):

Fue principalmente por razones históricas ... Por otro lado, el algoritmo de Gibbs se ve bastante diferente de la receta de MCMC, y se necesita un poco de trabajo para demostrar que, en cierto sentido, es el mismo. (Efron 2018, correspondencia personal, puntos suspensivos en el original)

Ben - Restablece a Monica
fuente
1
¡Gracias! Esperaré para ver si recibes una respuesta del Dr. Efron, si no, aún seleccionaré esto como la respuesta.
Gabriel
4

Ve con Wikipedia. Mejor aún, vaya con estos investigadores de MCMC:

La muestra de Gibbs es un ejemplo de un algoritmo de Monte Carlo de la cadena Markov. De hecho, es un caso especial del algoritmo Metropolis-Hastings. Cualquier algoritmo que genera sorteos aleatorios de una distribución simulando una cadena de Markov que tiene como su distribución estacionaria es un algoritmo de Monte Carlo de la cadena de Markov, y eso es exactamente lo que hace el muestreador Gibbs.π(θ)π(θ)

jcz
fuente