¿Cuál es la conexión entre la cadena de Markov y la cadena de Markov Monte Carlo?

Estoy tratando de entender las cadenas de Markov usando SAS. Entiendo que un proceso de Markov es uno en el que el estado futuro depende solo del estado actual y no del estado pasado y hay una matriz de transición que captura la probabilidad de transición de un estado a otro.

Pero luego me encontré con este término: Markov Chain Monte Carlo. Lo que quiero saber es si Markov Chain Monte Carlo está relacionado de alguna manera con el proceso de Markov que describí anteriormente.

Bueno, sí, hay una relación entre los dos términos porque los sorteos de MCMC forman una cadena de Markov. De Gelman, Bayesian Data Analysis (3rd ed), p. 265:

La simulación de la cadena de Markov (también llamada cadena de Markov Monte Carlo o MCMC) es un método general basado en dibujar valores de partir de distribuciones apropiadas y luego corregir esos sorteos para aproximar mejor la distribución posterior objetivo, . El muestreo se realiza secuencialmente, con la distribución de los sorteos muestreados dependiendo del último valor extraído; por lo tanto, los sorteos forman una cadena de Markov.p ( θ | y $\theta$$p(\theta|y)$

La conexión entre ambos conceptos es que los métodos de la cadena de Markov Monte Carlo (también conocido como MCMC) se basan en la teoría de la cadena de Markov para producir simulaciones y aproximaciones de Monte Carlo a partir de una distribución objetivo compleja .$\pi$

En la práctica, estos métodos de simulación una secuencia que es una cadena de Markov, es decir, tal que la distribución de dado todo el pasado solo depende en . En otras palabras, donde es una función especificada por el algoritmo y la distribución objetivo y son iid. La teoría (ergódico) garantiza que converge (en la distribución) a como se pone a .X i { X i - 1 , … , X 1 } X i - 1 X i = f ( X i - 1 , ϵ i ) f π ϵ i X i π i $X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

El ejemplo más fácil de un algoritmo MCMC es la muestra de corte : en la iteración i de este algoritmo, haga

1. simular$\epsilon^1_i\sim\mathrm{U}(0,1)$
2. simular (que equivale a generar un segundo independiente )$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$

Por ejemplo, si la distribución objetivo es un normal [para el cual obviamente no necesitaría MCMC en la práctica, ¡este es un ejemplo de juguete!] Lo anterior se traduce como$\mathrm{N}(0,1)$

1. simular$\epsilon^1_i\sim\mathrm{U}(0,1)$
2. simular , es decir, con$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$$X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$$\epsilon_i^2\sim\mathrm{U}(0,1)$

o en R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

Aquí hay una representación de la salida, que muestra el ajuste correcto al objetivo y la evolución de la cadena de Markov . $\mathrm{N}(0,1)$$(X_i)$

Y aquí hay un zoom sobre la evolución de la cadena de Markov en las últimas 100 iteraciones, obtenida por$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

que sigue los movimientos verticales y horizontales de la cadena de Markov bajo la curva de densidad objetivo.