Montecarlo hamiltoniano vs. Montecarlo secuencial

23

Estoy tratando de tener una idea de los méritos y los inconvenientes relativos, así como los diferentes dominios de aplicación de estos dos esquemas MCMC.

  • ¿Cuándo usarías cuál y por qué?
  • Cuándo podría uno fallar pero el otro no (por ejemplo, dónde es aplicable HMC pero SMC no, y viceversa)
  • ¿Podría uno, concedido muy ingenuamente, poner una medida de utilidad en un método en comparación con el otro (es decir, es uno, generalmente, mejor )?

Actualmente estoy leyendo el excelente artículo de Betancourt sobre HMC .

Astrid
fuente
3
SMC no es una técnica MCMC, es decir, no se construye una cadena de Markov cuando se usa SMC.
jaradniemi
1
En algún momento usas mcmc dentro de smc. Y a veces usas smc dentro de mcmc. Sin embargo, al momento de escribir esto, no conozco ningún documento que combine el uso de hmc y smc.
Taylor
1
Yo mismo quisiera entender mejor la relación entre SMC (también conocido como filtrado de partículas) y HMC. Gracias por la pregunta! Observo este documento, que a primera vista parece representar algún tipo de fusión de los dos enfoques: arxiv.org/pdf/1504.05715v2.pdf
David C. Norris

Respuestas:

23

Hamiltonian Monte Carlo funciona bien con distribuciones continuas de objetivos con formas "extrañas". Requiere que la distribución objetivo sea diferenciable ya que básicamente usa la pendiente de la distribución objetivo para saber a dónde ir. El ejemplo perfecto es una función en forma de plátano.

Aquí hay una Metropolis Hastings estándar en una función Banana: tasa de aceptación del 66% y muy poca cobertura. Metropolis Hastings con función de plátano

Aquí está con HMC: 99% de aceptación con buena cobertura. Metropolis Hastings con función de plátano

PAGS(θEl |y1),PAGS(θEl |y1,y2),...,PAGS(θEl |y1,y2,...,ynorte)

Por ejemplo, esta secuencia es un objetivo excelente para SMC: ingrese la descripción de la imagen aquí

La naturaleza paralela del SMC lo hace particularmente adecuado para la computación distribuida / paralela.

Resumen:

  • HMC: bueno para objetivos extraños alargados. No funciona con función no continua.
  • SMC: bueno para casos multimodales y no continuos. Podría converger más lentamente o usar más potencia informática para formas extrañas de alta dimensión.

Fuente: La mayoría de las imágenes provienen de un artículo que escribí combinando los 2 métodos (Hamiltoniano secuencial Monte Carlo). Esta combinación puede simular prácticamente cualquier distribución que podamos lanzarle, incluso en dimensiones muy altas.

RemiDav
fuente
1
Agradable y claro; +1. ¡Ni idea de por qué esto no tiene más votos a favor!
arboviral
2
Aquí está el documento para los interesados: remidaviet.com/files/HSMC-paper.pdf
stackoverflax