Distribución de propuestas - Metropolis Hastings MCMC

En la cadena Monte Carlo de Metropolis-Hastings Markov, la distribución de la propuesta puede ser cualquier cosa, incluida la gaussiana (según Wikipedia).

P: ¿Cuál es la motivación para usar algo que no sea gaussiano? Gaussian funciona, es fácil de evaluar, es rápido y todos lo entienden. ¿Por qué consideraría algo más?

P: Dado que la distribución de la propuesta puede ser cualquier cosa, ¿puedo usar una distribución uniforme?

A1: De hecho, la distribución gaussiana es probablemente la distribución de propuestas más utilizada principalmente debido a la facilidad de uso. Sin embargo, uno podría querer usar otras distribuciones de propuestas por la siguiente razón

1. Colas pesadas : la distribución gaussiana tiene colas ligeras. Esto significa que $N(x_{t-1}, \sigma^2)$ posiblemente solo sugiera valores entre $(x_{t-1} - 3\sigma, x_{t-1} + 3\sigma)$. Pero un$t$la distribución tiene colas más pesadas y, por lo tanto, puede proponer valores que están más lejos. Esto asegura que la cadena de Markov resultante explore el espacio de estado más libremente, y posiblemente reduzca la autocorrelación. La siguiente gráfica muestra el$N(0,1)$ en comparación con el $t_1$. Ya ves como$t$ probablemente propondrá más valores más lejos de 0.

2. Espacio restringido : la distribución gaussiana se define en todos los reales. Si la distribución de la que está tomando muestras es, por ejemplo, definida solo en los positivos o en$(0,1)$, entonces el gaussiano probablemente propondrá valores para los cuales la densidad objetivo es 0. Dichos valores se rechazan inmediatamente y la cadena de Markov no se mueve desde su punto actual. Esto está esencialmente desperdiciando un empate de la cadena de Markov. En cambio, si está en lo positivo, podría usar una distribución Gamma y$(0,1)$ podrías usar una Beta.
3. Modos múltiples : cuando la distribución objetivo es multimodal, una propuesta gaussiana probablemente llevará a que la cadena de Markov se quede atascada cerca de un modo. Esto se debe en parte a las colas ligeras del gaussiano. Por lo tanto, en cambio, las personas usan propuestas basadas en gradientes, o una mezcla de gaussianos como propuesta.

Puedes encontrar más discusión aquí y aquí .

A2: Sí, puede usar una distribución Uniforme siempre que el soporte para la distribución uniforme esté limitado (ya que si el soporte no está limitado, la distribución Uniforme es incorrecta ya que se integra a $\infty$) Entonces un uniforme en$(x_{t-1} - c, x_{t-1} + c)$.