MCMC en un espacio de parámetros acotado?

18

Estoy tratando de aplicar MCMC en un problema, pero mis antecedentes (en mi caso son α[0,1],β[0,1] ) ¿están restringidos a un área? ¿Puedo usar MCMC normal e ignorar las muestras que quedan fuera de la zona restringida (que en mi caso es [0,1] ^ 2), es decir, reutilizar la función de transición cuando la nueva transición cae fuera del área restringida (restringida)?

Cupitor
fuente
@Zen, no estoy muy seguro, pero la respuesta sugerida por Xian es submuestrear, pero en lugar de usar MH, usar la muestra de Gibbs y reiterar si uno de los valores de una dimensión excede el límite, ¿estoy en lo cierto?
Cupitor
1
Si MH propone algo fuera del espacio de parámetros, la probabilidad de aceptación se establece en 0 y todo funciona bien. Creo que simplemente interpreta MH 0/0 como 0 (una manifestación de 0=0 en la teoría de la medida).
chico
@guy, pero de acuerdo con la discusión en la página de xian (enlace anterior de Zen), ¡parece que Gibbs tiene una superioridad sin mencionar ninguna razón!
Cupitor
1
@Cupitor No lo veo diciendo eso. Creo que la implicación es que Gabriel estaba haciendo Metrópolis dentro de Gibbs.
chico

Respuestas:

27

Tienes varias opciones agradables, más o menos simples. Su uniforme previo ayuda a simplificarlos.

Opción 1: Muestra de independencia. Simplemente puede establecer la distribución de su propuesta igual a una distribución uniforme sobre el cuadrado de la unidad, lo que garantiza que las muestras no caerán fuera de la zona restringida, como lo llama. Posible inconveniente: si la parte posterior se concentra en una región muy pequeña del cuadrado de la unidad, puede tener una tasa de aceptación muy baja. OTOH, es difícil generar números aleatorios más rápido que a partir de una distribución U (0,1). Potencial al alza: menos trabajo para usted.

Opción 2: Transforme sus parámetros en algo que no esté acotado, haga propuestas para los parámetros transformados, luego transforme los parámetros para usarlos en las funciones de probabilidad. Tenga en cuenta que en este caso lo anterior estará en los parámetros transformados, porque para eso está haciendo propuestas, por lo que tendrá que meterse con el jacobiano de la transformación para obtener el nuevo prior. Para su análisis, por supuesto, transformará los números aleatorios de parámetros generados por MCMC a los parámetros originales. Posible inconveniente: más trabajo inicial para usted. Potencial al alza: mejor tasa de aceptación de sus propuestas.

Opción 3: Construya una distribución de propuesta que no sea una muestra de independencia que esté en el cuadrado de la unidad. Esto le permite mantener su uniforme antes, pero a costa de una mayor complejidad al calcular las probabilidades de la propuesta. Un ejemplo de esto, dejando que sea ​​el valor actual de uno de sus parámetros, sería una distribución Beta con parámetros ( n x , n ( 1 - x ) ) . Cuanto mayor sea n , más concentrada estará su propuesta en torno al valor actual. Posible inconveniente: más trabajo inicial para usted. Potencial al alza: mejor tasa de aceptación de sus propuestas, pero si obtiene nx(nx,n(1x))nn demasiado grande y si te mueves cerca de una esquina, podrías terminar haciendo muchos pequeños movimientos en la esquina antes de salir.

Opción 4: simplemente rechace cualquier propuesta que quede fuera del cuadrado de la unidad (sugerencia poco entusiasta de Xian). Tenga en cuenta que esto no es lo mismo que simplemente generar otra propuesta; en este caso está rechazando la propuesta, lo que significa que su próximo valor para el parámetro es el mismo que el valor actual para el parámetro. Esto funciona porque es lo que sucedería si tuviera una probabilidad previa cero para alguna región de su espacio de parámetros y generara un número aleatorio que cayera en esa región. Posible inconveniente: si te acercas a una esquina, puedes tener una baja probabilidad de aceptación y quedarte atascado por un tiempo. Potencial al alza: menos trabajo para usted.

Opción 5: cree un problema extendido en el plano que, en el cuadrado de la unidad, sea el mismo que el problema real que enfrenta, haga todo bien, luego, cuando procese los resultados del muestreo MCMC, tire todas las muestras al exterior de la unidad cuadrada. Potencial al alza: si es muy fácil crear ese problema extendido, puede ser menos trabajo para usted. Posible inconveniente: si la cadena de Markov se aleja por algún tiempo fuera del cuadrado de la unidad, es posible que tenga, en efecto, horribles probabilidades de aceptación, ya que arrojará la mayoría de sus muestras.

Sin duda hay otras opciones, ¡me interesaría ver qué sugieren otras personas!

La diferencia entre 2 y 3 es hasta cierto punto conceptual, aunque con implicaciones reales para lo que realmente haces. Probablemente iría con 3, ya que simplemente dejaría que R me dijera cuáles son las probabilidades de la propuesta (si estoy programando en R) y la cantidad de esfuerzo adicional, aparte de algunos ajustes del parámetro de distribución de la propuesta , parece pequeño para mi. Si estuviera usando JAGS o BUGS, por supuesto, sería un asunto completamente diferente, ya que esas herramientas manejan sus propias propuestas.n

jbowman
fuente
¡Vota arriba! Muchas gracias por una respuesta tan completa, pero hay algunos puntos que estoy luchando por seguir: 1) En realidad, el espacio de parámetros proviene de un segmento de línea en cuadrado y, por lo tanto, es realmente difícil de obtener mediante un muestreo uniforme, supongo 2) Esto en realidad no parece ser una buena idea. Para dar una ilustración simple, ¡imagínese extender la muestra limitada simplemente ajustando la probabilidad de área externa a cero! Supongo que esto haría que el proceso de convergencia sea muy lento y que probablemente sería similar al submuestreo
Cupitor el
3) El problema con esta idea es que su propuesta no es invertible y, por lo tanto, podría ser el caso de que el esquema de muestreo resultante ya no sea ergódico.
Cupitor
4) es la forma en que lo intenté y parece razonable (¡IMH!) 5) ¡Estos parecen sufrir el ejemplo que mencioné en 2 y, como dijiste, podrían dar terribles tasas de aceptación!
Cupitor
2
(0,inf)x(0,1)β
α=2.5(0.5,1)α=3.2(0,0.8)α=0.2(0.2,0)