Dirichlet posterior

11

Tengo una pregunta sobre la distribución posterior de Dirichlet. Dada una función de probabilidad multinomial, se sabe que el posterior es , donde es el número de veces que hemos visto observación.Dir(αi+Ni)Niith

¿Qué sucede si comenzamos a disminuir s para un dato fijo ? Parece por la forma de la parte posterior que después de algún punto s dejará de afectar a la parte posterior. Pero, ¿no sería correcto decir que cuando hacemos s muy pequeño, la masa de probabilidad se mueve a las esquinas del símplex y la parte posterior debe verse afectada en mayor medida? ¿Qué enunciado es el correcto?αDαα

Max
fuente

Respuestas:

6

Para mí, la forma más útil de visualizar el efecto de los parámetros para Dirichlet es la urna de Polya. Imagine que tiene una urna que contiene n colores diferentes, con de cada color en la urna (tenga en cuenta que puede tener fracciones de una bola). Alcanzas y dibujas una bola, luego la reemplazas junto con otra del mismo color. Luego repite esto una cantidad infinita de veces y la proporción final constituye una muestra de la distribución de Dirichlet. Si tiene valores muy pequeños para , debe quedar claro que la bola agregada lo pesará mucho hacia el color de ese primer sorteo, lo que explica por qué la masa se mueve a las esquinas del símplex. Si tiene grandes , entonces ese primer sorteo no afecta tanto a la proporción final.αiααs

Lo que su posterior dice esencialmente es que comenzó con bolas de color , hizo un montón de dibujos y resultó que dibujó ese color veces. Luego puede imaginar que las muestras de la parte posterior se generen con el mismo proceso e imaginar los efectos que la inicial junto con los recuentos de tendrán en esas muestras. Claramente, un valor pequeño para tendrá menos efecto en la parte posterior.αiiNiαNα

Otra forma de pensarlo es que los parámetros de su Dirichlet controlan cuánto confía en sus datos. Si tiene valores pequeños de , entonces confía en sus datos casi por completo. Por el contrario, si tiene valores grandes para , entonces confía menos en sus datos y suavizará un poco más la parte posterior.αα

En resumen, tiene razón al decir que a medida que disminuye los , tendrán menos efecto en la parte posterior, pero al mismo tiempo la anterior tendrá la mayor parte de su masa en las esquinas del símplex.αs

jlund3
fuente