¿Existe un conjugado previo para la distribución de Laplace?

13

¿Existe un conjugado previo para la distribución de Laplace ? Si no, ¿existe una expresión de forma cerrada conocida que se aproxime a la posterior para los parámetros de la distribución de Laplace?

He buscado mucho en Google sin éxito, así que mi suposición actual es "no" en las preguntas anteriores ...

Rasmus Bååth
fuente
1
Google "mezclas de medias de varianza normal de polson y scott" - esto le dará algunas bayes aproximadas usando MAP a través del algoritmo em.
probabilidad es

Respuestas:

12

Miremos primero uno a la vez (tomando el otro como se indica).

Desde el enlace (con la modificación de seguir la convención de usar símbolos griegos para los parámetros):

F(XEl |μ,τ)=12τExp(-El |X-μEl |τ)

- parámetro de escala :

L(τ)τ-k-1mi-Sτ

para ciertos valores de y S . Esa es la probabilidad es de forma gamma inversa.kS

Entonces, el parámetro de escala tiene un conjugado previo: mediante inspección, el conjugado anterior es gamma inverso.

- parámetro de ubicación

Esto es, de hecho, más complicado, porque no se simplifica en algo conveniente en μ ; No creo que haya ninguna forma de "recopilar los términos" (bueno, de alguna manera, pero no necesitamos hacerlo de todos modos).yoEl |Xyo-μEl |μ

Un prior uniforme simplemente truncará el posterior, lo que no es tan malo para trabajar si eso parece plausible como prior.

Una posibilidad interesante que ocasionalmente puede ser útil es que es bastante fácil incluir un Laplace anterior (uno con la misma escala que los datos) mediante el uso de una pseudo-observación. También se puede aproximar algún otro (más estricto) antes a través de varias pseudoobservaciones)

Exp(-jEl |μ-θjEl |/ /ϕj)Exp(-jwjEl |μ-θjEl |)

También es lo suficientemente flexible como para usarse para aproximarse a otros antecedentes.

(En términos más generales, uno podría trabajar en la escala logarítmica y utilizar un logaritmo cóncavo continuo continuo, lineal y por partes, y el posterior también sería de esa forma; esto incluiría a Laplace asimétrica como un caso especial)

Ejemplo

Solo para mostrar que es bastante fácil de tratar: a continuación se muestra una probabilidad anterior (gris punteada), probable (discontinua, negra) y posterior (sólida, roja) para el parámetro de ubicación para un Laplace ponderado (... esto fue con escalas conocidas )

ingrese la descripción de la imagen aquí

Creo que el enfoque ponderado de Laplace funcionaría bien en MCMC.

-

Me pregunto si el modo del posterior resultante es una mediana ponderada.

- en realidad (para responder mi propia pregunta), parece que la respuesta a eso es 'sí'. Eso hace que sea bastante agradable trabajar con él.

-

Conjunto previo

F(μ,τ)=F(μEl |τ)F(τ)μEl |ττττ , incondicionalmente.

Sin duda, algo más general para el prior conjunto es bastante posible, pero no creo que continúe con el caso conjunto más allá de eso aquí.

-

Nunca antes había visto ni oído hablar de este enfoque previo de laplace ponderada, pero fue bastante simple de inventar, por lo que probablemente ya se haya hecho. (Las referencias son bienvenidas, si alguien sabe de alguna).

Si nadie sabe de ninguna referencia, tal vez debería escribir algo, pero eso sería sorprendente.

Glen_b -Reinstate a Monica
fuente
Wow, gran respuesta. Estoy seguro de que no conozco ninguna referencia a nada similar. Si encuentra algo o escribe algo, ¡hágamelo saber!
Rasmus Bååth
1
Una posible forma de llegar al parámetro de ubicación es usar la representación de mezcla de varianza normal de Laplace. Esta es una forma condicional antes de que el conjugado ...
probabilityislogic
@probabilityislogic es interesante. En ediciones anteriores, puse una línea que señalaba que Laplace era una mezcla de normales a escala exponencial porque me preguntaba si podría haber algo que se pudiera hacer con eso, pero a medida que edité la respuesta, ya no cabía en ningún lado y tomé fuera de nuevo. Según su útil comentario, parece que puede usarse de esa manera; Es probable que sea útil.
Glen_b -Reinstale a Monica