¿Cuál sería un ejemplo de un modelo realmente simple con una probabilidad intratable?

16

El cálculo bayesiano aproximado es una técnica realmente genial para ajustar básicamente cualquier modelo estocástico, destinado a modelos donde la probabilidad es intratable (por ejemplo, puede tomar muestras del modelo si fija los parámetros pero no puede calcular la probabilidad numérica, algorítmica o analíticamente ). Al presentar el cálculo bayesiano (ABC) aproximado a una audiencia, es bueno usar un modelo de ejemplo que sea realmente simple pero aún algo interesante y que tenga una probabilidad insoluble.

¿Cuál sería un buen ejemplo de un modelo realmente simple que todavía tiene una probabilidad intratable?

bayesian simulation model likelihood abc Rasmus Bååth
fuente
3
Su ejemplo de calcetines es realmente simple y en su mayoría intratable ...
Xi'an
2
Ps: El enlace de ejemplo de calcetines ...
Xi'an
Bueno, esperaba que los calcetines fueran intratables, pero demostraste que no, ¿verdad? :)
Rasmus Bååth
44
¡Esta es una buena pregunta! Hay varios ejemplos de juguetes en la literatura, pero me parecen un poco artificiales. Sería bueno tener un modelo realmente simple motivado por una aplicación real con una probabilidad insoluble. Me parece recordar haber visto a David Cox presentar algo en este sentido, pero no lo he visto publicado ...
Dennis Prangle

Respuestas:

13

Dos distribuciones que se usan mucho en la literatura son:

  • La distribución g-y-k. Esto se define por su función cuantil (cdf inverso) pero tiene una densidad intratable. Rayner y MacGillivray (2002) es una buena descripción de estos, y uno de los muchos documentos de ABC que lo usan como ejemplo de juguete es Drovandi y Pettitt (2011) .
  • Distribuciones alfa estables. Estos se definen por su función característica, pero tienen una densidad intratable excepto por un par de casos especiales. Esto tiene aplicaciones en finanzas y a menudo se usa en documentos ABC secuenciales, por ejemplo Yildirim et al (2013) .
Dennis Prangle
fuente
2
La distribución g-y-k es un muy buen ejemplo donde la función cuantil es simple de expresar mientras que la función de probabilidad no está disponible en absoluto:
Q(u;A,B,g,k)=A+B[1+c1−exp⁡{−gΦ(u)}1+exp⁡{−gΦ(u)}]{1+Φ(u)2}kΦ(u)
α
2
¿Podría alguien agregar ejemplos de situaciones que uno modelaría con estas distribuciones?
conjeturas
8

X1,...,Xnorte∼iidnorte(θ,σ2),
the reported data is (alas!) made of the two-dimensional summary
S(x1,…,xn)=(med(x1,…,xn),mad(x1,…,xn)),
which is not sufficient and which does not have a closed form joint density.
Xi'an
fuente
3
Just because the joint density is complicated to write down does not mean it does not have a closed form! "Intractable" is starting to seem like a matter of opinion in this thread. Perhaps you could clear that up by explaining what you mean by "intractable"?
whuber
1
Since I do no of anyone who can compute this density, I call it intractable... Since I have no computer program that can produce the numerical value of this likelihood, I am forced to use an ABC algorithm.
Xi'an
3
ABC does not compute the likelihood but uses simulations from the data to provide a sample of parameters that is an approximation of the true posterior. At the end of the day/computation, I am not the wiser about the likelihood function and I cannot produce a numerical value for L(θ|x1,…,xn).
Xi'an
2
@whuber If one could successfully compute the likelihood, the example would not be very suitable for demonstrating an algorithm for approximating posteriors without computing likelihood×prior products.
Juho Kokkala
2
@whuber I think your interpretation (2) in the comment beginning "What I am wondering" is at least essentially the intended one. However, I don't understand your last remark "unless your ABC algorithm is taking a long time to execute" - the point of the question is that the expensive likelihood evaluation will be avoided by using ABC instead.
Juho Kokkala