¿Cómo puede un previo inadecuado conducir a una distribución posterior adecuada?

Sabemos que en el caso de una distribución previa adecuada,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

La justificación habitual para este paso es que la distribución marginal de , , es constante con respecto a y, por lo tanto, puede ignorarse al derivar la distribución posterior.$X$$P(X)$$\theta$

Sin embargo, en el caso de un previo incorrecto, ¿cómo sabe que la distribución posterior realmente existe? Parece que falta algo en este argumento aparentemente circular. En otras palabras, si supongo que existe el posterior, entiendo la mecánica de cómo derivar el posterior, pero parece que me falta la justificación teórica de por qué existe.

PD: También reconozco que hay casos en que un previo incorrecto conduce a un posterior incorrecto.

Por lo general, aceptamos posteriores de anteriores incorrectos if existe y es una distribución de probabilidad válida (es decir, se integra exactamente a 1 sobre el soporte). Esencialmente, esto se reduce a finito. Si este es el caso, llamamos a esta cantidad y la aceptamos como la distribución posterior que queremos. Sin embargo, es importante tener en cuenta que esto NO es una distribución posterior, ni es una distribución de probabilidad condicional (estos dos términos son sinónimos en el contexto aquí).$\pi(\theta)$ π(X)=∫π(X∣θ)π(θ

Ahora, dije que aceptamos distribuciones 'posteriores' de anteriores inadecuados dado lo anterior. La razón por la que son aceptados es porque el todavía nos dará 'puntajes' relativos en el espacio de parámetros; es decir, la relación aporta significado a nuestro análisis. El significado que obtenemos de anteriores inadecuados en algunos casos puede no estar disponible en anteriores apropiados. Esta es una justificación potencial para usarlos. Vea la respuesta de Sergio para un examen más completo de la motivación práctica de los antecedentes impropios.π ( θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Vale la pena señalar que esta cantidad tiene propiedades teóricas deseables, Degroot & Schervish :$\pi(\theta \mid X)$

Los previos impropios no son distribuciones de probabilidad verdaderas, pero si pretendemos que lo son, calcularemos distribuciones posteriores que se aproximen a los posteriores que hubiéramos obtenido utilizando anteriores conjugados adecuados con valores extremos de los hiperparámetros anteriores.

Hay una respuesta "teórica" ​​y una respuesta "pragmática".

Desde un punto de vista teórico, cuando un prior es incorrecto, el posterior no existe (bueno, mire la respuesta de Matthew para una declaración más sólida), pero puede aproximarse por una forma limitante.

Si los datos comprenden una muestra condicionalmente iid de la distribución de Bernoulli con el parámetro , y tiene la distribución beta con los parámetros y , la distribución posterior de es la distribución beta con los parámetros ( observaciones, éxitos) y su media es . Si usamos la distribución beta inadecuada (e irreal) antes con los hiperamámetros anteriores , y pretendemos queθ α β θ α + s , β + n - s n s ( α $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$α = β = 0 π ( θ ) ∝ θ - 1 ( $(\alpha+s)/(\alpha+\beta+n)$$\alpha=\beta=0$ θ s - 1 ( 1 - θ ) n - $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$, Obtenemos una posterior adecuada proporcional a , es decir, el pdf de la distribución beta con parámetros y a excepción de un factor constante. Esta es la forma limitante de la parte posterior para un beta anterior con los parámetros y (Degroot & Schervish, Ejemplo 7.3.13). sn-sα→0β→$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$$\alpha\to 0$$\beta\to 0$

En un modelo normal con media , varianza conocida y una distribución para , si la precisión anterior, , es pequeño en relación con la precisión de los datos, , luego la distribución posterior es aproximadamente como si : es decir, la distribución posterior es aproximadamente la que resultaría de suponer que es proporcional a una constante paraσ 2 N ( μ 0 , τ 2 0 ) θ 1 / τ 2 0 n / σ 2 τ 2 0 = ∞ p ( θ ∣ x ) ≈ N ( θ ∣ ˉ x , σ 2 / n ) p ( θ ) θ ∈ ( - ∞ , ∞ ) τ 2 $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$

Desde un punto de vista "pragmático", cuando sea ​​lo que sea , entonces si en , luego . Se pueden emplear antecedentes inadecuados para representar el comportamiento local de la distribución previa en la región donde la probabilidad es apreciable, digamos . Suponiendo que, con una aproximación suficiente, un previo sigue formas como o solo sobre$p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$$f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$, que se reduce adecuadamente a cero fuera de ese rango, nos aseguramos de que los anteriores realmente utilizados sean correctos ( Box y Tiao , p. 21). Entonces, si la distribución previa de es pero está limitada, es como si , es decir, . Para un ejemplo concreto, esto es lo que sucede en Stan : si no se especifica ningún previo para un parámetro, se le da implícitamente un previo uniforme en su soporte y esto se maneja como una multiplicación de la probabilidad por una constante.$\theta$$\mathcal{U}(-\infty,\infty)$$(a,b)$$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

Sin embargo, en el caso de un previo incorrecto, ¿cómo sabe que la distribución posterior realmente existe?

La parte posterior podría no ser adecuada tampoco. Si lo anterior es incorrecto y la probabilidad es plana (porque no hay observaciones significativas), entonces el posterior es igual al anterior y también es incorrecto.

Por lo general, tiene algunas observaciones y, por lo general, la probabilidad no es plana, por lo que la posterior es adecuada.