Comprensión del conjugado beta previo en inferencia bayesiana sobre una frecuencia

Lo siguiente es un extracto de la Introducción a las estadísticas bayesianas de Bolstad .

Para todos los expertos, esto puede ser trivial, pero no entiendo cómo el autor concluye que no tenemos que hacer ninguna integración para calcular la probabilidad posterior de algún valor de . Entiendo la segunda expresión, que es la proporcionalidad y de dónde provienen todos los términos ( probabilidad x Prior) . Además, entiendo, no tenemos que preocuparnos por el denominador ya que solo el numerador es directamente proporcional. Pero pasando a la tercera ecuación , ¿no nos estamos olvidando del denominador de la Regla de Bayes? A donde se fué ? Y el valor calculado por las funciones Gamma, ¿no es eso una constante? ¿Las constantes no se cancelan en el teorema de Bayes? $\pi$

distributions bayesian beta-distribution conjugate-prior Jenna Maiz
fuente

Solo hay una constante posible, es decir, la que hace que la función sea una densidad de probabilidad.

Xi'an

Respuestas:

El punto es que sabemos a qué es posterior el proporcional y sucede que no necesitamos hacer la integración para obtener el denominador (constante), porque reconocemos que una distribución con función de densidad de probabilidad proporcional a (como la posterior) es una distribución beta. Dado que la constante de normalización para tal pdf beta es , obtenemos el pdf posterior sin integración. Y sí, la constante de normalización en el teorema de Bayes es una constante (dados los datos observados y el supuesto anterior) al igual que la constante de normalización para la densidad posterior. $x^{\alpha-1} \times (1-x)^{\beta-1}$ $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Björn
fuente

La puesta en marcha

Tiene este modelo: Las densidades para las cuales son y, en particular, tenga en cuenta que

\begin{aligned} p & \sim beta (α, β) \\ x | p & \sim binomial (n, p) \end{aligned}

$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$

f (p) = \frac{1}{B (α, β)} p^{α - 1} (1 - p)^{β - 1}

$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$

g (x | p) = (\binom{n}{x}) p^{x} (1 - p)^{n - x}

$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$

\frac{1}{B (α, β)} = \frac{Γ (α + β)}{Γ (α) Γ (β)} .

$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$

La versión implícita

Ahora. La distribución posterior es proporcional a la anterior multiplicada por la probabilidad . Podemos ignorar las constantes (es decir, cosas que no son ), produciendo: $f$ $g$ $p$

\begin{aligned} h (p | x) & \propto f (p) g (p | x) \\ = p^{α - 1} (1 - p)^{β - 1} p^{x} p^{n - x} \\ = p^{α + x - 1} (1 - p)^{β + n - x - 1} . \end{aligned}

$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$

Esto tiene la 'forma' de una distribución beta con parámetros y , y sabemos cuál debería ser la constante de normalización correspondiente para una distribución beta con esos parámetros: . O, en términos de funciones gamma, En otras palabras, podemos hacerlo un poco mejor que una relación proporcional sin ningún trabajo adicional, e ir directamente a la igualdad: $\alpha + x$ $\beta + n - x$ $1 / B(\alpha + x, \beta + n - x)$

\frac{1}{B (α + x, β + n - x)} = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} .

$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$

h (p | x) = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} .

$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$

Por lo tanto, se puede usar el conocimiento de la estructura de una distribución beta para recuperar fácilmente una expresión para la parte posterior, en lugar de pasar por una integración desordenada y similares.

De alguna manera se desplaza hacia la parte posterior completa al cancelar implícitamente las constantes de normalización de la distribución conjunta, lo que puede ser confuso.

La versión explícita

También podría pulir las cosas procesalmente, lo que puede ser más claro.

En realidad no es mucho más tiempo. Tenga en cuenta que podemos expresar la distribución conjunta como y la distribución marginal de como

\begin{aligned} f (p) g (x | p) = \frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

x

$x$

\begin{aligned} \int_{0}^{1} f (p) g (x | p) d p & = \frac{1}{B (α, β)} (\binom{n}{x}) \int_{0}^{1} p^{α + x - 1} (1 - p)^{β + n - x - 1} d p \\ = \frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n - x)} \end{aligned}

$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$

Entonces podemos expresar el posterior usando el teorema de Bayes por que es lo mismo que obtuvimos anteriormente.

\begin{aligned} h (p | x) & = \frac{f (p) g (x | p)}{\int_{0}^{1} f (p) g (x | p) d p} \\ = \frac{\frac{1}{B (α, β)} (\binom{n}{x}) p^{α + x - 1} (1 - p)^{β + n - x - 1}}{\frac{1}{B (α, β)} (\binom{n}{x}) \frac{Γ (α + x) Γ (β + n - x)}{Γ (α + β + n)}} \\ = \frac{Γ (n + α + β)}{Γ (α + x) Γ (β + n - x)} p^{α + x - 1} (1 - p)^{β + n - x - 1} \end{aligned}

$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$

jtobin
fuente

Observaciones generales

Para que la respuesta dada por @ Björn sea un poco más explícita y al mismo tiempo más general, debemos recordar que llegamos al Teorema de Bayes desde

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ (Bayes Thereom)

donde representa los datos observados y nuestro parámetro desconocido sobre el que nos gustaría hacer inferencias probabilísticas; en el caso de la pregunta, el parámetro es una frecuencia desconocida . No nos preocupemos por ahora si estamos hablando de vectores o escalares para simplificarlo. $X$ $\theta$ $\pi$

La marginación en el caso continuo conduce a

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

donde la distribución conjunta es igual a la como hemos visto anteriormente. Es una constante ya que después de 'integrar' el parámetro solo depende de términos constantes . $p(X,\theta)$ $likelihood \times prior$

Por lo tanto, podemos reformular el Teorema de Bayes como

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ con $Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

y así llegar a la forma habitual de proporcionalidad del Teorema de Bayes .

Aplicación al problema de una mano

Ahora estamos listos para simplemente conectar lo que sabemos, ya que la en el caso de la pregunta es de la forma $likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

donde , y donde recoge los términos constantes de la probabilidad binomial y la beta anterior. $a' = a+y$ $b' = b+n-y$ $A = \frac{1}{B(a,b)}\binom{n}{y}$

Ahora podemos usar la respuesta dada por @ Björn para encontrar que esto se integra a la función Beta multiplicada por la colección de términos constantes para que $B(a',b')$ $A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

Tenga en cuenta que cualquier término constante en la distribución conjunta siempre se cancelará, ya que aparecerá en el nominador y el denominador al mismo tiempo (cf. la respuesta dada por @jtobin), por lo que realmente no tenemos que molestarnos.

Por lo tanto, reconocemos que nuestra distribución posterior es, de hecho, una distribución beta donde simplemente podemos actualizar los parámetros del previo y para llegar al posterior. Es por eso que el beta distribuido antes se llama un conjugado previo . $a' = a+y$ $b' = b+n-y$

gwr
fuente

Este razonamiento es similar a la versión implícita de jtobin. Solo observamos partes de tiempos de probabilidad anteriores que contienen el parámetro y recopilan todo lo demás en la constante de normalización. Por lo tanto, consideramos la integración solo como un paso final que es legítimo, porque las constantes se cancelan como lo ha demostrado jtobin en su versión explícita.

gwr