Probabilidad versus distribución condicional para análisis bayesiano

Podemos escribir el teorema de Bayes como

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

donde es la posterior, es la distribución condicional y es la anterior. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

donde es la posterior, es la función de probabilidad y es la anterior. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

Mi pregunta es

¿Por qué el análisis bayesiano se realiza utilizando la función de probabilidad y no la distribución condicional?
¿Puedes decir con palabras cuál es la diferencia entre la probabilidad y la distribución condicional? Sé que la probabilidad no es una distribución de probabilidad y . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood kzoo
fuente

¡No hay diferencia! La probabilidad es que la distribución condicional , bueno, es proporcional a, que es todo lo que importa.

f (X | θ)

$f(X | \theta)$

kjetil b halvorsen

El parámetro anterior tiene densidad . si la realización de tiene valor mientras que es el valor observado de una variable aleatoria , entonces el valor de la función de probabilidad es precisamente , el valor de la densidad condicional de . La diferencia es que para todas las realizaciones de . Sin embargo, en función de

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (y fijo ), no es una densidad:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

Dilip Sarwate

Respuestas:

Suponga que tiene variables aleatorias (cuyos valores se observarán en su experimento) que son condicionalmente independientes, dado que , con densidades condicionales , para . Este es su modelo estadístico (condicional) (postulado), y las densidades condicionales expresan, para cada posible valor del parámetro (aleatorio) , su incertidumbre sobre los valores de las 's, antes de tener acceso a cualquier datos reales Con la ayuda de las densidades condicionales puede, por ejemplo, calcular probabilidades condicionales como $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ para cada .

θ

$\theta$

Después de tener acceso a una muestra real de valores (realizaciones) de las que se han observado en una ejecución de su experimento, la situación cambia: ya no hay incertidumbre sobre los observables . Suponga que el aleatorio asume valores en algún espacio de parámetros . Ahora, usted define, para esos valores conocidos (fijos) una función por Tenga en cuenta que , conocida como la "función de probabilidad" es una función de $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . En esta situación "después de tener datos", la probabilidad contiene, para el modelo condicional particular que estamos considerando, toda la información sobre el parámetro contenida en esta muestra particular . De hecho, sucede que es una estadística suficiente para .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Al responder a su pregunta, para comprender las diferencias entre los conceptos de densidad condicional y probabilidad, tenga en cuenta sus definiciones matemáticas (que son claramente diferentes: son objetos matemáticos diferentes, con diferentes propiedades), y también recuerde que la densidad condicional es un "pre -muestra "objeto / concepto, mientras que la probabilidad es una" muestra posterior ". Espero que todo esto también les ayude a responder por qué la inferencia bayesiana (usando su forma de expresarlo, que no creo que sea ideal) se hace "usando la función de probabilidad y no la distribución condicional": el objetivo de la inferencia bayesiana es para calcular la distribución posterior, y para hacerlo condicionamos los datos observados (conocidos).

zen
fuente

Creo que el Zen es correcto cuando dice que la probabilidad y la probabilidad condicional son diferentes. En la función de probabilidad θ no es una variable aleatoria, por lo tanto, es diferente de la probabilidad condicional.

Martine

La proporcionalidad se utiliza para simplificar el análisis.

El análisis bayesiano generalmente se realiza a través de una declaración aún más simple del teorema de Bayes, donde trabajamos solo en términos de proporcionalidad con respecto al parámetro de interés. Para un modelo IID estándar con densidad de muestreo podemos expresar esto como: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

Esta declaración de actualización bayesiana funciona en términos de proporcionalidad con respecto al parámetro . Utiliza dos simplificaciones de proporcionalidad: una en el uso de la función de probabilidad (proporcional a la densidad de muestreo) y otra en la posterior (proporcional al producto de probabilidad y anterior). Dado que el posterior es una función de densidad (en el caso continuo), la regla normativa establece la constante multiplicativa que se requiere para producir una densidad válida (es decir, para que se integre en uno). $\theta$

El uso de este método de proporcionalidad tiene la ventaja de permitirnos ignorar los elementos multiplicativos de las funciones que no dependen del parámetro . Esto tiende a simplificar el problema al permitirnos barrer partes innecesarias de las matemáticas y obtener declaraciones más simples del mecanismo de actualización. Este no es un requisito matemática (ya que la regla de Bayes funciona en su forma no proporcional también), sino que hace las cosas más simples para nuestros diminutos cerebros animales. $\theta$

Un ejemplo aplicado: considere un modelo IID con datos observados . Para facilitar nuestro análisis, definimos las estadísticas y , que son los dos primeros momentos de muestra. Para este modelo tenemos densidad de muestreo: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

Ahora, podemos trabajar directamente con esta densidad de muestreo si queremos. Pero observe que los dos primeros términos en esta densidad son constantes multiplicativas que no dependen de . Es molesto tener que hacer un seguimiento de estos términos, así que vamos a deshacernos de ellos para tener la función de probabilidad: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

Eso simplifica un poco las cosas, ya que no tenemos que hacer un seguimiento de un término adicional. Ahora, podríamos aplicar la regla de Bayes usando su versión de ecuación completa, incluido el denominador integral. Pero, de nuevo, esto requiere que hagamos un seguimiento de otra constante multiplicativa molesta que no depende de (más molesto porque tenemos que resolver una integral para obtenerla). Entonces, apliquemos la regla de Bayes en su forma proporcional. Usando el conjugado previo , con algún parámetro de precisión conocido , obtenemos el siguiente resultado ( completando el cuadrado ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Entonces, de este trabajo podemos ver que la distribución posterior es proporcional a una densidad normal. Como el posterior debe ser una densidad, esto implica que el posterior es esa densidad normal:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

Por lo tanto, vemos que a posteriori el parámetro se distribuye normalmente con media posterior y varianza dada por: $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Ahora, la distribución posterior que hemos derivado tiene una constante de integración en el frente (que podemos encontrar fácilmente al buscar la forma de la distribución normal ). Pero tenga en cuenta que no teníamos que preocuparnos por esta constante multiplicativa: todo nuestro trabajo eliminó (o introdujo) constantes multiplicativas siempre que esto simplificara las matemáticas. Se puede obtener el mismo resultado mientras se realiza un seguimiento de las constantes multiplicativas, pero esto es mucho más complicado.

Ben - Restablece a Monica
fuente

Creo que la respuesta de Zen realmente te dice cómo conceptualmente difieren la función de probabilidad y la densidad conjunta de valores de variables aleatorias. Aún matemáticamente, como una función de ambos x sy θ, son iguales y, en ese sentido, la probabilidad puede considerarse como una densidad de probabilidad. La diferencia que señala en la fórmula para la distribución posterior de Bayes es solo una diferencia de notación. Pero la sutileza de la diferencia se explica muy bien en la respuesta de Zen. $_i$

Este problema ha surgido en otras preguntas discutidas en este sitio con respecto a la función de probabilidad. También otros comentarios de kjetil y Dilip parecen apoyar lo que estoy diciendo.

Michael R. Chernick
fuente