¿Cómo se usa el teorema de Bayes con un previo continuo?

Si mi anterior se modela como una distribución de probabilidad continua, por ejemplo, una distribución beta sesgada para reflejar mi sesgo hacia ciertos modelos, ¿cómo puedo calcular la probabilidad posterior?

El desafío para mí es calcular la probabilidad de un modelo dado, ya que la distribución continua solo me dará estimaciones de intervalos .

Perdone la ingenuidad de la pregunta, solo recientemente comencé a estudiar estadísticas bayesianas.

Para comparar modelos, diga y la respuesta bayesiana clásica es (Jeffreys, 1939) para producir un factor Bayes Cuando es mayor que los datos favorecen el modelo ; cuando es menor que , los datos favorecen el modelo .

$$\mathfrak{M}_1=\{f_1(\cdot|\theta_1);\ \theta_1\in\Theta_1\}$$ $$\mathfrak{M}_2=\{f_2(\cdot|\theta_2);\ \theta_2\in\Theta_2\}$$ $$\mathfrak{B}_{12}(x)=\frac{\int_{\Theta_1} f_1(x|\theta_1)\pi_1(\text{d}\theta_1)}{\int_{\Theta_2} f_2(x|\theta_2)\pi_2(\text{d}\theta_2)}$$ $\mathfrak{B}_{12}(x)$$1$$\mathfrak{M}_1$$\mathfrak{B}_{12}(x)$$1$$\mathfrak{M}_2$

El teorema de Bayes es:

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$

En el caso de que tenga algunos datos y un parámetro, es común usar para el parámetro (o vector de parámetros) para los datos.$\theta$$x$

Puede colocar un previo en , , y puede tener un modelo que proporciona la probabilidad de sus datos dado el modelo. Luego puede usar la regla / teorema de Bayes para "invertir" esto y obtener .$\theta$$p(\theta)$$p(x|\theta)$$p(\theta|x)$

Solo en un conjunto relativamente pequeño de ejemplos es posible obtener soluciones de forma cerrada para . Para casos arbitrarios, a menudo se aproxima la distribución posterior utilizando algunos métodos estándar en las estadísticas bayesianas; por ejemplo, los dos enfoques generales más comunes son la cadena de Markov, Monte Carlo o la Bayes variacional.$p(\theta|x)$

Suponga que está interesado en un caso simple donde existe una forma cerrada posterior. Un ejemplo de esto sería si es una normal estándar (gaussiana con varianza unitaria y media cero) y es una normal con un valor medio de y varianza unitaria.$p(\theta)$$p(x|\theta)$$\theta$

Omitiré factores de normalización por conveniencia. También tenga en cuenta que el denominador en la regla de Bayes tiende a renormalizar simplemente las cosas: Combinemos los exponentes y completemos el cuadrado Recuerde que x está arreglado aquí porque se ha observado y queremos esperar que nuestra respuesta sea en términos de ello. Complete el cuadrado y vea que el exponente es con otros términos que dependen de x. Entonces:

$$p(\theta|x) \propto e^{-(x-\theta)^2/2} e^{-\theta^2/2}\\ $$ $$-(x-\theta)^2/2 - \theta^2/2 \propto - (x^2 - 2\theta x + \theta^2) - \theta^2$$ $\propto -(\theta - x/2)^2$ $$p(\theta|x) \propto e^{-a(\theta - x/2)^2}$$
donde 'a' es un factor que se puede obtener mediante la contabilidad. Observe que la posterior es una distribución normal con valor medio x / 2. Intenta calcular la varianza por ti mismo.

Tenga en cuenta que nuestra respuesta tiene sentido intuitivo ... el anterior dijo que es cero y observamos una muestra que tiene el valor esperado de . Dado que la varianza de la distribución anterior y son de igual magnitud, confiamos en ellas por igual. En consecuencia, nuestro posterior es una distribución con una media que es el promedio de 0 y que termina teniendo una varianza menor que la inicial o (no se muestra aquí). $\theta$$x$$\theta$$p(x|\theta)$$x$$p(x|\theta)$$p(x)$

Para la comparación del modelo, puede mirar una relación:

$$\frac{p(x|\theta_1)}{p(x|\theta_2)}$$

Esto se llama la razón de probabilidad (ver wikipedia u otro lugar). Aquí no necesita la parte posterior, simplemente está viendo cómo (relativamente) probable que sus datos (u observaciones) se den como o como el parámetro del modelo que generó sus observaciones. $\theta_1$$\theta_2$

Espero que esto ayude.