¿Qué es exactamente un modelo bayesiano?

34

¿Puedo llamar a un modelo en el que el teorema de Bayes se usa como un "modelo bayesiano"? Me temo que tal definición podría ser demasiado amplia.

Entonces, ¿qué es exactamente un modelo bayesiano?

machine-learning bayesian Sibbs Gambling
fuente

9

Un modelo bayesiano es un modelo estadístico hecho del par anterior x probabilidad = posterior x marginal. El teorema de Bayes es algo secundario al concepto de prior.

Xi'an

18

En esencia, uno donde la inferencia se basa en el uso del teorema de Bayes para obtener una distribución posterior de una cantidad o cantidades de interés de algún modelo (como los valores de los parámetros) basado en alguna distribución previa de los parámetros desconocidos relevantes y la probabilidad del modelo.

es decir, a partir de un modelo de distribución de alguna forma, , y un , alguien podría buscar obtener el posterior . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Un ejemplo simple de un modelo bayesiano se discute en esta pregunta , y en los comentarios de este : la regresión lineal bayesiana, discutida con más detalle en Wikipedia aquí . Las búsquedas abren discusiones sobre varios modelos bayesianos aquí.

Pero hay otras cosas que uno podría intentar hacer con un análisis bayesiano además de simplemente ajustarse a un modelo; ver, por ejemplo, la teoría de decisión bayesiana.

Glen_b -Reinstate a Monica
fuente

En la regresión lineal, es

aquí igual al vector

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$ ? Si no, ¿qué es?

BCLC

1

@BCLC Por lo general, también incluiría

.

σ

$\sigma$

Glen_b -Reinstala a Monica

1

@BCLC Pareces estar mezclando inferencias frecuentistas y bayesianas. La inferencia bayesiana se centra en las cantidades que le interesen. Si le interesan los parámetros (por ejemplo, la inferencia sobre coeficientes particulares), la idea sería buscar distribuciones posteriores [parámetros | datos]. Si está interesado en la función media (

), entonces buscaría una distribución posterior para eso (que, por supuesto, es una función de la distribución (multivariada) de

). Puede usar OLS en su estimación, pero los parámetros de la parte posterior serán cambiados por el previo ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

Glen_b -Reinstate Monica

1

... vea la página de wikipedia sobre la regresión bayesiana y algunas de las discusiones aquí en CV

Glen_b -Reinstate Monica

1

Ese cálculo a veces aparece (ya sea que lo haya llamado

o

), por varias razones. Mi comentario anterior no está de ninguna manera en conflicto con ese cálculo.

(o equivalentemente

o

) es un parámetro, y debe tratarlo junto con los otros parámetros. Sin embargo, aunque sería raro que sepas

; por ejemplo, si está haciendo un muestreo de Gibbs, el condicional sería relevante. Si solo desea inferencia en

, integraría

(o

etc.) desde

lugar de condicionar en

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ .

Glen_b -Reinstala a Monica

11

Un modelo bayesiano es solo un modelo que extrae sus inferencias de la distribución posterior, es decir, utiliza una distribución previa y una probabilidad que están relacionadas por el teorema de Bayes.

Sycorax dice reinstalar a Mónica
fuente

7

¿Puedo llamar a un modelo en el que el Teorema de Bayes se usa como un "modelo bayesiano"?

No

Me temo que tal definición podría ser demasiado amplia.

Tienes razón. El teorema de Bayes es una relación legítima entre las probabilidades de eventos marginales y las probabilidades condicionales. Se mantiene independientemente de su interpretación de la probabilidad.

Entonces, ¿qué es exactamente un modelo bayesiano?

Si está utilizando conceptos anteriores y posteriores en cualquier parte de su exposición o interpretación, es probable que esté utilizando el modelo bayesiano, pero esta no es la regla absoluta, porque estos conceptos también se utilizan en enfoques no bayesianos.

En un sentido más amplio, sin embargo, debe suscribirse a la interpretación bayesiana de la probabilidad como una creencia subjetiva. Este pequeño teorema de Bayes fue extendido y extendido por algunas personas en esta visión del mundo e incluso, debo decir, filosofía . Si perteneces a este campamento, eres bayesiano. Bayes no tenía idea de que esto le sucedería a su teorema. Se horrorizaría, piensa yo.

Aksakal
fuente

44

Esta parece ser la primera respuesta para introducir el punto importante en su primera línea: el mero uso del Teorema de Bayes no hace que algo sea un modelo bayesiano. Me gustaría animarlo a ir más lejos con este pensamiento. Parece que retrocede donde dice que "usar conceptos anteriores y posteriores" hace un modelo bayesiano. ¿Eso no equivale simplemente a aplicar el Teorema de Bayes nuevamente? Si no, ¿podría explicar qué quiere decir con "conceptos" en este pasaje? Después de todo, las estadísticas clásicas (no bayesianas) utilizan anteriores y posteriores para probar la admisibilidad de muchos procedimientos.

whuber

@whuber, era más como una simple regla de oro. Cada vez que veo "anterior" en el periódico, termina siendo o afirma ser del punto de vista bayesiano. Sin embargo, aclararé mi punto.

Aksakal

5

Un modelo estadístico puede verse como un procedimiento / historia que describe cómo surgieron algunos datos. Un modelo bayesiano es un modelo estadístico en el que utiliza la probabilidad para representar toda la incertidumbre dentro del modelo, tanto la incertidumbre con respecto a la salida como también la incertidumbre con respecto a la entrada (también conocida como parámetros) al modelo. Todo el teorema anterior / posterior / Bayes sigue a esto, pero en mi opinión, usar la probabilidad para todo es lo que lo hace bayesiano (y, de hecho, una palabra mejor tal vez sea algo así como un modelo probabilístico ).

Eso significa que la mayoría de los otros modelos estadísticos pueden "integrarse" en un modelo bayesiano modificándolos para usar la probabilidad en todas partes. Esto es especialmente cierto para los modelos que dependen de la máxima probabilidad, ya que la adaptación del modelo de máxima probabilidad es un subconjunto estricto de la adaptación del modelo bayesiano.

Rasmus Bååth
fuente

Se utiliza MLE y se desarrolló fuera del modelo bayesiano, por lo que no está muy claro lo que quiere decir con "subconjunto estricto del ajuste del modelo bayesiano".

Aksakal

Desde una perspectiva bayesiana, el MLE es lo que obtienes cuando asumes anteriores planos, ajustas el modelo y utilizas la configuración de parámetros más probable como una estimación puntual. Si este es un caso especial de la "filosofía estadística" bayesiana, lo dejo para que otros lo discutan, pero ciertamente es un caso especial de ajuste del modelo bayesiano.

Rasmus Bååth

El problema con esta afirmación es que deja la impresión de que necesitas estar suscrito a algún tipo de pensamiento bayesiano para usar MLE.

Aksakal

1

No estoy seguro de lo que quieres decir. En mi opinión, no necesita suscribirse al pensamiento bayesiano cuando usa estadísticas bayesianas más de lo que necesita suscribirse al pensamiento matricial cuando hace álgebra lineal o pensamiento gaussiano cuando usa una distribución normal. Tampoco estoy diciendo que MLE tiene que ser interpretado como un subconjunto del modelo de ajuste bayesiano (a pesar de que cae bastante natural para mí).

Rasmus Bååth

3

Su pregunta es más en el lado semántico: ¿cuándo puedo llamar a un modelo "Bayesiano"?

Sacando conclusiones de este excelente artículo:

Fienberg, SE (2006). ¿Cuándo la inferencia bayesiana se convirtió en "bayesiana"? Análisis Bayesiano, 1 (1): 1-40.

hay 2 respuestas:

Su modelo es primero bayesiano si usa la regla de Bayes (ese es el "algoritmo").
En términos más generales, si deduce causas (ocultas) de un modelo generativo de su sistema, entonces usted es bayesiano (esa es la "función").

Sorprendentemente, la terminología de "modelos bayesianos" que se usa en todo el campo solo se estableció alrededor de los años 60. ¡Hay muchas cosas que aprender sobre el aprendizaje automático con solo mirar su historia!

Meduz
fuente

Parece mencionar solo una de las "dos respuestas". ¿Quizás escribir algo sobre ambos?

Tim

gracias por la nota, edité mi respuesta para separar las 2 partes de mi oración.

meduz

¿Qué es exactamente un modelo bayesiano?

Respuestas: