¿Por qué los puntos de corte utilizados para los factores de Bayes y los valores p son tan diferentes?

Estoy tratando de entender el factor Bayes (BF). Creo que son como la razón de probabilidad de 2 hipótesis. Entonces, si BF es 5, significa que H1 es 5 veces más probable que H0. Y el valor de 3-10 indica evidencia moderada, mientras que> 10 indica evidencia fuerte.

Sin embargo, para el valor P, tradicionalmente 0.05 se toma como límite. Con este valor de P, la razón de probabilidad H1 / H0 debe ser de aproximadamente 95/5 o 19.

Entonces, ¿por qué se toma un límite de> 3 para BF mientras que se toma un límite de> 19 para los valores de P? Estos valores tampoco están cerca.

hypothesis-testing bayesian p-value bayes-factors rnso
fuente

Me incomoda decir "si BF es

, significa que

veces más probable que

". El factor Bayes puede ser un cociente de probabilidad marginal, pero no es un cociente de probabilidad o cociente de probabilidades, y debe combinarse con un previo para que sea útil

5

$5$

H_{1}

$H_1$

5

$5$

H_{0}

$H_0$

Henry

Si no tenemos ninguna información previa en particular, ¿qué podemos decir sobre el significado de BF?

rnso

Ciertamente, uno tiene "alguna" información previa, incluso si dice que no hay ninguna información previa en particular. Es decir, en ese caso es razonable asignar probabilidades iguales a cada hipótesis de acuerdo con el principio de indiferencia. Ese es un ejemplo simple de un llamado previo no informativo (ciertamente un nombre inapropiado).

dnqxt

En este caso, ¿BF de 5 indicará que una hipótesis es 5 veces más probable?

rnso

Sí, pero este problema es mucho más complicado de lo que parece y entra en el área de selección de modelos en estadística. Has sido advertido :))

dnqxt

Respuestas:

Unas pocas cosas:

El BF le brinda evidencia a favor de una hipótesis, mientras que una prueba de hipótesis frecuentista le brinda evidencia en contra de una hipótesis (nula). Entonces es una especie de "manzanas a naranjas".

Estos dos procedimientos, a pesar de la diferencia en las interpretaciones, pueden conducir a decisiones diferentes. Por ejemplo, un BF podría rechazar mientras que una prueba de hipótesis frecuentista no lo hace, o viceversa. Este problema a menudo se conoce como la paradoja de Jeffreys-Lindley . Ha habido muchas publicaciones en este sitio sobre esto; véase, por ejemplo aquí , y aquí .

"Con este valor de P, la probabilidad de H1 / H0 debe ser 95/5 o 19." No, esto no es cierto porque, aproximadamente $p(y \mid H_1) \neq 1- p(y \mid H_0)$ . Calcular un valor p y realizar una prueba frecuente, como mínimo, no requiere que tengas ninguna idea sobre $p(y \mid H_1)$ . Además, los valores p a menudo son integrales / sumas de densidades / pmfs, mientras que un BF no se integra sobre el espacio de muestra de datos.

Taylor
fuente

H_{0}

$\text{H}_0$

H_{1}

$\text{H}_1$

p

$p$

1 - ({belief in H}_{1})

$1 - (\text{belief in H}_1)$

p

$p$

H_{1}

$\text{H}_1$

H_{0}

$\text{H}_0$

H_{0}

$\text{H}_0$

p

$p$

H_{1}

$\text{H}_1$

p

$p$

p

$p$

p

$p$

p

$p$

$B_{01}$

P_{01} = \frac{1}{1 + \frac{1}{B_{01}}}

$P_{01}=\frac{1}{1+\frac{1}{\large B_{01}}}$

p

$p$

$P_{01}$
su valor y rango dependen de la elección de la medida anterior, por lo tanto, son relativos en lugar de absolutos (y la mención de Taylor de la paradoja de Lindley-Jeffreys es apropiada en esta etapa )
$B_{01}$ $P_{01}$

$p$ $p$

Q_{01} = P (B_{01} (X) \leq B_{01} (x^{obs}))

$Q_{01}=\mathbb P(B_{01}(X)\le B_{01}(x^\text{obs}))$

x^{obs}

$x^\text{obs}$

X

$X$

X \sim \int_{Θ} f (x | θ) π (θ | x^{obs}) d θ

$X\sim \int_\Theta f(x|\theta) \pi(\theta|x^\text{obs})\,\text{d}\theta$

Xi'an
fuente

Usando su fórmula, P para BF de 3 y 10 resulta ser 0.75 y 0.91, respectivamente. ¿Por qué deberíamos aceptar esto como evidencia moderada ya que para el valor P mantenemos un límite de 0,95?

rnso

0.95

$0.95$

La fórmula parece más simple comoP = B/(B+1)

rnso

Parte de su confusión podría deberse a tomar el número 95/5 directamente del hecho de que el valor p es 0.05, ¿es esto lo que está haciendo? No creo que esto sea correcto. El valor p para una prueba t, por ejemplo, refleja la posibilidad de obtener la diferencia observada entre medias o una diferencia más extrema si la hipótesis nula es de hecho cierta. Si obtiene un valor p de 0.02, usted dice 'ah, solo hay un 2% de posibilidades de obtener una diferencia como esta, o una diferencia mayor, si el valor nulo es verdadero. Eso parece muy improbable, ¡así que propongo que lo nulo no sea cierto! '. Estos números simplemente no son lo mismo que entra en el factor de Bayes, que es la razón de las probabilidades posteriores dadas a cada hipótesis competitiva. Estas probabilidades posteriores no se calculan de la misma manera que el valor p,

Como nota al margen, sugeriría fuertemente evitar pensar en diferentes valores de BF como cosas particulares. Estas asignaciones son completamente arbitrarias, al igual que el nivel de significación .05. Problemas como p-hacking ocurrirán con la misma facilidad con Bayes Factors si la gente comienza a creer que solo números particulares merecen consideración. Intente comprenderlos por lo que son, que son algo así como probabilidades relativas, y use su propio sentido para determinar si encuentra un número BF de evidencia convincente o no.

Jamie
fuente