¿Tiene que adherirse al principio de probabilidad de ser bayesiano?

Esta pregunta se deriva de la pregunta: ¿ cuándo (si alguna vez) es un enfoque frecuentista sustancialmente mejor que un bayesiano?

Como publiqué en mi solución a esa pregunta, en mi opinión, si usted es un frecuentista, no tiene que creer / adherirse al principio de probabilidad, ya que a menudo los métodos frecuentados por el tiempo lo violarán. Sin embargo, y esto generalmente se da por supuesto que los anteriores son apropiados, los métodos bayesianos nunca violan el principio de probabilidad.

Entonces, decir que usted es bayesiano, ¿eso confirma su creencia o acuerdo en el principio de probabilidad, o es el argumento de que ser bayesiano tiene la buena consecuencia de que el principio de probabilidad no se viola?

Al usar el Teorema de Bayes para calcular las probabilidades posteriores que constituyen la inferencia sobre los parámetros del modelo, el principio de probabilidad débil se adhiere automáticamente a:

$$\mathrm{posterior} \propto \mathrm{prior} \times \mathrm{likelihood}$$

Sin embargo, en algún enfoque bayesiano objetivo, el esquema de muestreo determina la elección de prior, siendo la motivación que no es informativa prior debería maximizar la divergencia entre las distribuciones anteriores y posteriores, permitiendo que los datos tengan tanta influencia como sea posible. Por lo tanto, violan el fuerte principio de probabilidad.

Los antecedentes de Jeffreys, por ejemplo, son proporcionales a la raíz cuadrada del determinante de la información de Fisher, una expectativa sobre el espacio muestral. Considere la inferencia sobre el parámetro de probabilidad de los ensayos de Bernoulli bajo muestreo binomial y binomial negativo. Los anteriores de Jeffreys son$\pi$

$$\def\Pr{\mathop{\rm Pr}\nolimits} \begin{align} \Pr_\mathrm{NB}(\pi) &\propto \pi^{-1} (1-\pi)^{-\tfrac{1}{2}}\\ \Pr_\mathrm{Bin}(\pi) &\propto \pi^{-\tfrac{1}{2}} (1-\pi)^{-\tfrac{1}{2}} \end{align}$$

$x$$n$

$$\begin{align} \Pr_\mathrm{NB}(\pi \mid x,n) \sim \mathrm{Beta}(x, n-x+\tfrac{1}{2})\\ \Pr_\mathrm{Bin}(\pi \mid x,n)\sim \mathrm{Beta}(x+\tfrac{1}{2}, n-x+\tfrac{1}{2}) \end{align}$$

Entonces, observar que 1 éxito de 10 ensayos conduciría a distribuciones posteriores bastante diferentes bajo los dos esquemas de muestreo:

Aunque seguir tales reglas para derivar antecedentes no informativos a veces puede dejarlo con antecedentes inadecuados, eso en sí mismo no es la raíz de la violación del principio de probabilidad que conlleva la práctica. Una aproximación a los Jeffreys anteriores,$\pi^{-1+c} (1-\pi)^{-1/2}$, dónde $0 < c\ll 1$, es bastante apropiado y hace una diferencia insignificante en la parte posterior.

También puede considerar la verificación del modelo, o hacer cualquier cosa como resultado de sus controles, como contrario al principio de probabilidad débil; un caso flagrante de usar la parte auxiliar de los datos.