¿Cuándo falla la normalidad asintótica de la parte posterior bayesiana (Bernstein-von Mises)?

Considere la función de densidad posterior dada (como de costumbre) por

$$\pi(\theta) \prod_{i=1}^n f(x_i;\theta),$$ con densidad previa $\pi$ y distribución $f(\cdot;\theta)$ del $n$ observaciones $x_1, \dots, x_n$, condicional en el valor del parámetro $\theta$.

Bajo ciertas condiciones, la distribución posterior es asintóticamente normal (un resultado conocido como el teorema de Bernstein-von Mises, ver egvd Vaart, Asymptotic Statistics , Sección 10.2, para argumentos rigurosos, o Young & Smith, Essentials of Statistical Inference , Sección 9.12 , para una discusión informal).

¿Hay algún ejemplo (con suerte elemental) en el que la parte posterior bayesiana no sea asintóticamente normal? En particular, hay ejemplos donde

1. $\pi$ y $f$ son continuamente diferenciables con respecto a $\theta$?
2. $\pi(\theta) > 0$ para todos $\theta$?

Un ejemplo que noté en la literatura es que donde $X_1, \dots, X_n$ son variables aleatorias Cauchy independientes con parámetro de ubicación $\theta$. En este caso, con probabilidad positiva existen múltiples máximos locales de la función de verosimilitud (Ver Young y Smith, Ejemplo 8.3). Quizás esto puede presentar un problema en el teorema de B-vM aunque no estoy seguro.

Actualización: Las condiciones suficientes para BvM son (como se indica en vd Vaart, Sección 10.2):

• los datos se obtienen de la distribución con parámetro fijo $\theta_0$

• el experimento es "diferenciable en media cuadrática" en $\theta_0$ con matriz de información de Fisher no singular $I(\theta_0)$

• lo anterior es absolutamente continuo en una región alrededor $\theta_0$

• el modelo es continuo e identificable

• existe una prueba que separa $H_0 : \theta = \theta_0$ desde $H_1 : \|\theta -\theta_0\| \geq \varepsilon$ para algunos $\varepsilon > 0$

1. ¿El ejemplo de Cauchy contradice el teorema de Bernstein von-Mises?

No. El teorema de Bernstein von-Mises no es aplicable cuando la distribución conjunta no tiene un segundo momento diferenciable. Y, obviamente, las variables aleatorias conjuntas de Cauchy iid ni siquiera tienen un segundo momento finito. Esta condición requiere una suposición de energía limitada en la variedad Riemanniana definida por la métrica Rao-Fisher que no satisface Cauchys.

2. ¿Hay algún ejemplo (con suerte elemental) en el que la parte posterior bayesiana no sea asintóticamente normal? En particular, hay ejemplos donde $\pi,f$ son continuamente diferenciables con respecto a $\theta$? $\pi(\theta)>0$ para todos $\theta$?

Si. De hecho, podemos elegir un previo impropio (no informativo)$\pi\propto C_0$haciendo que la parte posterior también sea inadecuada. Por ejemplo$f\propto C_1$Es un ejemplo trivial. Un posterior incorrecto no puede ser normal. Por ejemplo, [Rubio & Steel] (14) proporcionó un ejemplo en el que Jeffereys antes conducía a un posterior incorrecto que no puede ser normal sin importar cuán grande sea el tamaño de la muestra.

Referencia

[Rubio & Steel] Rubio, Francisco J. y Mark FJ Steel. "Inferencia en modelos de escala de ubicación de dos piezas con antecedentes de Jeffreys". Análisis Bayesiano 9.1 (2014): 1-22.