¿Cuál es la relación detrás de Jeffreys Priors y una transformación estabilizadora de la varianza?

Estaba leyendo acerca de Jeffreys antes en la wikipedia: Jeffreys Prior y vi que después de cada ejemplo, describe cómo una transformación estabilizadora de la varianza convierte a Jeffreys prior en un uniforme previo.

Como ejemplo, para el caso de Bernoulli, establece que para una moneda con cara de probabilidad , el modelo de prueba de Bernoulli arroja que Jeffreys antes del parámetro es:$\gamma \in [0,1]$$\gamma$

$$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$$

Luego declara que esta es una distribución beta con . También establece que si , entonces el Jeffreys anterior para es uniforme en el intervalo .$\alpha = \beta = \frac{1}{2}$$\gamma = \sin^2(\theta)$$\theta$$\left[0, \frac{\pi}{2}\right]$

Reconozco la transformación como la de una transformación estabilizadora de la varianza. Lo que me confunde es:

1. ¿Por qué una transformación estabilizadora de varianza daría como resultado un previo uniforme?

2. ¿Por qué querríamos un uniforme antes? (ya que parece que puede ser más susceptible a ser inadecuado)

En general, no estoy muy seguro de por qué se da la transformación de seno cuadrado y qué papel juega. ¿Alguien tendría alguna idea?

El Jeffreys anterior es invariante bajo reparametrización. Por esa razón, muchos bayesianos lo consideran un "previo no informativo". (Hartigan demostró que hay un espacio completo de tales antecedentes para donde es el previo de Jeffreys y$J^\alpha H^\beta$$\alpha + \beta=1$$J$ es el previo asintóticamente local invariante de Hartigan. -Distribuciones anteriores invariantes) $H$

Es una falsedad que se repite a menudo que el previo uniforme no es informativo, pero después de una transformación arbitraria de sus parámetros, y un previo uniforme en los nuevos parámetros significa algo completamente diferente. Si un cambio arbitrario de parametrización afecta su previo, entonces su previo es claramente informativo.

1. Usar los Jeffrey es, por definición , equivalente a usar un plano antes de aplicar la transformación estabilizadora de la varianza.

2. Desde un punto de vista matemático, el uso de Jeffreys antes y el uso de un previo plano después de aplicar la transformación estabilizadora de varianza son equivalentes. Desde el punto de vista humano, este último es probablemente mejor porque el espacio de parámetros se vuelve "homogéneo" en el sentido de que las diferencias son todas iguales en todas las direcciones, sin importar dónde se encuentre en el espacio de parámetros.

Considere su ejemplo de Bernoulli. ¿No es un poco extraño que una calificación del 99% en una prueba sea la misma distancia al 90% que el 59% al 50%? Después de su transformación estabilizadora de varianza, el par anterior está más separado, como deberían estar. Coincide con nuestra intuición sobre distancias reales en el espacio. (Matemáticamente, la transformación estabilizadora de la varianza está haciendo que la curvatura de la pérdida logarítmica sea igual a la matriz de identidad).

La página de Wikipedia que proporcionó no usa realmente el término "transformación estabilizadora de la varianza". El término "transformación estabilizadora de la varianza" se usa generalmente para indicar transformaciones que hacen que la varianza de la variable aleatoria sea una constante. Aunque en el caso de Bernoulli, esto es lo que está sucediendo con la transformación, ese no es exactamente el objetivo. El objetivo es obtener una distribución uniforme, y no solo una variación estabilizadora.

Recuerde que uno de los propósitos principales de usar Jeffreys antes es que es invariante bajo transformación. Esto significa que si vuelve a parametrizar la variable, lo anterior no cambiará.

1)

Los Jeffreys anteriores, en este caso de Bernoulli, como usted ha señalado, es un beta . p γ ( γ ) ∝ $(1/2, 1/2)$

$$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$$

Reparametrizando con , podemos encontrar la distribución de θ . Primero veamos que θ = arcsin ( $\gamma = \sin^2(\theta)$$\theta$, y desde0<γ<1,0<θ<π/2. Recuerde quesin2(x)+cos2(x)=1. F θ ( x $\theta = \arcsin(\sqrt{\gamma})$$0 < \gamma < 1$$0 < \theta < \pi/2$$\sin^2(x) + \cos^2(x) = 1$

$$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$$

$\theta$$(0, \pi/2)$$\sin^2(\theta)$$\theta$

2)

$$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$$

If the transformation is such that the transformed space is bounded, (like $(0, \pi/2)$ in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.