Ejemplo para un previo, que a diferencia de Jeffreys, conduce a un posterior que no es invariante

Estoy volviendo a publicar una "respuesta" a una pregunta que hice hace unas dos semanas aquí: ¿Por qué es útil el Jeffreys anterior? Sin embargo, realmente era una pregunta (y tampoco tenía derecho a publicar comentarios en ese momento), así que espero que esté bien hacer esto:

En el enlace anterior se discute que la característica interesante de Jeffreys antes es que, al volver a parametrizar el modelo, la distribución posterior resultante da probabilidades posteriores que obedecen las restricciones impuestas por la transformación. Digamos, como se discutió allí, cuando se pasa de la probabilidad de éxito $\theta$ en el ejemplo de Beta-Bernoulli a las probabilidades , debería darse el caso de que la posterior satisfaga .$\psi=\theta/(1-\theta)$$P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$

Quería crear un ejemplo numérico de invariancia de Jeffreys antes de transformar en odds , y, lo que es más interesante, la falta de otros priors (digamos, Haldane, uniformes o arbitrarios).$\theta$$\psi$

Ahora, si el posterior para la probabilidad de éxito es Beta (para cualquier Beta anterior, no solo Jeffreys), el posterior de las probabilidades sigue una distribución Beta del segundo tipo (ver Wikipedia) con los mismos parámetros . Entonces, como se destaca en el ejemplo numérico a continuación, no es demasiado sorprendente (al menos para mí) que haya invariancia para cualquier elección de Beta anterior (jugar con alpha0_Uy beta0_U), no solo Jeffreys, cf. La salida del programa.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Esto me lleva a las siguientes preguntas:

1. ¿Me equivoco?
2. Si no, ¿hay un resultado como que no haya falta de invariancia en las familias conjugadas, o algo así? (La inspección rápida me lleva a sospechar que, por ejemplo, tampoco podría producir falta de invariancia en el caso normal-normal).
3. ¿Usted conoce a un ejemplo (preferentemente sencilla) en la que hacemos llegar falta de invariancia?

Su cálculo parece estar verificando que, cuando tenemos una distribución previa particular los siguientes dos procedimientos$p(\theta)$

1. Calcule la p posterior θ ∣ D ( θ ∣ D )$p_{\theta \mid D}(\theta \mid D)$
2. Transforme la parte posterior mencionada en la otra parametrización para obtener $p_{\psi \mid D}(\psi \mid D)$

y

1. $p_\theta(\theta)$$p_\psi(\psi)$
2. $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$

Sin embargo, este no es el punto de la invariancia en cuestión. En cambio, la pregunta es si, cuando tenemos un Método particular para decidir el Prior, los siguientes dos procedimientos:

1. $p_\theta(\theta)$
2. $p_\psi(\psi)$

y

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$

$\theta$$\psi$$\psi$

Parece que está verificando que las probabilidades inducidas por los datos no se ven afectadas por la parametrización, que no tiene nada que ver con lo anterior.

Si su forma de elegir priors es, por ejemplo, "elegir el uniforme anterior", entonces lo que es uniforme bajo una parametrización (digamos Beta, es decir Beta (1,1)) no es uniforme bajo otro, digamos, BetaPrime (1,1 ) (que está sesgado): es BetaPrime (1, -1) es uniforme si existe tal cosa.

El Jeffreys prior es la única "forma de elegir los prior" que es invariable bajo reparametrización. Por lo tanto, es menos suposible que cualquier otra forma de elegir priors.