¿Por qué utilizar una distribución beta en el parámetro Bernoulli para la regresión logística jerárquica?

Actualmente estoy leyendo el excelente libro de Kruschke "Doing Bayesian Data Analysis". Sin embargo, el capítulo sobre regresión logística jerárquica (Capítulo 20) es algo confuso.

La figura 20.2 describe una regresión logística jerárquica donde el parámetro de Bernoulli se define como la función lineal en los coeficientes transformados a través de una función sigmoidea. Esta parece ser la forma en que se plantea la regresión logística jerárquica en la mayoría de los ejemplos que he visto en otras fuentes en línea también. Por ejemplo: http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Sin embargo, cuando los predictores son nominales, agrega una capa en la jerarquía: el parámetro de Bernoulli ahora se extrae de una distribución beta (Figura 20.5) con parámetros determinados por mu y kappa, donde mu es la transformación sigmoidea de la función lineal de los coeficientes , y kappa usa un gamma previo.

Esto parece razonable y análogo al ejemplo de lanzamiento de monedas del capítulo 9, pero no veo qué tiene que ver tener predictores nominales con agregar una distribución beta. ¿Por qué no se haría esto en el caso de los predictores métricos y por qué se agregó la distribución beta para los predictores nominales?

EDITAR: Aclaración sobre los modelos a los que me refiero. Primero, un modelo de regresión logística con predictores métricos (sin beta anterior). Esto es similar a otros ejemplos de regresión logística jerárquica, como el ejemplo de errores anterior:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Luego el ejemplo con predictores nominales. Aquí es donde no entiendo el papel del nivel "inferior" de la jerarquía (que incorpora el resultado logístico en una versión beta anterior para un binomio) y por qué debería ser diferente al ejemplo métrico.

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

regression bayesian logistic multilevel-analysis usuario4733
fuente

Respuestas:

Los dos modelos que compara tienen muchas características extrañas, y creo que puede reformular su pregunta más claramente en el contexto de los siguientes dos modelos simplificados:

Modelo 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Modelo 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Sus preguntas son: (1) qué papel juega la distribución beta; y relacionado, (2) ¿cómo (si es que es) el Modelo 2 es diferente del Modelo 1?

$\mu_i$ $\mu_i$

\begin{matrix} pag (μ_{yo} El | y_{yo}) \propto μ_{yo}^{y_{yo}} (1 - μ_{yo})^{1 - y_{yo}} π (μ_{yo}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} pag (μ_{yo} El | y_{yo}, κ) & \propto \int_{0 0}^{1} \frac{θ_{yo}^{y_{yo} + μ_{yo} κ - 1} (1 - θ_{yo})^{κ (1 - μ_{yo}) - y_{yo}}}{si (κ μ_{yo}, κ (1 - μ_{yo}))} re θ π (μ_{yo}) \\ \propto \frac{si (y_{yo} + μ_{yo} κ, 1 - y_{yo} + κ (1 - μ_{yo})) π (μ_{yo})}{si (κ μ_{yo}, κ (1 - μ_{yo}))} \\ \propto μ_{yo}^{y_{yo}} (1 - μ_{yo})^{1 - y_{yo}} π (μ_{yo}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

Por lo tanto, cualquier ventaja obtenida al usar el Modelo 2 es computacional. Sobreparamizando los modelos jerárquicos, como la adición de $\theta_i$

jmtroos
fuente

La razón para extraer el parámetro Bernoulli de una distribución beta es que la beta está conjugada con el binomio. Usando un distribución previa conjugada permite una solución de forma cerrada para encontrar la posterior.

EDITAR: aclarando. Cualquiera de los modelos funcionará. Incluso con MCMC, es útil tener anteriores conjugados porque eso permite el uso de muestreadores especializados para varios tipos de distribuciones que son más eficientes que los muestreadores genéricos. Por ejemplo, consulte el manual de usuario de JAGS, sec. 4.1.1 y sec 4.2.

Jack Tanner
fuente

Puede que no haya suficiente contexto del libro en mi pregunta, pero estos análisis se realizan con el muestreo de Gibbs, por lo que no es necesaria una representación cerrada de la parte posterior. En el ejemplo que vinculé, el parámetro bernoulli no se fija como una distribución beta, sino que surge de una transformación sigmoidea de los predictores lineales, que normalmente tienen coeficientes distribuidos. Así es también como Kruschke presenta un ejemplo anterior (con predictores métricos) en el capítulo también (el parámetro de Bernoulli es solo la transformación sigmoidea de la función lineal con coeficientes normalmente distribuidos)

user4733

@ user4733 Jack Tanner tiene razón acerca de que beta es el conjugado antes de las muestras de bernoulli. Parece más que una coincidencia que haya sido elegido. Sí, puede estar haciendo un muestreo de Gibbs para obtener la distribución posterior, pero en un modelo jerárquico hay más de un previo involucrado y podría ser que esté poniendo un prior en un hiperparámetro (un parámetro para una familia de distribuciones anteriores. antes de la previa si se quiere en ese contexto, puede ser conveniente usar un conjugado antes Algunos de su descripción del libro es confundir a nosotros...

Michael R. Chernick

Estás tomando pequeños extractos que crean brechas en nuestra capacidad de entender lo que está sucediendo. Debes describir mejor el modelo y la jerarquía de priors para que podamos ayudarte (al menos para mí)>

Michael R. Chernick

Se agregaron algunas descripciones a los modelos jerárquicos a los que me refiero. Espero que ayude.

user4733