¿Existe una suposición sobre regresión logística?

¿Existe alguna suposición sobre la variable de respuesta de regresión logística?

Por ejemplo, supongamos que tenemos puntos de datos. Parece que la respuesta proviene de una distribución de Bernoulli con . Por lo tanto, deberíamos tener distribuciones de Bernoulli, con diferentes parámetros . $1000$ $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

Por lo tanto, son "independientes", pero no son "idénticos".

Estoy en lo cierto?

PD. Aprendí la regresión logística de la literatura de "aprendizaje automático", donde optimizamos la función objetivo y verificamos si es buena para probar datos, sin hablar demasiado de suposiciones.

Mi pregunta comenzó con esta publicación Comprender la función de enlace en el modelo lineal generalizado donde trato de aprender más sobre supuestos estadísticos.

regression logistic assumptions iid Haitao Du
fuente

Una "suposición" es algo que puede tener un teorema. La regresión lineal tiene una "suposición" de los errores de iid (¡no se supone que

y

$y$ es iid en la regresión lineal! Son los errores) en el sentido de que el teorema de Gauss-Markov tiene esta suposición. Ahora, ¿hay algún teorema de que uno tiene una mente para la regresión logística? Si no, entonces no hay "suposiciones".

ameba dice Reinstate Monica

@Amoeba, hxd es correcto al señalar que las distribuciones no son idénticas: "iid" no se aplica. Si uno usa la regresión logística solo para su ajuste, entonces (mientras escribe) tal vez se necesiten algunas suposiciones; pero tan pronto como se hace uso de la matriz de covarianza estimada de los coeficientes o se desea construir intervalos de predicción (o, para el caso, validar de forma cruzada los valores pronosticados), eso requiere suposiciones probabilísticas. La habitual es que las respuestas son independientes.

whuber

@amoeba, una vez que desee realizar inferencia (pruebas de hipótesis, intervalos de confianza, etc.) en lugar de simplemente calcular estimaciones de parámetros, hará una serie de suposiciones (algunas más críticas que otras) para poder derivar la distribución nula relevante de prueba estadística o los cálculos necesarios para un intervalo con la cobertura deseada. Incluso los procedimientos de suposición relativamente baja todavía tienen suposiciones, y si nos preocupamos por nuestras inferencias, nos preocuparemos por si es probable que tengan algo cerca de sus propiedades nominales.

Glen_b -Reinstala a Monica

@amoeba, me gusta un teorema que muestra la normalidad asintótica del MLE. También me gusta la prueba de razón de probabilidad.

Gammer

Sus distribuciones marginales no son idénticas a menos que todas tengan el mismo valor predictor, en cuyo caso solo tiene pruebas de IID bernoulli. Sus distribuciones condicionales (dado el predictor) son todas iguales, pero no creo que normalmente diga que

en este caso son IID.

Y_{i}

$Y_i$

Gammer

Respuestas:

Desde su pregunta anterior aprendió que GLM se describe en términos de distribución de probabilidad, lineal predictor y la función de enlace y se describe como $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

donde es una función de enlace logit y se supone que sigue una distribución de Bernoulli $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

cada sigue distribución de Bernoulli con el mismo de la propia media que está condicionada a . Estamos no Suponiendo que cada viene de la misma distribución, con la misma media (esto sería la intersección-único modelo ), pero que todos ellos tienen diferentes medios. Suponemos que los son independientes , es decir, no tenemos que preocuparnos por cosas como la autocorrelación entre los valores posteriores , etc. $Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

La suposición de iid está relacionada con errores en la regresión lineal (es decir, GLM gaussiana), donde el modelo es

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

donde , por lo que tenemos ruido iid alrededor de . Es por esto que está interesado en residuales diagnóstico y prestar atención a los residuos vs. equipada trama . Ahora, en el caso de la regresión logística de GLM, no es tan simple ya que no existe un término de ruido aditivo como con el modelo gaussiano (ver aquí , aquí y aquí ). Todavía queremos que los residuos sean "aleatorios" alrededor de cero y no queremos ver ninguna tendencia en ellos porque sugerirían que hay algunos efectos que no se tienen en cuenta en el modelo, pero no asumimos que lo sean. normal y / o $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ IID . Ver también la importancia del supuesto iid en el hilo de aprendizaje estadístico .

Como nota al margen, tenga en cuenta que incluso podemos dejar de suponer que cada proviene del mismo tipo de distribución. Hay (no-GLM) modelos que asumen que diferente 's puede tener diferentes distribuciones con diferentes parámetros, es decir, que sus datos proviene de una mezcla de diferentes distribuciones . En tal caso, también supondríamos que los valores son independientes , ya que los valores dependientes, que provienen de diferentes distribuciones con diferentes parámetros (es decir, datos típicos del mundo real) es algo que en la mayoría de los casos sería demasiado complicado de modelar (a menudo imposible) . $Y_i$ $Y_i$ $Y_i$

Tim
fuente

Como se ha dicho, si bien a menudo consideramos el caso de los errores de iid en la regresión lineal, esto no tiene un equivalente directo en la mayoría de los modelos lineales generalizados (incluida la regresión logística). En la regresión logística, generalmente empleamos el supuesto de independencia de los resultados que tienen una relación muy estricta (es decir, efectos lineales en las probabilidades de registro). Pero estos resultan en variables aleatorias que no son idénticas, ni se pueden descomponer en un término constante más un error de iid como es el caso de la regresión lineal.

Si realmente quieres mostrar que las respuestas tienen algún tipo de relación iid, sígueme para el siguiente párrafo. Solo sé que esta idea está un poco fuera de lo común; es posible que no obtenga crédito completo por esta respuesta en una final si a su profesor le falta paciencia.

$X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ $Y_i$

$p_i = \text{expit}(\beta_o + \beta_1 x_i)$

$q_i \sim\text{uniform(0,1)}$

$Y_i = F^{-1}(q_i | p_i)$

$q_i$

Acantilado
fuente

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@Tim: sí, la segunda parte de la respuesta es más una nota al margen interesante que una respuesta concisa. Pero puede ser una forma útil de verlo; después de todo, ¡así es básicamente cómo su computadora simula datos de estos modelos!

Cliff AB