¿La intersección en una regresión logística captura los efectos no observados?

8

Teóricamente, ¿el término de intercepción en un modelo de regresión logística captura todos los efectos no observados?

En otras palabras, en un modelo de regresión logística con un ajuste perfecto (es decir, se incluyen todas las variables relevantes), el término de intercepción debe ser cero ¿verdad?

logistic intercept estudiante_de_vida
fuente

Respuestas:

6

Teóricamente, ¿el término de intercepción en un modelo de regresión logística captura todos los efectos no observados?

Esta es una pregunta interesante, y puedo ver cómo con algunos experimentos simples, uno podría pensar que este es el caso. De hecho, en mi primer intento de configurar esto, en realidad creé una demostración que solo estimaría incorrectamente la intercepción cuando especifiqué mal el modelo; de lo contrario, ¡todas las estimaciones de coeficientes estaban bien!

En una regresión OLS, el término de error es donde nos gustaría todos los efectos para los que no hemos tenido en cuenta ... pero si hay efectos para los que no hemos tenido en cuenta (es decir, el modelo está mal especificado) entonces tenderán a volver la cabeza en otras características del modelo, particularmente si existen relaciones confusas entre las variables. Esto también es cierto para todos los demás métodos de regresión convencionales: si el modelo está mal especificado, las estimaciones de los coeficientes no son confiables (pero tal vez las predicciones sean útiles o el modelo tenga algún otro propósito útil).

Por ejemplo, aquí hay un modelo binomial donde solo hay dos características y cierta dependencia entre ellas. Lo he manipulado de tal manera que los coeficientes deberían serPero si omitimos de la estimación del modelo, todos nuestros coeficientes se estiman incorrectamente, ¡y de manera salvaje!β0=10,β1=−5,β2=5.x2

set.seed(13)
N <- 100

inv_logit <- function(x){
    ifelse(x< -20, -20, x)
    out <- 1/(1+exp(-x))
    return(out)
}

x0 <- rep(1, N)
x1 <- rnorm(N)
x2 <- rnorm(N, mean=10+3*x1-0.5*x1^2)
zTransform <- cbind(x0, x1, x2)%*%c(-10,-5,1)
summary(zTransform)

yObs <- rbinom(N, size=1, prob=inv_logit(zTransform))

badModel <- glm(yObs~x1, family=binomial(link="logit"))
summary(badModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -0.1404     0.2327  -0.604    0.546    
x1           -1.3417     0.3041  -4.412 1.02e-05 ***

Pero si especificamos correctamente el modelo, recuperamos nuestros coeficientes, pero con algún error de estimación.

goodModel <- glm(yObs~x1+x2, family=binomial(link="logit"))
summary(goodModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -9.9512     2.9331  -3.393 0.000692 ***
x1           -4.8657     1.1918  -4.083 4.45e-05 ***
x2            0.9970     0.2948   3.382 0.000720 ***

En otras palabras, en un modelo de regresión logística con un ajuste perfecto (es decir, se incluyen todas las variables relevantes), el término de intercepción debe ser cero ¿verdad?

Por qué sería este el caso? Supongamos que está realizando una regresión logística y no tiene covariables; por ejemplo, su experimento está tirando un dado y cada 6 es un "éxito", y cualquier otro resultado es un fracaso (quizás esté haciendo un control de calidad para un casino). Si suponemos que los dados son justos, estimaría el coeficiente en un valor distinto de cero simplemente porque hay más resultados desfavorables que resultados favorables en sus datos.

Es importante entender que has hecho dos preguntas diferentes en tu publicación. La primera pregunta si la intersección captura efectos no modelados (¡no lo hace! ¡Todas las estimaciones de coeficientes son incorrectas cuando el modelo está mal especificado!) La segunda pregunta pregunta si la intersección debería ser cero, y la respuesta también es no, porque el término de intercepción está fijado por la relación de "éxitos" a "fracasos".

Sycorax dice reinstalar a Mónica
fuente
¡Gracias, su respuesta realmente ayudó mucho! Entonces, básicamente, los efectos no observados solo están encapsulados en la diferencia entre el valor máximo de probabilidad de ln (= 0) y la función de probabilidad de ln que tiene en cuenta todas las variables independientes, ¿verdad?
student_of_life
2
No entiendo tu pregunta. La especificación correcta del modelo incluye todas las características relevantes, lo cual es un pequeño dilema, porque el mundo es complicado y la explicación de todos los efectos es generalmente imposible. Los efectos omitidos pueden significar que las estimaciones de coeficientes son bastante incorrectas.
Sycorax dice Reinstate Monica
Como dijiste, dado que un modelo rara vez puede capturar todos los efectos, siempre se omitirán los efectos. Me preguntaba si se puede encontrar 'un indicador' dentro de un modelo estándar de regresión logística binaria que indique el tamaño de estos efectos omitidos.
student_of_life
No es que yo sepa: no puede ajustar datos que no tiene.
Sycorax dice Reinstate Monica
1
@student_of_life: Cualquier modelo de comparación métrico que se ajuste a un ajuste perfecto, el de un modelo que predice una probabilidad de éxito de 1 para todos los "éxitos" y 0 para todos los "fracasos", podría tomarse para indicar el tamaño de los efectos omitidos en un determinista universo.
Scortchi - Restablece a Monica
2

No estoy seguro si alguno modelo, incluso uno lineal, con un ajuste 'perfecto' implica que el término de intercepción debe ser 0. En estos casos, ayuda pensar en una regresión lineal simple. La forma en que entiendo la intercepción es que fija un valor razonable para la variable y. Simplemente muestra qué valor toma la variable y incluso si todas las x son 0. Debe haber una buena razón para pensar por qué debería ser 0. No creo que tenga nada que ver con los inobservables. En un modelo lineal, permite a) un mejor ajuste yb) asegura que los residuos sumen 1.

ChinG
fuente
1

en un modelo de regresión logística con un ajuste perfecto (es decir, se incluyen todas las variables relevantes), el término de intercepción debe ser cero ¿verdad?

No. La intersección captura la parte constante del peligro.

Aksakal
fuente
1

La intersección permite que el hiperplano lineal se mueva "de lado". Por ejemplo, en una dimensión mueve el sigmoide hacia la izquierda y hacia la derecha, cambiando efectivamente el lugar donde se activa la regresión.

Felipe Gerard
fuente