¿Tiene sentido utilizar la regresión logística con resultados binarios y predictores?

Tengo una variable de resultado binaria {0,1} y una variable predictora {0,1}. Creo que no tiene sentido hacer logística a menos que incluya otras variables y calcule la razón de posibilidades.

Con un predictor binario, ¿no sería suficiente el cálculo de probabilidad vs razón de probabilidades?

En este caso, puede contraer sus datos para donde es el número de instancias para e con . Supongamos que hay observaciones en general. Sijx=iy=ji,j∈{0,1}

$$\begin{array}{c|cc} X \backslash Y & 0 & 1 \\ \hline 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}$$ $S_{ij}$$x = i$$y =j$$i,j \in \{0,1\}$$n$

Si ajustamos el modelo (donde es nuestra función de enlace) nosotros ' Descubriré que es el logit de la proporción de éxitos cuando y es el logit de la proporción de éxitos cuando . En otras palabras, y g β 0 $p_i = g^{-1}(x_i^T \beta) = g^{-1}(\beta_0 + \beta_1 1_{x_i = 1})$$g$$\hat \beta_0$β 0 + β 1 x i = 1 β 0 = g ( S $x_i = 0$$\hat \beta_0 + \hat \beta_1$$x_i = 1$ β 0+ β 1=g(S

$$\hat \beta_0 = g\left(\frac{S_{01}}{S_{00} + S_{01}}\right)$$ $$\hat \beta_0 + \hat \beta_1 = g\left(\frac{S_{11}}{S_{10} + S_{11}}\right).$$

Vamos a ver esto es R.

n <- 54
set.seed(123)
x <- rbinom(n, 1, .4)
y <- rbinom(n, 1, .6)

tbl <- table(x=x,y=y)

mod <- glm(y ~ x, family=binomial())

# all the same at 0.5757576
binomial()$linkinv( mod$coef[1])
mean(y[x == 0])
tbl[1,2] / sum(tbl[1,])

# all the same at 0.5714286
binomial()$linkinv( mod$coef[1] + mod$coef[2])
mean(y[x == 1])
tbl[2,2] / sum(tbl[2,])

Entonces, los coeficientes de regresión logística son exactamente transformaciones de proporciones provenientes de la tabla.

El resultado es que ciertamente podemos analizar este conjunto de datos con una regresión logística si tenemos datos provenientes de una serie de variables aleatorias de Bernoulli, pero resulta que no es diferente a analizar directamente la tabla de contingencia resultante.

---

Quiero comentar por qué esto funciona desde una perspectiva teórica. Cuando estamos ajustando una regresión logística, estamos usando el modelo que . Luego decidimos modelar la media como una transformación de un predictor lineal en , o en los símbolos . En nuestro caso, solo tenemos dos valores únicos de y, por lo tanto, solo hay dos valores únicos de , digamos y . Debido a nuestra suposición de independencia, tenemos y $Y_i | x_i \stackrel{\perp}{\sim} \text{Bern}(p_i)$$x_i$$p_i = g^{-1}\left( \beta_0 + \beta_1 x_i\right)$$x_i$$p_i$$p_0$$p_1$

$$\sum \limits_{i : x_i = 0} Y_i = S_{01} \sim \text{Bin} \left(n_0, p_0\right)$$ $$\sum \limits_{i : x_i = 1} Y_i = S_{11} \sim \text{Bin} \left(n_1, p_1\right).$$ Tenga en cuenta cómo estamos usando el hecho de que , y a su vez y , no son aleatorios: si este no fuera el caso, entonces estos no serían necesariamente binomiales.$x_i$$n_0$$n_1$

Esto significa que

$$S_{01} / n_0 = \frac{S_{01}}{S_{00} + S_{01}} \to_p p_0 \hspace{2mm} \text{ and } \hspace{2mm} S_{11} / n_1 = \frac{S_{11}}{S_{10} + S_{11}} \to_p p_1.$$

La idea clave aquí: nuestros RV de Bernoulli son mientras que nuestros RV binomiales son , pero ambos tienen la misma probabilidad de éxito. Esa es la razón por la cual estas proporciones de la tabla de contingencia estiman lo mismo que una regresión logística a nivel de observación. No es solo una coincidencia con la tabla: es una consecuencia directa de los supuestos de distribución que hemos hecho.$Y_i | x_i = j \sim \text{Bern}(p_j)$$S_{j1} \sim \text{Bin}(n_j, p_j)$

Cuando tiene más de un predictor y todos los predictores son variables binarias, puede ajustar un modelo utilizando Regresión lógica [1] (tenga en cuenta que es "Lógica", no "Logística"). Es útil cuando cree que los efectos de interacción entre sus predictores son prominentes. Hay una implementación en R ( LogicRegpaquete).

[1] Ruczinski, I., Kooperberg, C. y LeBlanc, M. (2003). Regresión lógica Revista de estadística computacional y gráfica, 12 (3), 475-511.