Regresión logística - Preocupaciones / dificultades multicolineales

16

En la regresión logística, ¿es necesario preocuparse tanto por la multicolinealidad como lo estaría en una regresión OLS directa?

Por ejemplo, con una regresión logística, donde existe multicolinealidad, ¿tendría que ser cauteloso (como lo haría en la regresión OLS) con la inferencia de los coeficientes Beta?

Para la regresión OLS, una "solución" a la alta multicolinealidad es la regresión de cresta, ¿hay algo así para la regresión logística? Además, descartar variables o combinar variables.

¿Qué enfoques son razonables para reducir los efectos de la multicolinealidad en una regresión logística? ¿Son esencialmente lo mismo que OLS?

(Nota: esto no es para el propósito de un experimento diseñado)

Brandon Bertelsen
fuente

Respuestas:

16

Los mismos principios relativos a la multicolinealidad se aplican a la regresión logística como a OLS. Se pueden usar los mismos diagnósticos que evalúan la multicolinealidad (por ejemplo, VIF, número de condición, regresiones auxiliares), y se pueden usar las mismas técnicas de reducción de dimensiones (como combinar variables mediante análisis de componentes principales).

Esta respuesta de chl lo llevará a algunos recursos y paquetes R para ajustar modelos logísticos penalizados (así como a una buena discusión sobre estos tipos de procedimientos de regresión penalizados). Pero algunos de sus comentarios sobre "soluciones" a la multicolinealidad son un poco desconcertantes para mí. Si solo le importa estimar relaciones para variables que no son colineales, estas "soluciones" pueden estar bien, pero si está interesado en estimar coeficientes de variables colineales, estas técnicas no resuelven su problema. Aunque el problema de la multicolinealidad es técnico porque su matriz de variables predictoras no puede invertirse, tiene un análogo lógico en el sentido de que sus predictores no son independientes y sus efectos no pueden identificarse de manera única.

Andy W
fuente
2
(+1) Sí, existen algunas versiones penalizadas de regresión logística (o más generalmente, GLMs), vea algunas referencias allí: stats.stackexchange.com/questions/4272/… .
chl
@chl, gracias. He actualizado para vincular a su respuesta anterior.
Andy W
Gracias también. Esto fue solo un comentario sobre su excelente respuesta.
chl