¿Por qué la regresión logística está bien calibrada y cómo arruinar su calibración?

En los documentos de aprendizaje de scikit sobre calibración de probabilidad, comparan la regresión logística con otros métodos y observan que el bosque aleatorio está menos calibrado que la regresión logística.

¿Por qué la regresión logística está bien calibrada? ¿Cómo podría uno arruinar la calibración de una regresión logística (no es que uno quisiera hacerlo, solo como un ejercicio)?

Aunque esta pregunta y su primera respuesta parecen centrarse en cuestiones teóricas de la calibración del modelo de regresión logística, la cuestión de:

¿Cómo podría uno arruinar la calibración de una regresión logística ...?

merece cierta atención con respecto a las aplicaciones del mundo real, para futuros lectores de esta página. No debemos olvidar que el modelo de regresión logística debe estar bien especificado y que este problema puede ser particularmente problemático para la regresión logística.

Primero, si las probabilidades de registro de la pertenencia a una clase no están relacionadas linealmente con los predictores incluidos en el modelo, entonces no estarán bien calibrados. El capítulo 10 de Harrell sobre Regresión logística binaria dedica unas 20 páginas a la "Evaluación del ajuste del modelo" para que uno pueda aprovechar la "imparcialidad asintótica del estimador de máxima verosimilitud", como lo expresó @whuber.

En segundo lugar, la especificación del modelo es un problema particular en la regresión logística, ya que tiene un sesgo variable omitido inherente que puede ser sorprendente para aquellos con antecedentes en regresión lineal ordinaria. Como dice esa página:

Las variables omitidas sesgarán los coeficientes de las variables incluidas, incluso si las variables omitidas no están correlacionadas con las variables incluidas.

Esa página también tiene una explicación útil de por qué es de esperar este comportamiento, con una explicación teórica para modelos probit relacionados, analíticamente manejables. Entonces, a menos que sepa que ha incluido todos los predictores relacionados con la membresía de la clase, en la práctica puede encontrarse con peligros de especificación errónea y calibración deficiente.

Con respecto a la especificación del modelo, es muy posible que los métodos basados ​​en árboles como el bosque aleatorio, que no asumen linealidad en un rango completo de valores de predictores e inherentemente brinden la posibilidad de encontrar e incluir interacciones entre predictores, terminen con un mejor rendimiento. modelo calibrado en la práctica que un modelo de regresión logística que no tiene suficientemente en cuenta los términos de interacción o la no linealidad. Con respecto al sesgo de variables omitidas, no me queda claro si algún método para evaluar las probabilidades de pertenencia a una clase puede abordar ese problema adecuadamente.

La regresión logística es un método de clasificación que básicamente aprende una función de probabilidad sobre el espacio de entrada ajustando los parámetros . Si las probabilidades predichas se aprenden con la función de pérdida apropiada, entonces la regresión logística tiene el potencial de aprender una estimación imparcial de las probabilidades de eventos binarios, siempre que tenga capacidad suficiente (características de entrada).$\pi_\theta(x)$$\theta$

La pérdida de registro permite tal estimación imparcial. Considere el hecho de que la función de pérdida de registro es simplemente la probabilidad de registro negativa de una distribución de Bernoulli . La estimación de máxima verosimilitud para es imparcial dado un conjunto de observaciones para la variable . En el caso de la clasificación sobre algún espacio de entrada , uno puede imaginar tener una distribución de Bernoulli para todos los puntos en . Muy a menudo, solo tendrá 1 observación por distribución de Bernoulli, que se encuentra en . Aplicación conjunta de la estimación de máxima verosimilitud para todas las distribuciones de Bernoulli observadas$z \thicksim \text{Ber}(p)$$p$$z$$\mathcal{X}$$\mathcal{X}$$y_i$$x_i$$y_i \thicksim \text{Ber}(\pi(x_i))$aplicará varias restricciones a . Dado que todas estas restricciones conducen a estimaciones imparciales, y siempre que la función sea ​​lo suficientemente flexible como para ajustarse a la verdadera función de probabilidad subyacente , el procedimiento de aprendizaje es consistente y convergerá al modelo óptimo a medida que obtenga Más datos. Por lo tanto, limitar la capacidad del modelo (menos características, por ejemplo) puede dificultar la calibración de una regresión logística al aumentar la distancia entre el mejor modelo que se puede aprender y el modelo verdadero.$\pi_\theta$$\pi_\theta$$\pi^*$

Usar un modelo de observación incorrecto con la regresión logística conducirá a probabilidades no calibradas. Modelar eventos binarios con una distribución normal es inapropiado y no debe usarse en combinación con regresión logística. La función de pérdida correspondiente al modelo de observación de distribución normal es el error cuadrático medio. Por lo tanto, el uso de una pérdida de MSE dificultaría su calibración.