Dado un conjunto de datos con resultados binarios algunas matrices de predicción , el modelo de regresión logística estándar estima los coeficientes que maximizan la probabilidad binomial. Cuando X es rango completo, \ beta_ {MLE} es único; cuando la separación perfecta no está presente, es finita.
¿Este modelo de máxima verosimilitud también maximiza el AUC ROC (también conocido como estadística), o existe algún coeficiente estimado que obtendrá un AUC ROC más alto? Si es cierto que el MLE no necesariamente maximiza el AUC ROC, entonces otra forma de ver esta pregunta es "¿Existe una alternativa a la maximización de probabilidad que siempre maximizará el AUC ROC de una regresión logística?"
Supongo que los modelos son iguales: no estamos agregando o eliminando predictores en , o cambiando la especificación del modelo, y supongo que los modelos de maximización de probabilidad y maximización de AUC están utilizando la misma función de enlace.
fuente
Respuestas:
No es el caso de queβMLE=βAUC .
Para ilustrar esto, considere que AUC puede escribirse como
En otras palabras, el orden de las predicciones es lo único que afecta a las AUC . Este no es el caso con la función de probabilidad. Entonces, como ejercicio mental, supongamos que tenemos un solo predictor y en nuestro conjunto de datos, no vemos una separación perfecta (es decir,βMLE es finito). Ahora, si simplemente tomamos el valor del predictor más grande y lo incrementamos en una pequeña cantidad, cambiaremos la probabilidad de esta solución, pero no cambiará el AUC, ya que el orden debería seguir siendo el mismo. Por lo tanto, si el antiguo MLE maximiza el AUC, seguirá maximizando el AUC después de cambiar el predictor, pero ya no maximizará la probabilidad.
Por lo tanto, como mínimo, no es el caso de queβAUC no sea único; cualquier β que conserva el orden de las estimaciones logra exactamente el mismo AUC. En general, ya que el AUC es sensible a los diferentes aspectos de los datos, yo creo que debemos ser capaces de encontrar un caso en el que βMLE no maximiza βAUC . De hecho, me aventuraría a suponer que esto sucede con alta probabilidad.
EDITAR (mover comentario a respuesta)
El siguiente paso es demostrar que el MLE no necesariamente maximiza el AUC (que aún no se ha probado). Uno puede hacer esto tomando algo como los predictores 1, 2, 3, 4, 5, 6,x (con x>6 ) con resultados 0, 0, 0, 1, 1, 1, 0. Cualquier valor positivo de β será maximizar el AUC (independientemente del valor de x ), pero podemos elegir una x suficientemente grande como para que βMLE<0 .
fuente