¿Cómo interpretar una curva ROC?

Apliqué la regresión logística a mis datos en SAS y aquí están la curva ROC y la tabla de clasificación.

Me siento cómodo con las figuras en la tabla de clasificación, pero no estoy exactamente seguro de lo que muestran la curva roc y el área debajo de ella. Cualquier explicación sería muy apreciada.

Cuando haces una regresión logística, se te dan dos clases codificadas como y . Ahora, calcula las probabilidades de que, dado algunos varialbes explicativos, un individuo pertenezca a la clase codificada como . Si ahora elige un umbral de probabilidad y clasifica a todas las personas con una probabilidad mayor que este umbral como clase e inferior como0 1 1 $1$$0$$1$$1$$0$, en la mayoría de los casos cometerá algunos errores porque, por lo general, dos grupos no pueden discriminarse perfectamente. Para este umbral, ahora puede calcular sus errores y la llamada sensibilidad y especificidad. Si hace esto para muchos umbrales, puede construir una curva ROC trazando la sensibilidad contra 1-Especificidad para muchos umbrales posibles. El área debajo de la curva entra en juego si desea comparar diferentes métodos que intentan discriminar entre dos clases, por ejemplo, análisis discriminante o un modelo probit. Puede construir la curva ROC para todos estos modelos y el que tenga el área más alta debajo de la curva puede verse como el mejor modelo.

Si necesita obtener una comprensión más profunda, también puede leer la respuesta de una pregunta diferente con respecto a las curvas ROC haciendo clic aquí.

El AUC básicamente le dice con qué frecuencia un sorteo aleatorio de sus probabilidades de respuesta pronosticadas en sus datos etiquetados con 1 será mayor que un sorteo aleatorio de sus probabilidades de respuesta pronosticadas en sus datos con etiquetas 0.

El modelo de regresión logística es un método de estimación de probabilidad directa. La clasificación no debe desempeñar ningún papel en su uso. Cualquier clasificación no basada en la evaluación de los servicios públicos (función de pérdida / costo) en sujetos individuales es inapropiada, excepto en emergencias muy especiales. La curva ROC no es útil aquí; tampoco lo son la sensibilidad o la especificidad que, al igual que la precisión de clasificación general, son reglas de puntuación de precisión inadecuadas que están optimizadas por un modelo falso no ajustado por la estimación de máxima verosimilitud.

Tenga en cuenta que logra una alta discriminación predictiva (alto índice (área ROC)) al sobreajustar los datos. Quizás necesite al menos observaciones en la categoría menos frecuente de , donde es el número de predictores candidatos que se están considerando, para obtener un modelo que no esté sobreajustado significativamente [es decir, un modelo que probablemente funcione en nuevos datos casi tan bien como funcionó en los datos de entrenamiento]. Necesita al menos 96 observaciones solo para estimar la intersección de manera que el riesgo predicho tenga un margen de error con una confianza de 0.95.15 p Y p ≤ $c$$15p$$Y$$p$$\leq 0.05$

No soy el autor de este blog y me pareció extremadamente útil: http://fouryears.eu/2011/10/12/roc-area-under-the-curve-explained

Aplicando esta explicación a sus datos, el ejemplo positivo promedio tiene alrededor del 10% de ejemplos negativos con puntajes más altos.