Interpretación del área bajo la curva PR

10

Actualmente estoy comparando tres métodos y tengo la precisión, auROC y auPR como métricas. Y tengo los siguientes resultados:

Método A - acc: 0.75, auROC: 0.75, auPR: 0.45

Método B - acc: 0.65, auROC: 0.55, auPR: 0.40

Método C - acc: 0.55, auROC: 0.70, auPR: 0.65

Tengo una buena comprensión de la precisión y auROC (para recordar bien, a menudo trato de encontrar una oración como "auROC = caracterizar la capacidad de predecir bien la clase positiva", aunque no es exactamente correcto, me ayuda a recordar). Nunca antes había tenido datos de auPR y, aunque entiendo cómo están construidos, no puedo tener la "sensación" detrás de ellos.

De hecho, no entiendo por qué el método C tiene una puntuación increíblemente alta para auPR mientras es malo / promedio para la precisión y auPR.

Si alguien pudiera ayudarme a entenderlo un poco mejor con una explicación simple, sería realmente genial. Gracias.

machine-learning roc precision-recall AdrienNK
fuente

Respuestas:

11

Un eje de las curvas ROC y PR es el mismo, es decir, TPR: cuántos casos positivos se han clasificado correctamente de todos los casos positivos en los datos.

El otro eje es diferente. ROC utiliza FPR, que es la cantidad de positivos declarados erróneamente de todos los negativos en los datos. La curva PR usa precisión: cuántos positivos verdaderos de todos los que se han predicho como positivos. Entonces la base del segundo eje es diferente. ROC usa lo que hay en los datos, PR usa lo que está en la predicción como base.

Se cree que la curva PR es más informativa cuando hay un desequilibrio de clase alta en los datos, consulte este documento http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .

inzl
fuente
1
Para el auROC 0.5 es el mínimo (porque menos sería mejor invirtiendo la predicción). ¿Hay algunas reglas similares con el auPR? También con respecto a mis mediciones: ¿qué podría afirmar mirando las puntuaciones del Método C? Debido a que estoy trabajando con el mismo conjunto de datos en los 3 casos y desde mi punto de vista para un conjunto de datos con una distribución más o menos uniforme entre las clases, no tendría sentido que auROC y auPR no sigan la misma clasificación para mi métodos.
AdrienNK
1
¿Cuál es la puntuación del clasificador aleatorio en auPR? Sé que es 0,5 en auROC pero no puedo saberlo en auPR.
Jack Twain
99
El puntaje esperado de auPR para un clasificador aleatorio es solo la proporción de casos positivos verdaderos en el conjunto de datos. Esa es la precisión que esperaría si adivinara la clase, y obtendría esa precisión para todos los niveles de recuperación. Por lo tanto, la curva PR esperada para un clasificador aleatorio es solo un rectángulo con la longitud de los lados "proporción de positivos verdaderos" x 1. Por ejemplo, si su conjunto de datos contiene 10% de casos positivos y 90% de casos negativos, el auPR esperado bajo probabilidad es 0.1.
Lizzie Silver