¿Cuál es un buen AUC para una curva de recuperación de precisión?

Debido a que tengo un conjunto de datos muy desequilibrado (resultados positivos del 9%), decidí que una curva de recuerdo de precisión era más apropiada que una curva ROC. Obtuve la medida de resumen análoga del área bajo la curva PR (.49, si está interesado) pero no estoy seguro de cómo interpretarla. He escuchado que .8 o superior es lo que es un buen AUC para ROC, pero ¿serían los límites generales para el AUC para una curva de recuperación de precisión?

No hay un corte mágico para AUC-ROC o AUC-PR. Mayor es obviamente mejor, pero depende completamente de la aplicación.

Por ejemplo, si pudiera identificar con éxito inversiones rentables con un AUC de 0.8 o, para el caso, cualquier cosa distinguible del azar, estaría muy impresionado y usted sería muy rico. Por otro lado, clasificar los dígitos escritos a mano con un AUC de 0.95 todavía está sustancialmente por debajo del estado actual de la técnica.

Además, aunque se garantiza que el mejor AUC-ROC posible está en [0,1], esto no es cierto para las curvas de recuperación de precisión porque puede haber áreas "inalcanzables" del espacio PR, dependiendo de cuán sesgadas estén las distribuciones de clase. (Ver este documento de Boyd et al (2012) para más detalles).

.49 no es excelente, pero su interpretación es diferente de la AUC ROC. Para ROC AUC, si obtuviera un .49 utilizando un modelo de regresión logística, diría que no le está yendo mejor que al azar. Para .49 PR AUC, sin embargo, podría no ser tan malo. Consideraría observar la precisión individual y recordar, tal vez uno u otro es lo que está disminuyendo su AUC PR. Recordar le dirá cuánto de esa clase de 9% positivo realmente está adivinando correctamente. La precisión le dirá cuántos adivinó que no eran positivos. (Falsos positivos). El 50% de recuerdo sería malo, lo que significa que no está adivinando muchos de los desequilibrados de su clase, pero quizás el 50% de precisión no sería malo. Depende de tu situación.

Un estimador aleatorio tendría un PR-AUC de 0.09 en su caso (9% de resultados positivos), por lo que su 0.49 es definitivamente un aumento sustancial.

Si este es un buen resultado, solo podría evaluarse en comparación con otros algoritmos, pero no proporcionó detalles sobre el método / datos que utilizó.

Además, es posible que desee evaluar la forma de su curva PR. Una curva PR ideal va desde la esquina superior izquierda horizontalmente a la esquina derecha y directamente hacia la esquina inferior derecha, lo que da como resultado un PR-AUC de 1. En algunas aplicaciones, la curva PR muestra en su lugar un fuerte pico al principio para rápidamente vuelva a caer cerca de la "línea del estimador aleatorio" (la línea horizontal con precisión de 0.09 en su caso). Esto indicaría una buena detección de resultados positivos "fuertes", pero un desempeño deficiente en los candidatos menos claros.

Si desea encontrar un buen umbral para el parámetro de corte de su algoritmo, puede considerar el punto en la curva PR más cercano a la esquina superior derecha. O incluso mejor, considere la validación cruzada si es posible. Puede lograr valores de precisión y recuperación para un parámetro de corte específico que son más interesantes para su aplicación que el valor del PR-AUC. Las AUC son más interesantes al comparar diferentes algoritmos.