Comparación de dos modelos cuando las curvas ROC se cruzan

13

Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un AUC más pequeño. Pero, según Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ), cuando ambas curvas se cruzan entre sí, dicha comparación ya no es válida. ¿Por que es esto entonces?

Por ejemplo, ¿qué se podría determinar acerca de los modelos A, B y C basados ​​en las curvas ROC y AUC debajo?

ingrese la descripción de la imagen aquí

machine-learning classification roc auc model-evaluation Edu
fuente

Respuestas:

19

Una curva ROC visualiza TPR y FPR para todos los umbrales posibles .

  • Si traza dos curvas ROC 'A' y 'B' y no se cruzan entre sí, entonces uno de sus clasificadores claramente se desempeña mejor, porque para todos los valores FPR posibles obtiene un TPR más alto. Obviamente, el área bajo el ROC también será mayor.

  • Ahora, si se cruzan , entonces hay un punto donde FPR y TPR son iguales para ambas curvas 'A' y 'B' . Ya no puede decir que una curva ROC funciona mejor, ya que ahora depende de la compensación que prefiera. ¿Desea alta precisión / baja recuperación o baja precisión / alta recuperación ?

Ejemplo: si un clasificador se desempeña mucho mejor en un FPR de 0.2, pero es importante alcanzar un alto Recall , entonces funciona bien en un umbral que no le interesa.

Acerca de las curvas ROC en su gráfico: puede decir fácilmente que 'A' funciona mucho mejor, sin siquiera saber lo que quiere lograr. Tan pronto como la curva violeta cruza las otras, las cruza nuevamente. Probablemente no esté interesado en esa pequeña parte , donde 'B' y 'C' funcionan ligeramente mejor .

En el siguiente gráfico puede ver dos curvas ROC, que también se cruzan. Aquí, no se puede saber cuál es mejor, ya que se complementan entre sí .

Cruzando curvas ROC

Tenga en cuenta que, al final del día, está interesado en elegir un umbral para su clasificación y el AUC solo le da una estimación de qué tan bien funciona un modelo en general .

Laksan Nathan
fuente
Solo para confirmar, en mi ejemplo, si elijo un valor de corte muy alto, donde la precisión es grande, ¿el modelo A superaría a B y C por un buen margen?
Edu
¿Cómo sabes dónde es grande la precisión? Esta es una ROC, no una curva de Precisión-Recuperación. Para Precisión, verifica la probabilidad de Verdadero Positivo, dado que su clasificador dijo Positivo.
Laksan Nathan