Conexiones entre

13

En el aprendizaje automático, podemos usar el área bajo la curva ROC ( AUC abreviado a menudo , o AUROC) para resumir qué tan bien un sistema puede discriminar entre dos categorías. En la teoría de detección de señal, a menudo el d (índice de sensibilidad) se usa para un propósito similar. Los dos están estrechamente conectados, y creo que son equivalentes entre sí si se cumplen ciertos supuestos .

El cálculo de generalmente se presenta en base a suponer distribuciones normales para las distribuciones de señal (ver el enlace de wikipedia anterior, por ejemplo). El cálculo de la curva ROC no hace esta suposición: es aplicable a cualquier clasificador que genere un criterio de decisión de valor continuo que pueda ser restringido.d

Wikipedia dice que es equivalente a 2 AUC - 1 . Esto parece correcto si se cumplen los supuestos de ambos; pero si las suposiciones no son las mismas, no es una verdad universal.d2AUC1

¿Es justo caracterizar la diferencia en supuestos como "AUC hace menos supuestos sobre las distribuciones subyacentes"? ¿O es realmente tan ampliamente aplicable como AUC, pero es una práctica común que las personas que usan d ' tienden a usar el cálculo que supone distribuciones normales? ¿Hay alguna otra diferencia en los supuestos subyacentes que me he perdido?dd

Dan Stowell
fuente

Respuestas:

7

No. El valor máximo del AUC es 1. d 'no tiene un máximo.

Creo que d 'es igual a qnorm (AUC) * sqrt (2) (mi memoria de un viejo libro de estadísticas que no puedo encontrar en este momento, pero parece verificar algunos datos que encontré en la web). Aquí qnorm (x) es la "función cuantil para la distribución normal" (R-speak). Es decir, devuelve el valor de la distribución normal para la cual x proporción de la distribución está por debajo de ella.

Joel Lachter
fuente
2
Gracias, esto me parece correcto, sin embargo, solo si asumimos que las distribuciones son normales (debido al uso de qnorm ()). He arreglado la redacción de wikipedia.
Dan Stowell