¿Por qué utilizar el puntaje de Gini normalizado en lugar de AUC como evaluación?

14

La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más usuales, como AUC, para la evaluación?

classification auc model-evaluation gini xboard
fuente
1
El sitio web de Kaggle solía tener esta respuesta: "Hay un área máxima alcanzable para un modelo" perfecto "ya que no todos los ejemplos positivos ocurren de inmediato. Utilizamos el coeficiente de Gini normalizado dividiendo el coeficiente de Gini de su modelo por el coeficiente de Gini del modelo perfecto ". pero ya no está disponible. webcache.googleusercontent.com/…
Sextus Empiricus
1
Entonces, gini es simplemente auc en una escala diferente. ¿O se aplican auc y gini a diferentes curvas? Eso no está claro para mí como no experto en aprendizaje automático. La pregunta no es muy clara sobre esto.
Sextus Empiricus

Respuestas:

3

Creo que el puntaje de Gini es simplemente una reformulación del AUC: En cuanto a por qué usar esto en lugar del AUC de uso común, la única razón por la que puedo pensar es que una predicción aleatoria arrojará un Gini puntaje de 0 en comparación con el AUC que será 0.5.

solyonorteyo=2×UNUC-1
Miguel
fuente
66
Además de que el uso del coeficiente de Gini establece el rendimiento de un clasificador aleatorio en una puntuación de 0 ... la normalización "mejora" el otro extremo de la escala y hace que la puntuación de un clasificador perfecto sea igual a 1 en lugar de un máximo alcanzable AUC <1. La mejora es solo relativa dependiendo de si crees que una escala más intuitiva es buena o no. Aunque más allá de esta interpretación más fácil, podría argumentar que (la normalización) también mejora la generalización y la comparación de diferentes conjuntos de datos.
Sextus Empiricus
¿Por qué Macucum alcanzable AUC debe ser inferior a 1, y tampoco veo cómo gini lo establece en 1?
rep_ho
Depende de qué tipo de curva calculen el coeficiente de Gini. Tal vez usan algo diferente a una curva ROC (cuyo AUC máximo sería de hecho 1). Dadas las palabras en el sitio web de kaggle, parece plausible que el AUC máximo no sea 1:> "Luego nos movemos de izquierda a derecha, preguntando" En el x% más a la izquierda de los datos, ¿cuánta respuesta acumulada ha acumulado?
Sextus Empiricus
ejemplo: bayesserver.com/docs/charts/lift-chart
Sextus Empiricus