¿Qué significa que AUC es una regla de puntuación semi adecuada?

Una regla de puntuación adecuada es una regla que se maximiza mediante un modelo 'verdadero' y no permite 'cubrir' o jugar con el sistema (informar deliberadamente diferentes resultados, como es la verdadera creencia del modelo para mejorar la puntuación). El puntaje de Brier es correcto, la precisión (proporción clasificada correctamente) es inadecuada y a menudo desalentada. A veces veo que AUC se llama una regla de puntuación semi-adecuada que hace que no sea completamente falsa como precisión, sino menos sensible que las reglas adecuadas (por ejemplo, aquí /stats//a/90705/53084 ).

¿Qué significa la regla de puntuación semi-adecuada? ¿Está definido en alguna parte?

Comencemos con un ejemplo. Digamos que Alice es una entrenadora de atletismo y quiere elegir un atleta para representar al equipo en un próximo evento deportivo, un sprint de 200 m. Naturalmente, ella quiere elegir el corredor más rápido.

• Una regla de puntuación estrictamente adecuada sería nominar al corredor más rápido del equipo en la distancia de 200 m. Esto maximiza exactamente qué entrenador Alice quiere en esta situación. El atleta con el rendimiento más rápido esperado es seleccionado: esta es una prueba discriminatoria justa.
• Una regla de puntuación adecuada sería elegir un atleta que pueda correr 200 metros más rápido, pero el tiempo se redondea a la mitad de segundo más cercana. El mejor atleta y, potencialmente, algunos otros atletas también podrán pasar esta prueba. Todos los atletas seleccionados de esta manera son bastante competitivos, pero claramente esta no es una prueba de velocidad discriminatoria perfecta.
• Una regla de puntuación semi adecuada sería elegir un atleta que pueda correr 200 metros por debajo de un umbral de tiempo competitivo, por ejemplo, 22 segundos. Como antes, el mejor atleta, así como algunos otros atletas, también podrán pasar esta prueba. Del mismo modo, todos los atletas seleccionados de esta manera podrían ser bastante competitivos, pero claramente no solo no es una prueba discriminatoria perfecta, sino que también puede ir terriblemente mal (si elegimos un momento demasiado indulgente o demasiado estricto). Tenga en cuenta que no está completamente equivocado.
• Una regla de puntuación incorrecta sería elegir al atleta con las piernas más fuertes, por ejemplo, quién puede hacer sentadillas con más peso. Ciertamente, cualquier buen velocista probablemente tenga piernas muy fuertes, pero esta prueba significa que algunos muchachos del equipo de levantamiento de pesas se destacarán aquí. ¡Claramente, un levantador de pesas en una carrera de 200 metros sería catastrófico!

Aunque algo trivializado, el ejemplo anterior muestra lo que ocurre con el uso de reglas de puntuación. Alice pronosticaba el tiempo esperado de sprint. Dentro del contexto de clasificación, pronosticamos probabilidades minimizando el error de un clasificador probabilístico.

• Una regla de puntuación estrictamente adecuada , como el puntaje Brier, garantiza que el mejor puntaje solo se alcanzará cuando estemos lo más cerca posible de las probabilidades reales.
• Una regla de puntuación adecuada , como la puntuación de probabilidad de clasificación continua (CRPS), no garantiza que la mejor puntuación solo la obtenga un clasificador cuyas predicciones sean las más cercanas a las probabilidades reales. Otros clasificadores candidatos pueden alcanzar puntajes CRPS que coincidan con los del clasificador óptimo.
• Una regla de puntaje semi-adecuada , como el AUC-ROC, no solo no garantiza que se obtenga el mejor rendimiento por un clasificador cuyas predicciones sean las más cercanas a las probabilidades verdaderas, sino que también es (potencialmente) posible mejorar los valores de AUC-ROC alejando las probabilidades predichas de sus valores verdaderos. Sin embargo, bajo ciertas condiciones (por ejemplo, la distribución de la clase se conoce a priori en el caso de AUC-ROC), tales reglas pueden aproximarse a una regla de puntuación adecuada. Byrne (2016) " Una nota sobre el uso de AUC empírica para evaluar pronósticos probabilísticos " plantea algunos puntos interesantes con respecto a AUC-ROC.
• Una regla de puntuación inadecuada , como la precisión, ofrece poca o ninguna conexión con nuestra tarea original de predecir las probabilidades lo más cerca posible de las verdaderas.

Como vemos , la regla de puntuación semi-adecuada no es perfecta, pero tampoco es absolutamente catastrófica. ¡Puede ser bastante útil durante la predicción en realidad! Cagdas Ozgenc tiene un gran ejemplo aquí donde es preferible trabajar con una regla inadecuada / semi-adecuada a una regla estrictamente adecuada. En general, el término regla de puntuación semi-propia no es muy común. Está asociado con reglas incorrectas que pueden ser útiles (p. Ej., AUC-ROC o MAE en la clasificación probabilística).

Finalmente, note algo importante. Como el sprint se asocia con piernas fuertes, también lo es la clasificación probabilística correcta con precisión. Es poco probable que un buen velocista tenga piernas débiles y, de manera similar, es poco probable que un buen clasificador tenga una precisión incorrecta. Sin embargo, equiparar la precisión con un buen rendimiento del clasificador es como equiparar la fuerza de la pierna con un buen rendimiento de carrera. No completamente infundado, pero muy plausible para conducir a resultados sin sentido.