Recientemente he estado aprendiendo sobre las reglas de puntuación adecuadas para los clasificadores probabilísticos. Varios hilos en este sitio web han hecho hincapié en que la precisión es una regla de puntuación inadecuada y no debe usarse para evaluar la calidad de las predicciones generadas por un modelo probabilístico como la regresión logística.

Sin embargo, bastantes trabajos académicos que he leído han dado una pérdida de clasificación errónea como un ejemplo de una regla de puntuación adecuada (no estricta) en un entorno de clasificación binaria. La explicación más clara que pude encontrar fue en este documento , en la parte inferior de la página 7. A mi entender, minimizar la pérdida de clasificación errónea es equivalente a maximizar la precisión, y las ecuaciones en el documento tienen sentido intuitivamente.

Por ejemplo: usando la notación del artículo, si la probabilidad condicional verdadera (dado algún vector de característica x ) de la clase de interés es η = 0.7, cualquier pronóstico q > 0.5 tendría una pérdida esperada R (η | q ) = 0.7 (0) + 0.3 (1) = 0.3, y cualquier q 0.5 tendría una pérdida esperada de 0.7. Por lo tanto, la función de pérdida se minimizaría en q = η = 0.7 y, en consecuencia, sería adecuada; La generalización de todo el rango de probabilidades y pronósticos condicionales verdaderos parece bastante simple a partir de ahí.$\leq$

Suponiendo que los cálculos y las declaraciones anteriores son correctos, los inconvenientes de un mínimo no único y todas las predicciones superiores a 0.5 que comparten la misma pérdida mínima esperada son evidentes. Todavía no veo ninguna razón para usar la precisión sobre las alternativas tradicionales, como la puntuación de registro, la puntuación de Brier, etc. Sin embargo, ¿es correcto decir que la precisión es una regla de puntuación adecuada al evaluar modelos probabilísticos en un entorno binario, o estoy haciendo un error, ya sea en mi entendimiento de la pérdida de clasificación errónea, o en equipararlo con precisión?

TL; DR

La precisión es una regla de puntuación incorrecta. No lo uses

La versión un poco más larga

En realidad, la precisión ni siquiera es una regla de puntuación. Entonces, preguntar si es (estrictamente) apropiado es un error de categoría. Lo máximo que podemos decir es que, bajo supuestos adicionales , la precisión es consistente con una regla de puntuación que es incorrecta, discontinua y engañosa. (No lo uses)

Tu confusión

Su confusión se debe al hecho de que la pérdida de clasificación errónea según el documento que cita tampoco es una regla de puntuación.

Los detalles: reglas de puntuación versus evaluaciones de clasificación

Vamos a arreglar la terminología. Estamos interesados ​​en un resultado binario , y tenemos una predicción probabilística . Sabemos que , pero nuestro modelo puede o no saber eso.q = P ( Y = 1 ) ∈ ( 0 , 1 ) P ( Y = 1 ) = η > 0,5 $y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$

Una regla de puntuación es un mapeo que toma una predicción probabilística y un resultado a una pérdida,$\widehat{q}$$y$

q = η s q = $s$ es apropiado si está optimizado en expectativa por . ("Optimizado" generalmente significa "minimizado", pero algunos autores invierten los signos y tratan de maximizar una regla de puntuación). es estrictamente apropiado si está optimizado en expectativa solo por .$\widehat{q}=\eta$$s$$\widehat{q}=\eta$

Normalmente evaluaremos en muchas predicciones y los resultados correspondientes y promedio para estimar esta expectativa.$s$$\widehat{q}_i$$y_i$

Ahora, ¿qué es la precisión ? La precisión no toma una predicción probabilística como argumento. Se necesita una clasificación$\widehat{y}\in\{0,1\}$ y un resultado:

Por lo tanto, la precisión no es una regla de puntuación . Es una evaluación de clasificación. (Este es un término que acabo de inventar; no lo busques en la literatura).

Ahora, por supuesto, podemos tomar una predicción probabilística como nuestra y convertirla en una clasificación . Pero para hacerlo, necesitaremos las suposiciones adicionales aludidas anteriormente. Por ejemplo, es muy común usar un umbral y clasificar:$\widehat{q}$$\widehat{y}$$\theta$

Un valor umbral muy común es . Tenga en cuenta que si usamos este umbral y luego evaluamos la precisión sobre muchas predicciones (como arriba) y los resultados correspondientes , entonces llegamos exactamente a la pérdida de clasificación errónea según Buja et al. Por lo tanto, la pérdida de clasificación errónea tampoco es una regla de puntuación, sino una evaluación de clasificación.$\theta=0.5$$\widehat{q}_i$$y_i$

Si tomamos un algoritmo de clasificación como el anterior, podemos convertir una evaluación de clasificación en una regla de puntuación. El punto es que necesitamos los supuestos adicionales del clasificador. Y esa precisión o pérdida de clasificación errónea o cualquier otra evaluación de clasificación que elijamos puede depender menos de la predicción probabilística y más de la forma en que convertimos en una clasificación . Por lo tanto, optimizar la evaluación de clasificación puede estar persiguiendo un arenque rojo si realmente estamos interesados ​​en evaluar .$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

Ahora, ¿qué tiene de incorrecto estas reglas de puntuación bajo supuestos adicionales? Nada, en el presente caso. , bajo el implícito , maximizará la precisión y minimizará la pérdida de clasificación errónea sobre todas las posibles . Entonces, en este caso, nuestra suposición de regla de puntuación bajo supuestos adicionales es correcta.$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

Tenga en cuenta que lo importante para la precisión o la pérdida de clasificación errónea es solo una pregunta: ¿clasificamos ( ) todo como la clase mayoritaria o no? $\widehat{y}$Si lo hacemos, la pérdida de precisión o clasificación errónea es feliz. Si no, no lo son. Lo importante de esta pregunta es que solo tiene una conexión muy tenue con la calidad de .$\widehat{q}$

En consecuencia, nuestras suposiciones de reglas de puntaje bajo adicionales no son estrictamente apropiadas, ya que cualquier conducirá a la misma evaluación de clasificación. Podríamos usar el estándar , creer que la clase mayoritaria ocurre con y clasificar todo como la clase mayoritaria, porque . La precisión es alta, pero no tenemos ningún incentivo para mejorar nuestro al valor correcto de .theta=0,5 q =0,99 q ≥theta q$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

O podríamos haber hecho un análisis extenso de los costos asimétricos de la clasificación errónea y haber decidido que el mejor umbral de probabilidad de clasificación debería ser . Por ejemplo, esto podría suceder si significa que padece alguna enfermedad. Podría ser mejor tratarlo incluso si no padece la enfermedad ( ), en lugar de al revés, por lo que podría tener sentido tratar a las personas incluso si hay una baja probabilidad pronosticada (pequeño ) lo padecen. Entonces podríamos tener un modelo terriblemente incorrecto que cree que la verdadera clase mayoritaria solo ocurre cony = 1 y = 0 q q = 0,25 q ≥ $\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$- pero debido a los costos de clasificación errónea, todavía clasificamos todo como esta clase minoritaria (asumida), porque nuevamente . Si hiciéramos esto, la pérdida de precisión o clasificación errónea nos haría creer que estamos haciendo todo bien, incluso si nuestro modelo predictivo ni siquiera entiende cuál de nuestras dos clases es la mayoría.$\widehat{q}\geq\theta$

Por lo tanto, la pérdida de precisión o clasificación errónea puede ser engañosa.

Además, la precisión y la pérdida de clasificación errónea son inadecuadas bajo los supuestos adicionales en situaciones más complejas donde los resultados no son idóneos. Frank Harrell, en su publicación de blog Daño causado por la precisión de clasificación y otras reglas de puntuación de precisión incorrecta discontinua, cita un ejemplo de uno de sus libros en el que el uso de la precisión o la pérdida de clasificación errónea conducirá a un modelo mal especificado, ya que no están optimizados por el predictivo condicional correcto probabilidad.

Otro problema con la precisión y la pérdida de clasificación errónea es que son discontinuos en función del umbral . Frank Harrell también aborda esto.$\theta$

Se puede encontrar más información en ¿Por qué la precisión no es la mejor medida para evaluar los modelos de clasificación? .

La línea de fondo

No uses la precisión. Tampoco la pérdida de clasificación errónea.

El meollo de la cuestión: "estricto" vs. "estrictamente"

¿Deberíamos estar hablando de reglas de puntuación "estrictas" o de reglas de puntuación "estrictamente"? "Estricto" modifica "apropiado", no "regla de puntuación". (Hay "reglas de puntuación adecuadas" y "reglas de puntuación estrictamente apropiadas", pero no hay "reglas de puntuación estrictas"). Como tal, "estrictamente" debe ser un adverbio, no un adjetivo, y debe usarse "estrictamente". Como es más común en la literatura, por ejemplo, los artículos de Tilmann Gneiting.