¿Podemos interpretar la probabilidad posterior obtenida de un clasificador que genera un valor de clase predicho y una probabilidad (por ejemplo, regresión logística o Naive Bayes) como algún tipo de puntaje de confianza que se asigna a ese valor de clase predicho?
Como otras respuestas indican correctamente, las probabilidades reportadas de modelos como la regresión logística y la ingenua Bayes son estimaciones de la probabilidad de clase. Si el modelo fuera verdadero, la probabilidad sería la probabilidad de una clasificación correcta.
Sin embargo, es bastante importante comprender que esto podría ser engañoso porque el modelo se estima y, por lo tanto, no es un modelo correcto. Hay al menos tres problemas.
La incertidumbre es solo el hecho presente en todas partes de que la probabilidad es solo una estimación. Un intervalo de confianza de la probabilidad de clase estimada podría proporcionar alguna idea sobre la incertidumbre (de la probabilidad de clase, no de la clasificación).
Si el procedimiento de estimación (intencionalmente) proporciona una estimación sesgada , las probabilidades de la clase son incorrectas. Esto es algo que veo con métodos de regularización como lazo y cresta para la regresión logística. Si bien una elección de validación cruzada de la regularización conduce a un modelo con buen rendimiento en términos de clasificación, las probabilidades de clase resultantes se subestiman claramente (demasiado cerca de 0.5) en los casos de prueba. Esto no es necesariamente malo, pero es importante tenerlo en cuenta.
Para un caso de prueba (entrada particular), la probabilidad predictiva de su clase (digamos la etiqueta 1 para la salida binaria) es la posibilidad de que el ejemplo de prueba pertenezca a esa clase. En muchos de estos casos de prueba, la proporción que pertenece a la clase 1 tenderá a la probabilidad predictiva. La confianza tiene connotaciones de intervalos de confianza, que son algo muy diferente.
Si un clasificador predice una determinada clase con una probabilidad, ese número puede usarse como un proxy para el grado de confianza en esa clasificación. No debe confundirse con los intervalos de confianza. Por ejemplo, si el clasificador P predice dos casos como +1 y -1 con una probabilidad del 80% y 60%, entonces es correcto decir que está más seguro de la clasificación +1 que la clasificación -1. La varianza medida por p (1-p) también es una buena medida de incertidumbre. Tenga en cuenta que la confianza inicial es del 50%, no 0.
Dado un clasificador con 2 clases (por ejemplo, un clasificador de regresión logística o discriminante lineal de 2 clases), el valor discriminante para ambas clases se puede aplicar a una función softmax para obtener una estimación de la probabilidad posterior para esa clase:
P1 = exp (d1) / (exp (d1) + exp (d2))
Donde P1 es la estimación de probabilidad posterior para la clase 1, d1 y d2 son valores discriminantes para las clases 1 y 2 respectivamente. En este caso, la probabilidad posterior estimada para una clase dada puede tomarse como un grado de confianza en la clase, para un caso dado ya que P1 será igual a 1 - P2.