Las reglas de puntuación se utilizan para evaluar la precisión de las probabilidades pronosticadas o, de manera más general, de las densidades predictivas. Ejemplos de reglas de puntuación incluyen la probabilidad logarítmica, de Brier, esférica, clasificada y la puntuación de Dawid-Sebastiani y la desviación predictiva.
Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida...
Últimamente he estado pensando mucho en el "problema de desequilibrio de clase" en el aprendizaje automático / estadístico, y me estoy adentrando cada vez más en un sentimiento de que simplemente no entiendo lo que está sucediendo. Primero déjame definir (o intentar) definir mis términos: El...
Estoy validando de forma cruzada un modelo que está tratando de predecir un recuento. Si este fuera un problema de clasificación binaria, calcularía el AUC fuera del pliegue, y si este fuera un problema de regresión, calcularía el RMSE o el MAE fuera del pliegue. Para un modelo de Poisson, ¿qué...
Merkle y Steyvers (2013) escriben: Para definir formalmente una regla de puntuación adecuada, dejemos que sea un pronóstico probabilístico de un ensayo de Bernoulli d con verdadera probabilidad de éxito p . Las reglas de puntuación adecuadas son métricas cuyos valores esperados se minimizan si...
Recientemente completé una competencia de Kaggle en la que se utilizó la puntuación roc auc según los requisitos de la competencia. Antes de este proyecto, normalmente usaba la puntuación f1 como la métrica para medir el rendimiento del modelo. En el futuro, me pregunto cómo debo elegir entre estas...
La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia...
En primer lugar, da probabilidad de resultados. Entonces, por ejemplo, sus predicciones para las elecciones estadounidenses son actualmente del 82% de Clinton frente al 18% de Trump. Ahora, incluso si Trump gana, ¿cómo sé que no fue solo el 18% del tiempo que debería haber ganado? El otro...
Una regla de puntuación adecuada es una regla que se maximiza mediante un modelo 'verdadero' y no permite 'cubrir' o jugar con el sistema (informar deliberadamente diferentes resultados, como es la verdadera creencia del modelo para mejorar la puntuación). El puntaje de Brier es correcto, la...
Recientemente he estado aprendiendo sobre las reglas de puntuación adecuadas para los clasificadores probabilísticos. Varios hilos en este sitio web han hecho hincapié en que la precisión es una regla de puntuación inadecuada y no debe usarse para evaluar la calidad de las predicciones generadas...
Antecedentes: Aquí hay algunas preguntas / respuestas excelentes sobre cómo calibrar modelos que predicen las probabilidades de que ocurra un resultado. Por ejemplo Puntuación de Brier , y su descomposición en resolución, incertidumbre y fiabilidad . Gráficos de calibración y regresión isotónica...
La pregunta de ayer Determinar la precisión del modelo que estima la probabilidad de evento me dio curiosidad sobre la puntuación de probabilidad. La puntuación de Brier es una medida de error cuadrático medio. ¿El análogo significa la medida de rendimiento de error absoluto tener un nombre...
Estoy modelando un evento con dos resultados, ay b. He creado un modelo que estima la probabilidad de que a o b ocurra (es decir, el modelo calculará que a sucederá con un 40% de probabilidad yb sucederá con un 60% de probabilidad). Tengo un gran registro de resultados de ensayos con las...
Estoy realizando un análisis sobre la probabilidad de incumplimiento de préstamo utilizando regresión logística y bosques aleatorios. Cuando uso la regresión logística, la predicción siempre es '1' (lo que significa un buen préstamo). Nunca he visto esto antes, y no sé por dónde empezar en...
Programo y hago desarrollo basado en pruebas. Después de hacer un cambio en mi código, ejecuto mis pruebas. Algunas veces tienen éxito y otras fallan. Antes de ejecutar una prueba, escribo un número de 0.01 a 0.99 para creer que la prueba tendrá éxito. Quiero saber si estoy mejorando para predecir...
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Un enfoque típico para resolver un problema de clasificación es identificar una clase de modelos candidatos y luego realizar la selección del modelo utilizando algún procedimiento como la validación cruzada. Por lo general, uno selecciona el modelo con la mayor precisión o alguna función...
Supongamos que hago un montón de pronósticos probabilísticos como: 70% de probabilidad de que el crecimiento de las ventas sea del 10-15% en el primer trimestre, 10% de probabilidad de que el crecimiento de las ventas sea> 15%, 20% de probabilidad de que el crecimiento de las ventas sea...
Una regla de puntuación es un medio para evaluar la suposición de un agente de las probabilidades asociadas con un evento categórico, dado un resultado (categórico) del evento. Dependiendo de la suposición y el resultado observado, la regla de puntuación le da al agente una puntuación (un número...
Estoy usando la regresión logística para predecir la probabilidad de que ocurra un evento. En última instancia, estas probabilidades se colocan en un entorno de producción, donde nos enfocamos lo más posible en alcanzar nuestras predicciones de "Sí". Por lo tanto, es útil para nosotros tener una...