Supongamos que tengo un modelo predictivo que produce, para cada caso, una probabilidad para cada clase. Ahora reconozco que hay muchas formas de evaluar ese modelo si quiero usar esas probabilidades para la clasificación (precisión, recuperación, etc.). También reconozco que una curva ROC y el...
Para calibrar un nivel de confianza a una probabilidad en el aprendizaje supervisado (por ejemplo, para mapear la confianza de un SVM o un árbol de decisión usando datos sobremuestreados), un método es usar la Escala de Platt (por ejemplo, Obteniendo Probabilidades Calibradas de Impulso...
Me gustaría recibir consejos sobre cómo agrupar los gráficos / estadísticas de calibración después de una imputación múltiple. En el contexto del desarrollo de modelos estadísticos para predecir un evento futuro (p. Ej., Utilizando datos de registros hospitalarios para predecir la supervivencia o...
Scikit tiene CalibratedClassifierCV , que nos permite calibrar nuestros modelos en un par X, y particular. También establece claramente quedata for fitting the classifier and for calibrating it must be disjoint. Si deben ser disjuntos, ¿es legítimo entrenar al clasificador con lo siguiente?...
Antecedentes: Aquí hay algunas preguntas / respuestas excelentes sobre cómo calibrar modelos que predicen las probabilidades de que ocurra un resultado. Por ejemplo Puntuación de Brier , y su descomposición en resolución, incertidumbre y fiabilidad . Gráficos de calibración y regresión isotónica...
Programo y hago desarrollo basado en pruebas. Después de hacer un cambio en mi código, ejecuto mis pruebas. Algunas veces tienen éxito y otras fallan. Antes de ejecutar una prueba, escribo un número de 0.01 a 0.99 para creer que la prueba tendrá éxito. Quiero saber si estoy mejorando para predecir...
Pregunta : He ajustado un modelo probabilístico (red bayesiana) para modelar una variable de resultado binaria. Me gustaría crear un gráfico de calibración de alta resolución (por ejemplo, spline) corregido por sobreajuste con bootstrapping. ¿Existe un procedimiento estándar para calcular dicha...
En los documentos de aprendizaje de scikit sobre calibración de probabilidad, comparan la regresión logística con otros métodos y observan que el bosque aleatorio está menos calibrado que la regresión logística. ¿Por qué la regresión logística está bien calibrada? ¿Cómo podría uno arruinar la...