Una regla de puntuación adecuada es una regla que se maximiza mediante un modelo 'verdadero' y no permite 'cubrir' o jugar con el sistema (informar deliberadamente diferentes resultados, como es la verdadera creencia del modelo para mejorar la puntuación). El puntaje de Brier es correcto, la...
¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y
¿Cuáles son las ventajas de las curvas ROC? Por ejemplo, estoy clasificando algunas imágenes que es un problema de clasificación binaria. Extraje alrededor de 500 características y apliqué un algoritmo de selección de características para seleccionar un conjunto de características, luego apliqué...
Estoy planeando usar validación cruzada estratificada repetida (10 veces) en aproximadamente 10,000 casos usando el algoritmo de aprendizaje automático. Cada vez que la repetición se realizará con diferentes semillas al azar. En este proceso, creo 10 instancias de estimaciones de probabilidad...
Estoy estudiando un curso de aprendizaje automático y las diapositivas de la conferencia contienen información que encuentro contradictoria con el libro recomendado. El problema es el siguiente: hay tres clasificadores: clasificador A que proporciona un mejor rendimiento en el rango inferior de...
Supongamos que he construido un modelo de predicción para la aparición de una enfermedad en particular en un conjunto de datos (el conjunto de datos de construcción del modelo) y ahora quiero verificar qué tan bien funciona el modelo en un nuevo conjunto de datos (el conjunto de datos de...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
Estoy tratando de entender cómo calcular el punto de corte óptimo para una curva ROC (el valor en el que se maximizan la sensibilidad y la especificidad). Estoy usando el conjunto aSAHde datos del paquete pROC. La outcomevariable podría explicarse por dos variables independientes: s100by ndka....
Tengo un conjunto de prueba de 100 casos y dos clasificadores. Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores. Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes...
Apliqué la regresión logística a mis datos en SAS y aquí están la curva ROC y la tabla de clasificación. Me siento cómodo con las figuras en la tabla de clasificación, pero no estoy exactamente seguro de lo que muestran la curva roc y el área debajo de ella. Cualquier explicación sería muy...
¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación...
Por lo general, en la regresión logística, ajustamos un modelo y obtenemos algunas predicciones sobre el conjunto de entrenamiento. Luego validamos de manera cruzada esas predicciones de entrenamiento (algo así como aquí ) y decidimos el valor umbral óptimo basado en algo como la curva ROC. ¿Por...
solíamos crear una curva GINI usando la elevación creada con la ayuda del porcentaje de buenos y malos para el modelado de cuadros de mando. Pero lo que he estudiado es que la curva ROC se crea utilizando la matriz de confusión con especificidad (1- Verdadero negativo) como eje xy sensibilidad...
En el aprendizaje automático, podemos usar el área bajo la curva ROC ( AUC abreviado a menudo , o AUROC) para resumir qué tan bien un sistema puede discriminar entre dos categorías. En la teoría de detección de señal, a menudo el d′d′d' (índice de sensibilidad) se usa para un propósito similar. Los...
Obtuve un modelo de regresión logística (vía train) para una respuesta binaria, y obtuve la matriz de confusión logística a través de confusionMatrixin caret. Me da la matriz de confusión del modelo logístico, aunque no estoy seguro de qué umbral se está utilizando para obtenerlo. ¿Cómo obtengo la...
Normalmente no podemos dibujar una curva ROC para los clasificadores discretos como los árboles de decisión. Estoy en lo cierto? ¿Hay alguna forma de dibujar una curva ROC para
Me encuentro con el coeficiente de dados para la similitud de volumen ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) y precisión ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Me parece que estas dos medidas son las mismas. ¿Alguna
Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un AUC más...
He estado trabajando en un modelo logístico y tengo algunas dificultades para evaluar los resultados. Mi modelo es un logit binomial. Mis variables explicativas son: una variable categórica con 15 niveles, una variable dicotómica y 2 variables continuas. Mi N es grande> 8000. Estoy tratando de...
Estoy ejecutando un clasificador binario en este momento. Cuando trazo la curva ROC obtengo una buena elevación al principio, luego cambia de dirección y cruza la diagonal y, por supuesto, retrocede, haciendo que la curva tenga una forma de S inclinada. ¿Qué puede ser una interpretación /...