¿Qué significa AUC y qué es?
Busqué por todos lados y no he podido averiguar qué significan o significan las AUC, en relación con la
228
AUC representa el área bajo la curva y generalmente se refiere al área bajo la curva característica del operador receptor (ROC).
Busqué por todos lados y no he podido averiguar qué significan o significan las AUC, en relación con la
Estoy interesado en calcular el área bajo la curva (AUC), o la estadística c, a mano para un modelo de regresión logística binaria. Por ejemplo, en el conjunto de datos de validación, tengo el valor verdadero para la variable dependiente, retención (1 = retenido; 0 = no retenido), así como un...
El Criterio de información de Akaike (AIC) y el estadístico c (área bajo la curva ROC) son dos medidas de ajuste del modelo para la regresión logística. Tengo problemas para explicar lo que sucede cuando los resultados de las dos medidas no son consistentes. Supongo que miden aspectos ligeramente...
Tengo dos clasificadores A: ingenua red bayesiana B: árbol (conectado individualmente) red bayesiana En términos de precisión y otras medidas, A funciona comparativamente peor que B. Sin embargo, cuando uso los paquetes R ROCR y AUC para realizar el análisis ROC, resulta que el AUC para A es...
¿Es la precisión promedio (AP) el área bajo la curva de recuperación de precisión (AUC de la curva PR)? EDITAR: Aquí hay un comentario sobre la diferencia en PR AUC y AP. El AUC se obtiene por interpolación trapezoidal de la precisión. Una métrica alternativa y generalmente casi equivalente es...
En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no...
La siguiente imagen muestra una curva continua de tasas de falsos positivos frente a tasas positivas verdaderas: Sin embargo, lo que no entiendo de inmediato es cómo se calculan estas tasas. Si se aplica un método a un conjunto de datos, tiene una cierta tasa de FP y una cierta tasa de FN. ¿No...
Preámbulo Esta es una publicación muy larga. Si está releyendo esto, tenga en cuenta que he revisado la parte de la pregunta, aunque el material de fondo sigue siendo el mismo. Además, creo que he ideado una solución al problema. Esa solución aparece en la parte inferior de la publicación. Gracias...
Estoy usando un clasificador que devuelve probabilidades. Para calcular el AUC, estoy usando el paquete pROC R. Las probabilidades de salida del clasificador son: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmuestra la...
Construí una curva ROC para un sistema de diagnóstico. El área bajo la curva se estimó entonces no paramétricamente como AUC = 0,89. Cuando intenté calcular la precisión en el umbral óptimo (el punto más cercano al punto (0, 1)), ¡obtuve la precisión del sistema de diagnóstico de 0,8, que es menor...
¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y
Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
He entrenado dos modelos (clasificadores binarios usando h2o AutoML) y quiero seleccionar uno para usar. Tengo los siguientes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
Estoy tratando de usar la función ' densidad ' en R para hacer estimaciones de densidad del núcleo. Tengo algunas dificultades para interpretar los resultados y comparar varios conjuntos de datos, ya que parece que el área bajo la curva no es necesariamente 1. Para cualquier función de densidad de...
La puntuación F1 es la media armónica de precisión y recuperación. El eje y de recuperación es una tasa positiva verdadera (que también es recuperación). Entonces, en ocasiones los clasificadores pueden tener un AUC bajo pero muy alto, ¿qué significa eso? ¿Cuáles son las diferencias entre AUC y...
¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación...
La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más...
Tengo un conjunto de prueba de 100 casos y dos clasificadores. Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores. Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes...
En el aprendizaje automático, podemos usar el área bajo la curva ROC ( AUC abreviado a menudo , o AUROC) para resumir qué tan bien un sistema puede discriminar entre dos categorías. En la teoría de detección de señal, a menudo el d′d′d' (índice de sensibilidad) se usa para un propósito similar. Los...