Los P&R son una forma de medir la relevancia del conjunto de instancias recuperadas. La precisión es el% de instancias correctas de todas las instancias recuperadas. La relevancia es el% de instancias verdaderas recuperadas. La media armónica de P&R es el puntaje F1. Los P&R se usan en la minería de datos para evaluar clasificadores.
Entiendo las diferencias formales entre ellos, lo que quiero saber es cuándo es más relevante usar uno frente al otro. ¿Proporcionan siempre información complementaria sobre el rendimiento de un determinado sistema de clasificación / detección? ¿Cuándo es razonable proporcionarlos a ambos, por...
Me pregunto cómo calcular la precisión y la recuperación utilizando una matriz de confusión para un problema de clasificación de varias clases. Específicamente, una observación solo se puede asignar a su clase / etiqueta más probable. Me gustaría calcular: Precisión = TP / (TP + FP) Recuperación...
Me pregunto cómo calcular las medidas de precisión y recuperación para la clasificación multiclase multicabel, es decir, la clasificación donde hay más de dos etiquetas y cada instancia puede tener varias
Me gustaría saber cómo interpretar una diferencia de valores de medida f. Sé que la medida f es una media equilibrada entre precisión y recuperación, pero estoy preguntando sobre el significado práctico de una diferencia en las medidas F. Por ejemplo, si un clasificador C1 tiene una precisión de...
Tengo una tarea de clasificación en la que tengo varios predictores (uno de los cuales es el más informativo), y estoy usando el modelo MARS para construir mi clasificador (estoy interesado en cualquier modelo simple, y usar glms con fines ilustrativos sería bien también). Ahora tengo un gran...
Tengo a continuación un ejemplo que extraje de la documentación de sklearn.metrics.classification_report de sklearn. Lo que no entiendo es por qué hay valores de puntaje f1, precisión y recuperación para cada clase donde creo que la clase es la etiqueta del predictor. Pensé que el puntaje f1 te...
¿Es la precisión promedio (AP) el área bajo la curva de recuperación de precisión (AUC de la curva PR)? EDITAR: Aquí hay un comentario sobre la diferencia en PR AUC y AP. El AUC se obtiene por interpolación trapezoidal de la precisión. Una métrica alternativa y generalmente casi equivalente es...
Estaba confundido acerca de las diferencias entre el puntaje F1, el puntaje Dice y el IoU (intersección sobre unión). Por ahora descubrí que F1 y Dice significan lo mismo (¿verdad?) Y IoU tiene una fórmula muy similar a las otras dos. F1 / Dados: 2 TPAGS2 TPAGS+ FPAGS+
Trato con un problema de detección de fraude (similar a la calificación crediticia). Como tal, existe una relación altamente desequilibrada entre las observaciones fraudulentas y no fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html proporciona una excelente...
La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy...
Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo positivo. Por...
¿Puede alguien resumirme con posibles ejemplos, en qué situaciones el aumento de los datos de capacitación mejora el sistema en general? ¿Cuándo detectamos que agregar más datos de entrenamiento podría sobrepasar los datos y no dar una buena precisión en los datos de la prueba? Esta es una...
Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las...
La precisión se define como: p = verdaderos positivos / (verdaderos positivos + falsos positivos) ¿Cuál es el valor de precisión si (verdaderos positivos + falsos positivos) = 0? ¿Es solo indefinido? La misma pregunta para recordar: r = verdaderos positivos / (verdaderos positivos + falsos...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
Soy nuevo en Machine Learning. En este momento estoy usando un clasificador Naive Bayes (NB) para clasificar textos pequeños en 3 clases como positivos, negativos o neutros, usando NLTK y python. Después de realizar algunas pruebas, con un conjunto de datos compuesto por 300,000 instancias (16,924...
Estoy tratando de entender la curva de recuperación de precisión, entiendo qué son la precisión y la recuperación, pero lo que no entiendo es el valor de "línea de base". Estaba leyendo este enlace https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ y no...
Tengo un conjunto de datos con unos pocos millones de filas y ~ 100 columnas. Me gustaría detectar aproximadamente el 1% de los ejemplos en el conjunto de datos, que pertenecen a una clase común. Tengo una restricción de precisión mínima, pero debido al costo muy asimétrico, no estoy muy interesado...
La puntuación F1 es la media armónica de precisión y recuperación. El eje y de recuperación es una tasa positiva verdadera (que también es recuperación). Entonces, en ocasiones los clasificadores pueden tener un AUC bajo pero muy alto, ¿qué significa eso? ¿Cuáles son las diferencias entre AUC y...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 7 meses . Es fácil encontrar un área de cálculo de...