Me cuesta encontrar una manera de calcular el valor p para el área bajo una característica del operador receptor (ROC). Tengo una variable continua y un resultado de prueba de diagnóstico. Quiero ver si AUROC es estadísticamente significativo. Encontré muchos paquetes relacionados con curvas ROC:...
Estoy ejecutando un clasificador binario en este momento. Cuando trazo la curva ROC obtengo una buena elevación al principio, luego cambia de dirección y cruza la diagonal y, por supuesto, retrocede, haciendo que la curva tenga una forma de S inclinada. ¿Qué puede ser una interpretación /...
Tengo 100,000 observaciones (9 variables indicadoras ficticias) con 1000 positivos. La regresión logística debería funcionar bien en este caso, pero la probabilidad de corte me desconcierta. En la literatura común, elegimos 50% de corte para predecir 1s y 0s. No puedo hacer esto ya que mi modelo...
Estoy trabajando con datos desequilibrados, donde hay alrededor de 40 casos de clase = 0 para cada clase = 1. Puedo discriminar razonablemente entre las clases usando características individuales, y entrenar a un ingenuo clasificador Bayes y SVM en 6 características y datos balanceados arrojaron...
Me gustaría comparar 2 clasificadores diferentes para un problema de clasificación de texto multiclase que utiliza grandes conjuntos de datos de entrenamiento. Dudo si debo usar curvas ROC o curvas de aprendizaje para comparar los 2 clasificadores. Por un lado, las curvas de aprendizaje son útiles...
He creado algunos modelos de regresión de Cox y me gustaría ver qué tan bien funcionan estos modelos y pensé que quizás una curva ROC o una estadística c podría ser útil de manera similar al uso de estos artículos: JN Armitage och JH van der Meulen, "Identificar la comorbilidad en pacientes...
Especialmente en el lado orientado a la informática de la literatura de aprendizaje automático, el AUC (área bajo la curva característica del operador receptor) es un criterio popular para evaluar clasificadores. ¿Cuáles son las justificaciones para usar las AUC? Por ejemplo, ¿hay una función de...
Cuando se realiza una validación cruzada de 5 veces (por ejemplo), es típico calcular una curva ROC separada para cada uno de los 5 pliegues y, a menudo, una curva ROC media con std. dev. se muestra como grosor de curva. Sin embargo, para la validación cruzada de LOO, donde solo hay un único punto...
Leí este subtítulo en un documento y nunca he visto a AUC descrito de esta manera en ningún otro lugar. ¿Es esto cierto? ¿Hay alguna prueba o una forma simple de ver esto? La figura 2 muestra la precisión de predicción de variables dicotómicas expresadas en términos del área bajo la curva...
Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos...
Me gustaría calcular d prime para una tarea de memoria que implica detectar elementos antiguos y nuevos. El problema que tengo es que algunos de los sujetos tienen una tasa de aciertos de 1 y / o una tasa de falsa alarma de 0, lo que hace que las probabilidades sean del 100% y 0%, respectivamente....
Quiero encontrar el punto de corte para el género basado en una medición antropológica. Puedo dibujar las curvas y sé que en caso de que la sensibilidad y la especificidad sean igualmente importantes, se debe determinar el punto más cercano a la esquina superior izquierda del cuadro (o si la curva...
Considere una matriz de entrada y una salida binaria y .XXXyyy Una forma común de medir el rendimiento de un clasificador es usar curvas ROC. En una gráfica ROC, la diagonal es el resultado que se obtendría de un clasificador aleatorio. En caso de una salida no balanceada el rendimiento de un...
Actualmente estoy comparando tres métodos y tengo la precisión, auROC y auPR como métricas. Y tengo los siguientes resultados: Método A - acc: 0.75, auROC: 0.75, auPR: 0.45 Método B - acc: 0.65, auROC: 0.55, auPR: 0.40 Método C - acc: 0.55, auROC: 0.70, auPR: 0.65 Tengo una buena comprensión...
Estoy usando 2 tipos de regresión logística: uno es el tipo simple, para la clasificación binaria, y el otro es la regresión logística ordinal. Para calcular la precisión del primero, utilicé la validación cruzada, donde calculé el AUC para cada pliegue y luego calculé el AUC medio. ¿Cómo puedo...
Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5...
Tengo datos etiquetados de 2 clases en los que estoy realizando la clasificación usando múltiples clasificadores. Y los conjuntos de datos están bien equilibrados. Al evaluar el rendimiento de los clasificadores, debo tener en cuenta cuán preciso es el clasificador para determinar no solo los...
Estoy usando el enfoque bootstrap para la validación interna de un modelo multivariado construido con regresión logística estándar O red elástica. El procedimiento que uso es el siguiente: 1) construya el modelo utilizando todo el conjunto de datos, obtenga los valores pronosticados y calcule...
¿Cómo puedo calcular la sensibilidad y la especificidad (o medidas análogas) de una prueba de diagnóstico continuo para predecir un resultado continuo (por ejemplo, presión arterial) sin dicotomizar el resultado? ¿Algunas ideas? Parece que los investigadores han hecho esto usando modelos de...
Hola compañeros de número Quiero generar n puntajes aleatorios (junto con una etiqueta de clase) como si hubieran sido producidos por un modelo de clasificación binaria. En detalle, se requieren las siguientes propiedades: cada puntaje está entre 0 y 1 cada puntaje está asociado con una etiqueta...