En R cómo calcular el valor p para el área bajo ROC

Me cuesta encontrar una manera de calcular el valor p para el área bajo una característica del operador receptor (ROC). Tengo una variable continua y un resultado de prueba de diagnóstico. Quiero ver si AUROC es estadísticamente significativo.

Encontré muchos paquetes relacionados con curvas ROC: pROC, ROCR, caTools, verificación, Epi. Pero incluso después de pasar muchas horas leyendo la documentación y las pruebas, no pude encontrar cómo. Creo que me lo perdí.

En su situación, estaría bien trazar una curva ROC y calcular el área bajo esa curva, pero esto debe considerarse como un complemento de su análisis principal, en lugar del análisis primario en sí. En cambio, desea ajustar un modelo de regresión logística .

El modelo de regresión logística vendrá de serie con una prueba del modelo en su conjunto. (En realidad, dado que solo tiene una variable, ese valor p será el mismo que el valor p para la variable de resultado de la prueba). Ese valor p es el que busca. El modelo le permitirá calcular la probabilidad pronosticada de que una observación esté enferma. Una característica de funcionamiento del receptor le indica cómo se compensarán la sensibilidad y la especificidad , si utiliza diferentes umbrales para convertir la probabilidad pronosticada en una clasificación pronosticada. Dado que la probabilidad pronosticada será una función de la variable de resultado de su prueba, también le indica cómo se intercambian si utiliza diferentes valores de resultados de prueba como su umbral.

Si no está muy familiarizado con la regresión logística, hay algunos recursos disponibles en Internet (además de la página de Wikipedia vinculada anteriormente):

• Discuto algunos conceptos básicos en mi respuesta aquí: interpretación de predicciones simples a odds ratios en regresión logística ; y (aunque está escrito en un contexto diferente) proporciono una descripción general de lo que es la regresión logística y cómo se relaciona con la regresión OLS (regular) en mi respuesta aquí: Diferencia entre modelos logit y probit .
• También puede leer algunos de los hilos categorizados bajo nuestra etiqueta logística .
• Para saber cómo encajar un modelo de regresión logística R, el sitio web de ayuda de estadísticas de UCLA es generalmente excelente y tiene una página relevante aquí .

Básicamente desea probar H0 = "El AUC es igual a 0.5".

De hecho, esto equivale a decir H0 = "La distribución de los rangos en los dos grupos es igual".

Esta última es la hipótesis nula de la prueba de Mann-Whitney (Wilcoxon) (véase, por ejemplo , Gold, 1999 ).

En otras palabras, puede utilizar con seguridad una prueba de Mann-Whitney-Wilcoxon para responder a su pregunta (ver, por ejemplo, Mason y Graham, 2002 ). Esto es exactamente lo que hace el paquete de verificación mencionado por Franck Dernoncourt.

Puede usar roc.area () desde la verificación del paquete :

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

Volverá $p.value [1] 0.0069930071

Se pueden comparar dos curvas ROC en pROC usando roc.test(). Esto también produce un valor p. Además, el uso roc(..., auc=TRUE, ci=TRUE)le dará los intervalos de confianza cada vez más bajos junto con el AUC en la salida mientras crea el objeto ROC, lo que puede ser útil.

El siguiente es un código de ejemplo que prueba si las millas por galón o el peso de un automóvil predicen mejor el tipo de transmisión con la que viene equipado (automático o manual):

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

Parece que el peso es un predictor significativamente mejor que el consumo de combustible. Sin embargo, esto está comparando dos curvas, y no una sola curva contra un número como 0.5. Observar el intervalo de confianza para ver si contiene el número 0.5 nos dice si es significativamente diferente, pero no produce un valor p.