Determine si un proceso distribuido de cola pesada ha mejorado significativamente

Observo los tiempos de procesamiento de un proceso antes y después de un cambio para averiguar si el proceso ha mejorado con el cambio. El proceso ha mejorado si se reduce el tiempo de procesamiento. La distribución del tiempo de procesamiento es de cola gruesa, por lo que la comparación basada en el promedio no es razonable. En cambio, me gustaría saber si la probabilidad de observar un menor tiempo de procesamiento después del cambio es significativamente superior al 50%.

Sea la variable aleatoria para el tiempo de procesamiento después del cambio e Y la anterior. Si P ( X < Y ) está significativamente por encima de 0.5, entonces diría que el proceso ha mejorado.$X$$Y$$P(X < Y)$$0.5$

Ahora tengo observaciones xi i de X y m observaciones y j de Y . La observada probabilidad de P ( X < Y ) es p = $n$$x_i$$X$$m$$y_j$$Y$$P(X < Y)$.$\hat p = \frac{1}{n m} \sum_i \sum_j 1_{x_i < y_j}$

¿Qué puedo decir sobre dadas las observaciones x i e y j ?$P(X < Y)$$x_i$$y_j$

Su estimación p es igual a la de Mann-Whitney U estadística dividido por m n (gracias, Glen!), Y por lo tanto es equivalente a la suma de rangos de Wilcoxon estadística W (también conocida como la estadística de Wilcoxon-Mann-Whitney): W = U + n ( n + 1 )$\hat{p}$$U$$mn$$W$$W = U + {n(n+1)\over{2}}$ , donde$n$es el tamaño de muestra de$y$(suponiendo que no hay vínculos). Por lo tanto, puede usar tablas / software de la prueba de Wilcoxon y transformarlos nuevamente en$U$para obtener un intervalo de confianza o unvalor$p$.

Sea $m$ el tamaño de muestra de $x$ , $N$ = $m+n$ . Entonces, asintóticamente,

$W^* = \frac{W-\frac{m(N+1)}{2}}{\sqrt{\frac{mn(N+1)}{12}}} \sim \text{N}(0,1)$

Fuente: Hollander y Wolfe , Métodos estadísticos no paramétricos, aproximadamente p. 117, pero probablemente la mayoría de los libros de estadísticas no paramétricas lo llevarán allí.

@jbowman proporciona una solución estándar (agradable) al problema de estimar que se conoce como modelo de resistencia al estrés .$\theta=P(X<Y)$

Se propuso otra alternativa no paramétrica en Baklizi y Eidous (2006) para el caso en que e Y son independientes. Esto se describe a continuación.$X$$Y$

Por definición tenemos eso

donde es la CDF de X y f Y es la densidad de Y . Luego, usando las muestras de X e Y , podemos obtener estimadores del núcleo de F X y f Y y, en consecuencia, un estimador de $F_X$$X$$f_Y$$Y$$X$$Y$$F_X$$f_Y$$\theta$

Esto se implementa en el siguiente código R utilizando un núcleo gaussiano.

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r )
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

# Example when X and Y are Cauchy
datx = rcauchy(100,0,1)
daty =  rcauchy(100,0,1)

nonpest(datx,daty)

Para obtener un intervalo de confianza para , puede obtener una muestra de arranque de este estimador de la siguiente manera.$\theta$

# bootstrap
B=1000
p = rep(0,B)

for(j in 1:B){
dat1 =  sample(datx,length(datx),replace=T)
dat2 =  sample(daty,length(daty),replace=T)
p[j] = nonpest(dat1,dat2)
}

# histogram of the bootstrap sample
hist(p)

# A confidence interval (quantile type)
c(quantile(p,0.025),quantile(p,0.975))

También se pueden considerar otros tipos de intervalos de arranque.

$X_i-Y_i$$P(X_i-Y_i<0) = p$$I\{X_i-Y_i<0\}$$i=1,2,..,n$$X$$X_i < Y_i$$n$ $p=P(X_i-Y_i<0)$$X/n$