¿Es significativo probar la normalidad con un tamaño de muestra muy pequeño (p. Ej., N = 6)?

Tengo un tamaño de muestra de 6. En tal caso, ¿tiene sentido evaluar la normalidad con la prueba de Kolmogorov-Smirnov? Usé SPSS. Tengo un tamaño de muestra muy pequeño porque lleva tiempo obtener cada uno. Si no tiene sentido, ¿cuántas muestras es el número más bajo que tiene sentido analizar?

Nota: hice algunos experimentos relacionados con el código fuente. La muestra es el tiempo empleado para codificar en una versión de software (versión A) En realidad, tengo otro tamaño de muestra de 6, que es el tiempo empleado para codificar en otra versión de software (versión B)

Me gustaría hacer una prueba de hipótesis utilizando una prueba t de una muestra para probar si el tiempo empleado en la versión de código A es diferente del tiempo empleado en la versión de código B o no (este es mi H1). La condición previa de la prueba t de una muestra es que los datos que se van a probar tienen que distribuirse normalmente. Es por eso que necesito probar la normalidad.

Sí.

Todas las pruebas de hipótesis tienen dos propiedades sobresalientes : su tamaño (o "nivel de significancia"), un número que está directamente relacionado con la confianza y las tasas de falsos positivos esperados, y su poder, que expresa la posibilidad de falsos negativos. Cuando los tamaños de muestra son pequeños y continúa insistiendo en un tamaño pequeño (alta confianza), la potencia empeora. Esto significa que las pruebas de muestra pequeña generalmente no pueden detectar diferencias pequeñas o moderadas. Pero todavía son significativos .

La prueba de KS evalúa si la muestra parece provenir de una distribución Normal. Una muestra de seis valores tendrá que parecer altamente no normal, de hecho, para reprobar esta prueba. Pero si lo hace, puede interpretar este rechazo del nulo exactamente como lo interpretaría con tamaños de muestra más altos. Por otro lado, si la prueba no puede rechazar la hipótesis nula, eso le dice poco, debido a la alta tasa de falsos negativos. En particular, sería relativamente arriesgado actuar como si la distribución subyacente fuera Normal.

Una cosa más a tener en cuenta aquí: algunos programas utilizan aproximaciones para calcular los valores p de las estadísticas de prueba. A menudo, estas aproximaciones funcionan bien para muestras de gran tamaño, pero actúan mal para muestras muy pequeñas. Cuando este es el caso, no puede confiar en que el valor p se haya calculado correctamente, lo que significa que no puede estar seguro de que se haya alcanzado el tamaño de prueba deseado. Para más detalles, consulte la documentación de su software.

Algunos consejos: la prueba KS es sustancialmente menos potente para probar la normalidad que otras pruebas específicamente construidas para este propósito. La mejor de ellas es probablemente la prueba de Shapiro-Wilk , pero otras de uso común y casi tan poderosas son Shapiro-Francia y Anderson-Darling .

Este gráfico muestra la distribución del estadístico de prueba de Kolmogorov-Smirnov en 10,000 muestras de seis variantes distribuidas normalmente:

$\alpha=5\%$

0.000, 0.001, 0.002, 1.000, 1.001, 1000000

El estadístico de prueba es 0.5 (que es menor que el valor crítico). Tal muestra sería rechazada utilizando las otras pruebas de normalidad.

Como @whuber preguntó en los comentarios, una validación para mi NO categórico. editar: con la prueba shapiro, ya que la prueba ks de una muestra se usa de manera incorrecta. Whuber es correcto: para el uso correcto de la prueba de Kolmogorov-Smirnov, debe especificar los parámetros de distribución y no extraerlos de los datos. Sin embargo, esto es lo que se hace en paquetes estadísticos como SPSS para una prueba KS de una muestra.

Intenta decir algo sobre la distribución y desea verificar si puede aplicar una prueba t. Por lo tanto, esta prueba se realiza para confirmar que los datos no se apartan de la normalidad de manera suficientemente significativa como para invalidar los supuestos subyacentes del análisis. Por lo tanto, no le interesa el error tipo I, sino el error tipo II.

Ahora hay que definir "significativamente diferente" para poder calcular el mínimo n para una potencia aceptable (digamos 0.8). Con las distribuciones, eso no es sencillo de definir. Por lo tanto, no respondí la pregunta, ya que no puedo dar una respuesta sensata aparte de la regla general que uso: n> 15 yn <50. ¿Basado en qué? Básicamente se siente, así que no puedo defender esa elección aparte de la experiencia.

Pero sí sé que con solo 6 valores, su error tipo II está destinado a ser casi 1, lo que hace que su potencia sea cercana a 0. Con 6 observaciones, la prueba de Shapiro no puede distinguir entre una distribución normal, poisson, uniforme o incluso exponencial. Con un error tipo II casi 1, el resultado de su prueba no tiene sentido.

Para ilustrar las pruebas de normalidad con la prueba de shapiro:

shapiro.test(rnorm(6)) # test a the normal distribution
shapiro.test(rpois(6,4)) # test a poisson distribution
shapiro.test(runif(6,1,10)) # test a uniform distribution
shapiro.test(rexp(6,2)) # test a exponential distribution
shapiro.test(rlnorm(6)) # test a log-normal distribution

El único donde aproximadamente la mitad de los valores son menores que 0.05, es el último. Cuál es también el caso más extremo.

si quieres saber cuál es el mínimo n que te da el poder que te gusta con la prueba de shapiro, puedes hacer una simulación como esta:

results <- sapply(5:50,function(i){
  p.value <- replicate(100,{
    y <- rexp(i,2)
    shapiro.test(y)$p.value
  })
  pow <- sum(p.value < 0.05)/100
  c(i,pow)
})

que te da un análisis de poder como este:

de lo cual concluyo que necesita aproximadamente un mínimo de 20 valores para distinguir una distribución exponencial de una distribución normal en el 80% de los casos.

trama de código:

plot(lowess(results[2,]~results[1,],f=1/6),type="l",col="red",
    main="Power simulation for exponential distribution",
    xlab="n",
    ylab="power"
)

La pregunta planteada aquí tiene una idea errónea de por qué se requiere la verificación de Normalidad para un tamaño de muestra de 6. Aquí el objetivo principal es "probar si el tiempo empleado en la versión de código A es diferente del tiempo empleado en la versión de código B o no ( Este es mi H1) ". Cuando se usa la palabra "diferir", ¿es una prueba de cola? Sin embargo, la prueba de normalidad es un segundo paso. El primer paso es verificar la adecuación de la potencia predeterminada (1-β) de la prueba para un tamaño de muestra dado cuando la potencia es muy mala, ¿para qué sirve probar la condición de normalidad? La comprobación de la condición de normalidad nos ayudará a decidir si realizar una prueba paramétrica o no paramétrica. Si el tamaño de su muestra no tiene la potencia adecuada, ¿por qué debería pensar en la prueba de Normalidad?