¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov?

¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov? ¿Cuándo diferirán los resultados de estos dos métodos?

Realmente ni siquiera puede comparar los dos, ya que Kolmogorov-Smirnov es para una distribución completamente especificada (por lo tanto, si está probando la normalidad, debe especificar la media y la varianza; no pueden estimarse a partir de los datos *), mientras que Shapiro-Wilk es para normalidad, con media y varianza no especificadas.

* tampoco puede estandarizar mediante el uso de parámetros estimados y prueba de normal estándar; eso es realmente lo mismo.

Una forma de comparar sería complementar el Shapiro-Wilk con una prueba para la media y la varianza especificadas de manera normal (combinando las pruebas de alguna manera), o haciendo que las tablas KS se ajusten para la estimación de parámetros (pero ya no es distribución -gratis).

Existe una prueba de este tipo (equivalente a Kolmogorov-Smirnov con parámetros estimados): la prueba de Lilliefors; la versión de prueba de normalidad podría compararse válidamente con la Shapiro-Wilk (y generalmente tendrá una potencia más baja). Más competitiva es la prueba de Anderson-Darling (que también debe ajustarse para la estimación de parámetros para que una comparación sea válida).

En cuanto a lo que prueban, la prueba KS (y Lilliefors) analiza la mayor diferencia entre el CDF empírico y la distribución especificada, mientras que Shapiro Wilk compara efectivamente dos estimaciones de varianza; Shapiro-Francia, estrechamente relacionado, puede considerarse como una función monotónica de la correlación al cuadrado en un gráfico QQ; Si no recuerdo mal, el Shapiro-Wilk también tiene en cuenta las covarianzas entre las estadísticas del pedido.

Editado para agregar: Si bien Shapiro-Wilk casi siempre supera la prueba de Lilliefors en alternativas de interés, un ejemplo en el que no lo hace es el en muestras medianas y grandes ( -ish). Allí el Lilliefors tiene mayor poder.$t_{30}$$n>60$

[Debe tenerse en cuenta que hay muchas más pruebas de normalidad disponibles que estas.]

En pocas palabras, la prueba de Shapiro-Wilk es una prueba específica de normalidad, mientras que el método utilizado por la prueba de Kolmogorov-Smirnov es más general, pero menos potente (lo que significa que rechaza correctamente la hipótesis nula de normalidad con menos frecuencia). Ambas estadísticas toman la normalidad como nula y establecen un estadístico de prueba basado en la muestra, pero la forma en que lo hacen es diferente entre sí en formas que los hacen más o menos sensibles a las características de las distribuciones normales.

La forma exacta en que se calcula W (el estadístico de prueba para Shapiro-Wilk) es un poco complicado , pero conceptualmente, implica la matriz de los valores de la muestra por tamaño y la medición del ajuste frente a las medias, variaciones y covarianzas esperadas. Según tengo entendido, estas comparaciones múltiples contra la normalidad le dan a la prueba más poder que la prueba de Kolmogorov-Smirnov, que es una forma en la que pueden diferir.

Por el contrario, la prueba de Kolmogorov-Smirnov para la normalidad se deriva de un enfoque general para evaluar la bondad del ajuste al comparar la distribución acumulativa esperada con la distribución acumulativa empírica, en relación con:

Como tal, es sensible en el centro de la distribución, y no en las colas. Sin embargo, la prueba KS is es convergente, en el sentido de que, como n tiende al infinito, la prueba converge a la respuesta verdadera con probabilidad (creo que el Teorema de Glivenko-Cantelli se aplica aquí, pero alguien puede corregirme). Estas son dos formas más en las que estas dos pruebas pueden diferir en su evaluación de la normalidad.