Prueba de Kolmogorov-Smirnov versus prueba t

Tengo algunas dificultades para comprender la interpretación de la prueba KS de 2 muestras y cómo es diferente de una prueba t normal entre 2 grupos.

Digamos que tengo hombres y mujeres haciendo alguna tarea y yo obtengo algunos puntajes de esa tarea. Mi objetivo final es determinar si los hombres y las mujeres se desempeñan de manera diferente en esa tarea

Entonces, una cosa que podría hacer es ejecutar una prueba entre los 2 grupos. Otra cosa que podría hacer es calcular el ECDF para hombres y mujeres, trazarlos y realizar la prueba KS de 2 muestras. Obtendría algo como esto:

Prueba de KS

La hipótesis nula para la prueba KS es que los 2 conjuntos de distribuciones de puntaje continuo provienen de la misma población

Al realizar la prueba KS, obtengo: D = 0.18888, valor p = 0.04742

Primero, quiero verificar que mi interpretación de los resultados sea correcta. Aquí, rechazaría la hipótesis nula y diría que las distribuciones de puntajes masculinos y femeninos provienen de diferentes poblaciones. O, en otras palabras, la distribución de los puntajes masculinos y femeninos es diferente entre sí.

Más específicamente, los hombres tienden a tener una mayor probabilidad de lograr puntajes más bajos en esta tarea, y esa es la diferencia entre los dos sexos según interpreto de la trama

Prueba T

Ahora en la prueba se probará la diferencia entre las medias masculinas y femeninas en la variable de puntuación.

Imaginemos el caso en el que el rendimiento masculino es peor que el de las mujeres en esta tarea. En ese caso, la distribución de puntajes masculinos se centrará en una media baja, mientras que la distribución de puntajes femeninos se centrará en una media alta. Este escenario estaría en línea con la gráfica anterior, ya que los hombres tendrán una mayor probabilidad de lograr puntuaciones más bajas.

Si la prueba t resulta ser significativa, concluiría que las mujeres obtienen, en promedio, una puntuación significativamente más alta que los hombres. O en términos de población, los puntajes femeninos se extraen de una población cuya media es más alta que la población masculina, lo que suena muy similar a la conclusión de KS de que provienen de diferentes poblaciones.

¿Cual es la diferencia?

Entonces, la conclusión que sacaría en los casos de prueba KS y t es la misma. Los hombres se desempeñan mal en relación con las mujeres Entonces, ¿cuál es el beneficio de usar una prueba sobre la otra? ¿Hay algún conocimiento nuevo que pueda obtener al usar la prueba KS?

A mi modo de ver, los hombres con una distribución centrada alrededor de una media baja y las mujeres centradas alrededor de una media alta es lo que causa la prueba t significativa. Pero por ese mismo hecho , los hombres tendrán una mayor probabilidad de obtener valores más bajos, lo que provocaría que la trama se parezca a la anterior y proporcione una prueba KS significativa. Por lo tanto, los resultados de ambas pruebas tienen la misma causa subyacente, pero tal vez se podría argumentar que una prueba de KS toma en cuenta más que solo los medios de las distribuciones y también considera la forma de la distribución, pero ¿es posible analizar la causa? de la prueba significativa de KS solo de los resultados de la prueba?

Entonces, ¿cuál es el valor de ejecutar una prueba KS durante la prueba? Y supongamos que puedo cumplir con los supuestos de la prueba t para esta pregunta

Como ejemplo de por qué querría usar la prueba de dos muestras de Kolmogorov-Smirnov:

Imagine que las medias poblacionales fueran similares pero que las variaciones fueran muy diferentes. La prueba de Kolmogorov-Smirnov podría detectar esta diferencia, pero la prueba t no.

O imagine que las distribuciones tienen medios y SD similares, pero los machos tienen una distribución bimodal (rojo) mientras que las hembras (azul) no:

¿Los hombres y las mujeres se desempeñan de manera diferente? Sí, los machos tienden a anotar en algún lugar alrededor de 7.5-8 o 12.5-13, mientras que las hembras tienden a anotar más hacia el medio (cerca de 10 más o menos) pero están mucho menos agrupados sobre ese valor que los dos valores los machos tienden a puntuar cerca.

Por lo tanto, Kolmogorov-Smirnov puede encontrar diferencias de distribución mucho más generales que la prueba t.