¿Puede una muestra ser demasiado grande para ANOVA o una prueba t?

9

Tengo cerca de un millón de conjuntos de datos y cada vez que realizo una prueba de comparación de medias, ya sea ANOVA o una prueba t, obtengo un nivel de significancia de menos de .0001 en SPSS. Me preocupa que mi muestra sea tan grande que, por supuesto, cuando comparo los medios, aparecerá como significativamente diferente. ¿Puede una muestra ser demasiado grande para ANOVA o una prueba t?

anova t-test effect-size large-data user24232
fuente
3
La pregunta está bastante bien cubierta, así que solo un comentario: es más una pregunta para la que ya estás haciendo una pregunta para la que ya sabes la respuesta (realmente no crees que la población significa que será exactamente igual, ¿verdad?), Y tiene un tamaño de muestra suficiente para dar la respuesta ya obvia pero no muy interesante de que, de hecho, existen diferencias, incluso si son pequeñas. Los tamaños de efecto y los intervalos de confianza son más útiles que los valores p, y sus preguntas interesantes tienden a ir más a cuestiones de sesgo y a describir las diferencias que existen y juzgar su importancia práctica.
Glen_b -Reinstate Monica el

Respuestas:

16

No, una muestra no puede ser demasiado grande para un ANOVA o una prueba t. Casi siempre obtendrás resultados estadísticamente significativos porque tienes una gran cantidad de poder; sin embargo, esto no significa que detecte diferencias que son falsas. De hecho, independientemente de cuántos casos tenga, un efecto que no exista no será significativo. Este es un error común.

Sin embargo, una gran cantidad de potencia significa que puede detectar diferencias que casi no tienen sentido en términos de tamaño. Por ejemplo, tal vez descubras que dos carreras son en promedio de diferentes alturas, pero la diferencia es solo medio milímetro.

Asegúrese de interpretar el tamaño del efecto asociado con su prueba estadística. ¡En este caso, el valor p vale menos que el tamaño del efecto (como suele ser)!

Behacad
fuente
Muy correcto (+1). El único problema que pude ver es si te encuentras con problemas de memoria y tiempo de ejecución. Con las computadoras modernas, creo que tomaría más de 1 millón de casos para cosas simples como ANOVA o prueba t.
Peter Flom
¿Qué sucede cuando el tamaño de la muestra es igual al tamaño de la población? ¿Cómo se elige entonces el valor p?
Sharath
2

Le sugerimos que mire lo siguiente (todo muy legible y no técnico).
1. Anderson DR, Burnham KP, Thompson WL (2000) Pruebas de hipótesis nulas: problemas, prevalencia y una alternativa. Journal of Wildlife Management 64: 912-923. 2. Gigerenzer G (2004) Estadísticas sin sentido. Journal of Socio-Economics 33: 587-606. 3. Johnson DH (1999) La insignificancia de las pruebas de significación estadística. The Journal of Wildlife Management 63: 763-772.

Tom Wilding
fuente