¿Necesitamos una prueba global antes de las pruebas post hoc?

A menudo escucho que las pruebas post hoc después de un ANOVA solo se pueden usar si el ANOVA en sí mismo fue significativo.

• Sin embargo, las pruebas post hoc ajustan los valores para mantener la tasa de error global tipo I al 5%, ¿no?$p$
• Entonces, ¿por qué necesitamos la prueba global primero?

• Si no necesitamos una prueba global, ¿es correcta la terminología "post hoc"?

• ¿O hay múltiples tipos de pruebas post hoc, algunas suponiendo un resultado de prueba global significativo y otras sin esa suposición?

Dado que las pruebas de comparación múltiple a menudo se llaman 'pruebas posteriores', pensaría que siguen lógicamente el ANOVA unidireccional. De hecho, esto no es así.

" Una práctica común desafortunada es buscar comparaciones múltiples solo cuando se rechaza la hipótesis del casco de homogeneidad " ( Hsu, página 177 )

¿Serán válidos los resultados de las pruebas posteriores si el valor general de P para el ANOVA es mayor que 0.05?

Sorprendentemente, la respuesta es sí. Con una excepción, las pruebas posteriores son válidas incluso si el ANOVA general no encontró una diferencia significativa entre las medias.

La excepción es la primera prueba de comparación múltiple inventada, la prueba protegida de la menor diferencia significativa de Fisher (LSD). El primer paso de la prueba LSD protegida es verificar si el ANOVA general rechaza la hipótesis nula de medios idénticos. Si no es así, no se deben hacer comparaciones individuales. Pero esta prueba de LSD protegida está pasada de moda y ya no se recomienda.

¿Es posible obtener un resultado 'significativo' de una prueba de comparaciones múltiples incluso cuando el ANOVA general no fue significativo?

Sí, es posible. La excepción es la prueba de Scheffe. Se entrelaza con la prueba general de F. Si el ANOVA general tiene un valor P mayor que 0.05, entonces la prueba de Scheffe no encontrará ninguna prueba posterior significativa. En este caso, realizar pruebas posteriores después de un ANOVA general no significativo es una pérdida de tiempo, pero no dará lugar a conclusiones no válidas. Pero otras pruebas de comparación múltiple pueden encontrar diferencias significativas (a veces) incluso cuando el ANOVA general no mostró diferencias significativas entre los grupos.

¿Cómo puedo entender la aparente contradicción entre un ANOVA que dice, en efecto, que todos los medios grupales son idénticos y que una prueba encuentra diferencias?

El ANOVA unidireccional general prueba la hipótesis nula de que todos los grupos de tratamiento tienen valores medios idénticos, por lo que cualquier diferencia que haya observado se debe al muestreo aleatorio. Cada prueba posterior prueba la hipótesis nula de que dos grupos particulares tienen medias idénticas.

Las pruebas posteriores están más centradas, por lo que tienen el poder de encontrar diferencias entre los grupos, incluso cuando el ANOVA general informa que las diferencias entre las medias no son estadísticamente significativas.

¿Son útiles los resultados del ANOVA general?

ANOVA prueba la hipótesis nula general de que todos los datos provienen de grupos que tienen medios idénticos. Si esa es su pregunta experimental, si los datos proporcionan evidencia convincente de que los medios no son todos idénticos, entonces ANOVA es exactamente lo que desea. Con mayor frecuencia, sus preguntas experimentales están más enfocadas y respondidas por múltiples pruebas de comparación (pruebas posteriores). En estos casos, puede ignorar con seguridad los resultados generales de ANOVA y pasar directamente a los resultados posteriores a la prueba.

Tenga en cuenta que todos los cálculos de comparación múltiple utilizan el resultado del cuadrado medio de la tabla ANOVA. Entonces, incluso si no le importa el valor de F o el valor de P, las pruebas posteriores aún requieren que se calcule la tabla ANOVA.

(1) Las pruebas post hoc podrían o no alcanzar la tasa de error global nominal de Tipo I, dependiendo de (a) si el analista está ajustando el número de pruebas y (b) en qué medida las pruebas post-hoc son independientes de una otro. Aplicar una prueba global primero es una protección bastante sólida contra el riesgo de (incluso inadvertidamente) descubrir resultados espurios "significativos" de espionaje de datos post-hoc .

(2) Hay un problema de poder. Es bien sabido que una prueba ANOVA F global puede detectar una diferencia de medias incluso en los casos en que ninguna prueba t individual de ninguno de los pares de medias arroje un resultado significativo. En otras palabras, en algunos casos los datos pueden revelar que los medios verdaderos probablemente difieren, pero no pueden identificar con suficiente confianza qué pares de medios difieren.