¿El LSD de Fisher es tan malo como dicen?

Cuando realizamos experimentos (en tamaños de muestra pequeños (generalmente el tamaño de muestra por grupo de tratamiento es de aproximadamente 7 ~ 8)) en dos grupos, utilizamos una prueba t para comprobar la diferencia. Sin embargo, cuando realizamos un ANOVA (obviamente para más de dos grupos), usamos algo similar a Bonferroni (LSD / # de comparaciones por pares) o Tukey's como un post hoc, y como estudiante, me han advertido de utilizando la menor diferencia significativa de Fisher (LSD).

Ahora la cuestión es que el LSD es similar a la prueba t por pares (¿estoy en lo cierto?), Por lo que lo único que no tiene en cuenta es que estamos haciendo comparaciones múltiples. ¿Qué tan importante es eso cuando se trata con digamos 6 grupos, si el ANOVA es en sí mismo significativo?

O en otras palabras, ¿hay alguna razón científica / estadística para usar un LSD de Fisher?

El LSD de Fisher es, de hecho, una serie de pruebas t por pares, y cada prueba utiliza el error cuadrático medio del ANOVA significativo como su estimación de la varianza agrupada (y, naturalmente, toma los grados de libertad asociados). Que el ANOVA sea significativo es una restricción adicional de esta prueba.

Restringe la tasa de error familiar a alfa en el caso especial de solo 3 grupos. Howell tiene una explicación muy buena y relativamente simple de cómo lo hace en el Capítulo 16 de su libro Estadísticas fundamentales para las ciencias del comportamiento, octava edición, David C. Howell .

Por encima de 3 grupos, el alfa se infla rápidamente (como @Alexis ha indicado anteriormente). Ciertamente no es apropiado para 6 grupos. Creo que es esta aplicabilidad limitada lo que hace que la mayoría de las personas sugieran ignorarlo como una opción.

¿Qué importancia tienen las comparaciones múltiples cuando se trata de 6 grupos? Bueno ... con seis grupos estás lidiando con un máximo de posiblescomparaciones por parespost hoc. Dejaré que el inestimable Randall Munroe aborde la importancia de las comparaciones múltiples:$\frac{6(6-1)}{2} = 15$

Y agregaré que si, como en su oración inicial, sugiere que a veces tiene siete grupos, entonces el número máximo de pruebas por pares post hoc es $\frac{7(7-1)}{2} = 21$

La prueba de Fisher es tan mala como todos dicen que es desde el punto de vista de Neyman-Pearson y si haces lo que tu pregunta implica, después de una prueba ANOVA significativa, prueba cada diferencia individual. Puedes ver esto en muchas publicaciones artículos . Pero, probar todas las diferencias después de un ANOVA, o cualquiera de ellas, no es necesario ni recomendable. Y, la prueba de Fisher no fue diseñada bajo una teoría de inferencia estadística de Neyman-Pearson.

Es importante tener en cuenta que, cuando Fisher propuso el LSD, en realidad no consideró que las pruebas múltiples fueran un problema importante porque no consideró que el límite de importancia fuera una regla difícil y rápida para decidir si los resultados eran importantes o no. Se podría construir un LSD como una manera fácil de examinar los datos para obtener resultados significativos, pero no el árbitro de lo que era significativo. Recuerde, fue Fisher quien dijo que debería ejecutar más sujetos si p > 0.05.

¿Y por qué crees que probar todo es una buena idea? Considere por qué ejecuta un ANOVA en primer lugar. Probablemente te hayan enseñado que es porque ejecutar múltiples pruebas t es problemático, ya que intimas en tu pregunta. Entonces, ¿por qué los ejecutas, o su equivalente después? Sé que sucede, pero todavía tengo que ejecutar una prueba después de un ANOVA. Un ANOVA le dice que su patrón de datos no es un conjunto de valores iguales, que puede haber algún significado allí. Muchas personas se obsesionan con la advertencia de que la prueba no le dice dónde están los bits significativos, pero olvidan que los datos y las teorías lo dicen.

El razonamiento detrás del LSD de Fisher se puede extender a casos más allá de N = 3.

Discutiré el caso de cuatro grupos en detalle. Para mantener la tasa de error tipo I familiar en 0.05 o menos, es suficiente un factor de corrección de comparación múltiple de 3 (es decir, un alfa por comparación de 0.05 / 3), aunque hay seis comparaciones post-hoc entre los cuatro grupos. Esto es porque:

• en caso de que las cuatro medias verdaderas sean iguales, el ómnibus Anova sobre los cuatro grupos limita la tasa de error familiar a 0.05;
• en caso de que tres de los medios verdaderos sean iguales y el cuarto difiera de ellos, solo hay tres comparaciones que podrían generar un error Tipo I;
• en caso de que dos de los medios verdaderos sean iguales y difieran de los otros dos, que son iguales entre sí, solo hay dos comparaciones que podrían generar un error de Tipo I.

Esto agota las posibilidades. En todos los casos, la probabilidad de encontrar uno o más valores p por debajo de 0.05 para grupos cuyas medias verdaderas son iguales, permanece en o por debajo de 0.05 si el factor de corrección para comparaciones múltiples es 3, y esta es la definición de la tasa de error familiar.

Este razonamiento para cuatro grupos es una generalización de la explicación de Fisher para su método de la diferencia menos significativa de tres grupos. Para los grupos N , el factor de corrección, si la prueba general de Anova es significativa, es ( N -1) ( N -2) / 2. Entonces, la corrección de Bonferroni, por un factor de N ( N -1) / 2, es demasiado fuerte. Es suficiente usar un factor de corrección alfa de 1 para N = 3 (es por eso que el LSD de Fisher funciona para N = 3), un factor de 3 para N = 4, un factor de 6 para N = 5, un factor de 10 para N = 6, y así sucesivamente.