Comparaciones múltiples con muchos grupos.

Me gustaría determinar si el uso de la prueba de comparaciones múltiples sería apropiado para mis datos. Utilicé la prueba de Kruskal-Wallis para determinar si había diferencias en la inhibición media entre grupos diferentes. El análisis reveló que había diferencias significativas y ahora me gustaría utilizar un procedimiento de comparación múltiple (quizás el de Dunn ya que tengo tamaños de muestra desiguales) para ver qué grupos eran diferentes del resto.$17$

Me preguntaba, ya que tengo muchos grupos ( ), ¿esto haría que una prueba de comparaciones múltiples tuviera muy poco poder o no fuera apropiado para este conjunto de datos?$k = 17$

¡Buena pregunta! Aclaremos alguna confusión potencial, primero. La prueba de Dunn (Dunn, 1964) es precisamente eso: un estadístico de prueba que es un análogo no paramétrico de la prueba t por pares que se realizaría post hoc a un ANOVA. Es similar a la prueba de suma de rango de Mann-Whitney-Wilcoxon, excepto que (1) emplea una medida de la varianza agrupada que está implícita en la hipótesis nula de la prueba de Kruskal-Wallis, y (2) usa la misma clasificación de los datos originales de uno tal como los utiliza la prueba de Kruskal-Wallis.

Dunn también desarrolló lo que comúnmente se conoce como el ajuste de Bonferroni para comparaciones múltiples (Dunn, 1961), que es uno de los muchos métodos para controlar la tasa de error familiar (FWER) que desde entonces se ha desarrollado, y simplemente implica dividir (pruebas de una cola) o (pruebas de dos colas) por el número de comparaciones por pares que uno está haciendo. El número máximo de comparaciones por pares que uno puede hacer con variables es , por lo que son 17 * 16/2 = 136 posibles comparaciones por pares, lo que implica que podría rechazar una hipótesis nula para cualquier prueba individual si . Tu preocupación por el poder$\alpha$$\alpha/2$$k$$k(k-1)/2$$p \le \alpha/2/136$ Por lo tanto, está garantizado para este método.

Sin embargo, existen otros métodos para controlar el FWER con más poder estadístico. Por ejemplo, los métodos escalonados Holm y Holm-Sidak (Holm, 1979) no tienen un poder hemorrágico como lo hace el método Bonferroni. Allí también, podría apuntar a controlar la tasa de descubrimiento falso (FDR), y estos métodos, Benjamini-Hochberg (1995) y Benjamini-Yekutieli (2001), generalmente dan más poder estadístico al suponer que algunas hipótesis nulas son falsas (es decir, construyendo la idea de que no todos los rechazos son falsos rechazos en criterios de rechazo modificados secuencialmente). Estos y otros ajustes de comparaciones múltiples se implementan específicamente para la prueba de Dunn en Stata en el paquete dunntest (dentro del tipo Statanet describe dunntest, from(https://alexisdinno.com/stata)), y en R en el paquete dunn.test .

Además, existe una alternativa a la prueba de Dunn (que se basa en una estadística de prueba z aproximada ): el Conover-Iman (exclusivamente) post hoc a una prueba de Kruskal-Wallis rechazada (que se basa en una distribución t , y que es más poderoso que la prueba de Dunn; Conover e Iman, 1979; Convert, 1999). También se pueden usar los métodos para controlar el FWER o el FDR con las pruebas Conover-Iman, que se implementa para Stata en el paquete conovertest (dentro del tipo Stata net describe conovertest, from(https://alexisdinno.com/stata)) y para R en el paquete conover.test .

Referencias

Benjamini, Y. y Hochberg, Y. (1995). Control de la tasa de descubrimientos falsos: un enfoque práctico y poderoso para las pruebas múltiples . Revista de la Real Sociedad Estadística . Serie B (Metodológico), 57 (1): 289–300.

Benjamini, Y. y Yekutieli, D. (2001). El control de la tasa de descubrimiento falso en múltiples pruebas bajo dependencia . Annals of Statistics , 29 (4): 1165–1188.

Conover, WJ (1999). Estadísticas prácticas no paramétricas . Wiley, Hoboken, NJ, 3a edición.

Conover, WJ e Iman, RL (1979). En procedimientos de comparaciones múltiples . Informe técnico LA-7677-MS, Laboratorio científico de Los Alamos.

Dunn, DO (1961). Múltiples comparaciones entre medias . Revista de la Asociación Americana de Estadística , 56 (293): 52–64.

Dunn, DO (1964). Comparaciones múltiples usando sumas de rango . Technometrics , 6 (3): 241–252.

Holm, S. (1979). Un simple procedimiento de prueba múltiple secuencialmente rechazado . Scandinavian Journal of Statistics , 6 (65-70): 1979.