Tamaños de muestra desiguales: cuándo cerrarlo

Estoy revisando por pares un artículo de revista académica y los autores escribieron lo siguiente como justificación para no informar ninguna estadística inferencial (identifiqué la naturaleza de los dos grupos):

En total, 25 de los 2.349 (1,1%) encuestados informó X . Nos abstenemos de presentar análisis que comparen estadísticamente el grupo X con el grupo Y (los otros 2,324 participantes) ya que esos resultados podrían estar fuertemente impulsados ​​por casualidad con un resultado tan raro.

Mi pregunta es ¿están justificados los autores de este estudio al tirar la toalla con respecto a la comparación de grupos? Si no, ¿qué podría recomendarles?

Las pruebas estadísticas no hacen suposiciones sobre el tamaño de la muestra. Hay, por supuesto, diferentes supuestos con varias pruebas (por ejemplo, normalidad), pero la igualdad de tamaños de muestra no es una de ellas. A menos que la prueba utilizada sea inapropiada de alguna otra manera (no puedo pensar en un problema en este momento), la tasa de error de tipo I no se verá afectada por tamaños de grupo drásticamente desiguales. Además, su redacción implica (en mi opinión) que creen que lo hará. Por lo tanto, están confundidos acerca de estos problemas.

Por otro lado, las tasas de error de tipo II se verán muy afectadas por s altamente desiguales . Esto será cierto sin importar la prueba (por ejemplo, la prueba t , la prueba U de Mann-Whitney o la prueba z para la igualdad de proporciones se verán afectadas de esta manera). Para ver un ejemplo de esto, vea mi respuesta aquí: ¿Cómo debería uno interpretar la comparación de medias de diferentes tamaños de muestra? Por lo tanto, pueden estar "justificados al tirar la toalla" con respecto a este tema. (Específicamente, si espera obtener un resultado no significativo si el efecto es real o no, ¿cuál es el punto de la prueba?) $n$$t$$U$$z$

A medida que los tamaños de muestra divergen, la potencia estadística convergerá a . Este hecho en realidad lleva a una sugerencia diferente, de la cual sospecho que pocas personas han oído hablar y probablemente tendrían problemas para obtener revisores anteriores (sin intención de ofender): un análisis de poder de compromiso . La idea es relativamente sencilla: en cualquier análisis de potencia, α , β , n 1 , n 2 y el tamaño del efecto d , existen en relación entre sí. Habiendo especificado todos menos uno, puede resolver el último. Por lo general, las personas hacen lo que se llama un análisis de poder a priori , en el que resuelves $\alpha$$\alpha$$\beta$$n_1$$n_2$$d$$N$(generalmente está asumiendo ). Por otro lado, se puede fijar n 1 , n 2 , y D , y resolver para α (o equivalentemente β ), si se especifica la relación de tipo I a tipo II índices de error que usted está dispuesto a aceptar. Convencionalmente, α = .05 y β = .20 , entonces usted dice que los errores de tipo I son cuatro veces peores que los errores de tipo I. Por supuesto, un investigador dado podría estar en desacuerdo con eso, pero habiendo especificado una proporción dada, puede resolver qué $n_1=n_2$$n_1$$n_2$$d$$\alpha$$\beta$$\alpha=.05$$\beta=.20$$\alpha$debe usarlo para mantener una potencia adecuada. Este enfoque es una opción lógicamente válida para los investigadores en esta situación, aunque reconozco que lo exótico de este enfoque puede dificultar su venta en la comunidad de investigación más grande que probablemente nunca haya oído hablar de tal cosa.

Si bien la respuesta de @gung es excelente, creo que hay un tema importante que debe tenerse en cuenta al mirar grupos de tamaños muy diferentes. En general, siempre que se cumplan todos los requisitos de la prueba, la diferencia en los tamaños de los grupos no es importante.

Sin embargo, en algunos casos, el diferente tamaño del grupo tendrá un efecto dramático en la solidez de la prueba contra las violaciones contra estos supuestos. La prueba t no emparejada clásica de dos muestras, por ejemplo, supone la homongenia de la varianza y es robusta contra las violaciones solo si ambos grupos tienen un tamaño similar (en orden de magnitud). De lo contrario, una variación mayor en el grupo más pequeño conducirá a errores de Tipo I. Ahora con la prueba t esto no es un gran problema ya que comúnmente se usa la prueba t Welch en su lugar y no asume homogeneidad de varianza. Sin embargo, pueden surgir efectos similares en modelos lineales.

En resumen, diría que esto de ninguna manera es un obstáculo para un análisis estadístico, pero debe tenerse en cuenta al decidir cómo proceder.