¿Debo usar la prueba t en datos muy sesgados? Prueba científica, por favor?

Tengo muestras de un conjunto de datos muy sesgado (que parece una distribución exponencial) sobre la participación de los usuarios (por ejemplo, número de publicaciones), que tienen diferentes tamaños (pero no menos de 200) y quiero comparar su media. Para eso, estoy usando pruebas t no emparejadas de dos muestras (y pruebas t con el factor de Welch, cuando las muestras tenían diferentes variaciones). Como he escuchado, para muestras realmente grandes, no importa que la muestra no esté distribuida normalmente.

Alguien, al revisar lo que he hecho, dijo que las pruebas que estoy usando no eran adecuadas para mis datos. Sugirieron transformar mis muestras antes de usar las pruebas t.

Soy un principiante, por lo que me parece realmente confuso responder a mis preguntas de investigación con la "métrica de registro de participación".

¿Están equivocados? ¿Me equivoco? Si están equivocados, ¿hay algún libro o artículo científico que pueda citar / mostrarles? Si me equivoco, ¿qué prueba debo usar?

No llamaría 'exponencial' particularmente particularmente sesgada. Su registro es claramente sesgado a la izquierda, por ejemplo, y su sesgo de momento es solo 2.

1) Está bien usar la prueba t con datos exponenciales cerca de 500$n$ :

a) El numerador del estadístico de prueba debe estar bien: si los datos son exponenciales independientes con escala común (y no tienen una cola sustancialmente más pesada que eso), entonces sus promedios están distribuidos en gamma con un parámetro de forma igual al número de observaciones. Su distribución se ve muy normal para un parámetro de forma mayor de aproximadamente 40 (dependiendo de qué tan lejos de la cola necesite precisión).

Esto es capaz de una prueba matemática, pero las matemáticas no son ciencia. Puede verificarlo empíricamente mediante simulación, por supuesto, pero si está equivocado acerca de la exponencialidad, puede necesitar muestras más grandes. Así es como se ve la distribución de sumas de muestra (y, por lo tanto, medias de muestra) de datos exponenciales cuando n = 40:

Muy ligeramente sesgada. Esta asimetría disminuye a medida que la raíz cuadrada del tamaño de la muestra. Entonces, en n = 160, es la mitad de sesgo. En n = 640 es un cuarto como sesgo:

Se puede ver que esto es efectivamente simétrico volteándolo sobre la media y dibujándolo en la parte superior:

El azul es el original, el rojo se voltea. Como ves, son casi una coincidencia.

-

$n=40$

$n=500$

-

c) Sin embargo, lo que realmente importa es la distribución de toda la estadística bajo nulo. La normalidad del numerador no es suficiente para que el estadístico t tenga una distribución t. Sin embargo, en el caso de datos exponenciales, tampoco es un gran problema:

La curva roja es la distribución de la estadística t con df = 78, el histograma es lo que obtiene la prueba t de Welch en muestras exponenciales (bajo el nulo de igual media; los grados de libertad reales de Welch-Satterthwaite en una muestra dada tenderá a ser un poco más pequeña que 78). En particular, las áreas de cola en la región de su nivel de significancia deben ser similares (a menos que tenga algunos niveles de significancia muy inusuales, lo son). Recuerde, esto está en $n=40$$n=500$$n=500$

Sin embargo, tenga en cuenta que para los datos realmente exponenciales, la desviación estándar solo será diferente si las medias son diferentes. Si la presunción exponencial es el caso, entonces, bajo nulo, no hay necesidad particular de preocuparse por las diferentes variaciones de población, ya que solo ocurren bajo la alternativa. Por lo tanto, una prueba t de varianza igual todavía debería estar bien (en cuyo caso, la buena aproximación anterior que ve en el histograma puede incluso ser un poco mejor).

2) Sin embargo, tomar registros puede permitirle darle sentido.

$\log\lambda_1\neq\log\lambda_2$$\lambda_1\neq\lambda_2$

[Si haces esa prueba en los registros, me inclinaría a sugerirte hacer una prueba de varianza igual en ese caso.]

Entonces, con la mera intervención de quizás una o dos oraciones que justifiquen la conexión, similar a lo que tengo arriba, debería poder escribir sus conclusiones no sobre el registro de la métrica de participación, sino sobre la métrica de participación en sí.

3) ¡ Hay muchas otras cosas que puedes hacer!

a) puede hacer una prueba adecuada para datos exponenciales. Es fácil derivar una prueba basada en la razón de probabilidad. De hecho, para datos exponenciales se obtiene una prueba F de muestra pequeña (basada en una relación de medias) para esta situación en el caso de una cola; los LRT de dos colas generalmente no tendrían una proporción igual en cada cola para tamaños de muestra pequeños. (Esto debería tener una mejor potencia que la prueba t, pero la potencia para la prueba t debería ser bastante razonable, y esperaría que no haya mucha diferencia en los tamaños de muestra).

b) puede hacer una prueba de permutación, incluso basarla en la prueba t si lo desea. Entonces, lo único que cambia es el cálculo del valor p. O puede hacer alguna otra prueba de remuestreo, como una prueba basada en bootstrap. Esto debería tener un buen poder, aunque dependerá en parte de la estadística de prueba que elija en relación con la distribución que tenga.

c) puede hacer una prueba no paramétrica basada en el rango (como Wilcoxon-Mann-Whitney). Si supone que si las distribuciones difieren, solo difieren en un factor de escala (apropiado para una variedad de distribuciones sesgadas, incluida la exponencial), incluso puede obtener un intervalo de confianza para la relación de los parámetros de la escala.

[Para ese propósito, sugeriría trabajar en la escala de registro (el cambio de ubicación en los registros es el registro del cambio de escala). No cambiará el valor p, pero le permitirá exponer la estimación puntual y los límites de CI para obtener un intervalo para el cambio de escala.]

Esto también debería tender a tener un poder bastante bueno si te encuentras en una situación exponencial, pero probablemente no sea tan bueno como usar la prueba t.

Una referencia que considera un conjunto de casos considerablemente más amplio para la alternativa de cambio de ubicación (con variación y asimetría heterogeneidad bajo nulo, por ejemplo) es

Fagerland, MW y L. Sandvik (2009),
"Realización de cinco pruebas de ubicación de dos muestras para distribuciones sesgadas con variaciones desiguales",
Contemporary Clinical Trials , 30 , 490–496

En general, tiende a recomendar la prueba U de Welch (una de las varias pruebas consideradas por Welch y la única que probaron). Si no está utilizando exactamente la misma estadística de Welch, las recomendaciones pueden variar un poco (aunque probablemente no mucho). [Tenga en cuenta que si sus distribuciones son exponenciales, le interesará una alternativa de escala a menos que tome registros ... en cuyo caso no tendrá variaciones desiguales.]