Prueba t robusta para la media

17

Estoy tratando de probar la nula , contra la alternativa local , para una variable aleatoria , sujeta a sesgo leve y medio y curtosis de la variable aleatoria. Siguiendo las sugerencias de Wilcox en 'Introducción a la estimación robusta y las pruebas de hipótesis', he examinado las pruebas basadas en la media recortada, la mediana, así como el estimador M de ubicación (procedimiento de "un paso" de Wilcox). Estas pruebas robustas superan a la prueba t estándar, en términos de potencia, cuando se realizan pruebas con una distribución no sesgada, pero leptokurtótica.E[X]=0E[X]>0X

Sin embargo, cuando se realiza una prueba con una distribución sesgada, estas pruebas unilaterales son demasiado liberales o demasiado conservadoras según la hipótesis nula, dependiendo de si la distribución está sesgada hacia la izquierda o hacia la derecha, respectivamente. Por ejemplo, con 1000 observaciones, la prueba basada en la mediana realmente rechazará ~ 40% del tiempo, al nivel nominal de 5%. La razón de esto es obvia: para distribuciones sesgadas, la mediana y la media son bastante diferentes. Sin embargo, en mi solicitud, realmente necesito probar la media, no la mediana, no la media recortada.

¿Existe una versión más robusta de la prueba t que realmente evalúa la media, pero es impermeable al sesgo y la curtosis?

Idealmente, el procedimiento también funcionaría bien en el caso sin sesgo y de alta curtosis. La prueba de 'un paso' es casi lo suficientemente buena, con el parámetro de 'flexión' establecido relativamente alto, pero es menos potente que las pruebas medias recortadas cuando no hay sesgo, y tiene algunos problemas para mantener el nivel nominal de rechazos bajo sesgo .

Antecedentes: la razón por la que realmente me importa la media, y no la mediana, es que la prueba se usaría en una aplicación financiera. Por ejemplo, si quisiera probar si una cartera tenía retornos log esperados positivos, la media es realmente apropiada porque si invierte en la cartera, experimentará todos los retornos (que es la media multiplicada por el número de muestras), en lugar de duplicados de la mediana. Es decir, lo que realmente importa la suma de se basa en la RV .nnX

hypothesis-testing t-test finance robust shabbychef
fuente
¿Hay alguna razón que prohíba el uso de la prueba t de Welch? Eche un vistazo a mi respuesta a esta pregunta ( stats.stackexchange.com/questions/305/… ) donde me remito a un documento que aboga por el uso de Welch en caso de no normalidad y heterocedasticidad.
Henrik
1
bueno, el problema es que quiero una prueba de 1 muestra, ¡no una prueba de 2 muestras! Estoy probando el nulo , y no E [ X 1 ] = E [ X 2 ] . Buscaré el Kubinger et. al., papel (Ich kann schlecht Deutsche). E[X]=μE[X1]=E[X2]
shabbychef
Gracias por aclararlo. En este caso, el papel de Kubinger no será de gran ayuda para usted. Lo siento.
Henrik

Respuestas:

5

¿Por qué estás mirando pruebas no paramétricas? ¿Se violan los supuestos de la prueba t? A saber, datos ordinales o no normales y variaciones inconstantes? Por supuesto, si su muestra es lo suficientemente grande, puede justificar la prueba t paramétrica con su mayor potencia a pesar de la falta de normalidad en la muestra. Del mismo modo, si su preocupación son las variaciones desiguales, hay correcciones en la prueba paramétrica que producen valores p precisos (la corrección de Welch).

De lo contrario, comparar sus resultados con la prueba t no es una buena manera de hacerlo, porque los resultados de la prueba t están sesgados cuando no se cumplen los supuestos. La U de Mann-Whitney es una alternativa no paramétrica adecuada, si eso es lo que realmente necesita. Solo pierde potencia si está utilizando la prueba no paramétrica cuando podría usar justificadamente la prueba t (porque se cumplen los supuestos).

Y, para más información, ve aquí ...

http://www.jerrydallal.com/LHSP/STUDENT.HTM

Brett
fuente
los datos definitivamente no son normales. el exceso de curtosis es del orden de 10-20, el sesgo es del orden de -0.2 a 0.2. Estoy haciendo una prueba t de 1 muestra, por lo que no estoy seguro de seguirte con respecto a las 'variaciones desiguales' o la prueba U.
shabbychef
Estoy aceptando el consejo de 'usar una prueba paramétrica'. no resuelve exactamente mi pregunta, pero mi pregunta probablemente fue demasiado abierta.
shabbychef
12

Estoy de acuerdo en que si realmente desea probar si las medias grupales son diferentes (en lugar de probar las diferencias entre las medianas grupales o las medias recortadas, etc.), entonces no desea usar una prueba no paramétrica que pruebe una hipótesis diferente.

  1. En general, los valores p de una prueba t tienden a ser bastante precisos dadas las desviaciones moderadas del supuesto de normalidad de los residuos. Consulte este applet para tener una idea de esta robustez: http://onlinestatbook.com/stat_sim/robustness/index.html

  2. Si todavía le preocupa la violación del supuesto de normalidad, es posible que desee arrancar . por ejemplo, http://biostat.mc.vanderbilt.edu/wiki/pub/Main/JenniferThompson/ms_mtg_18oct07.pdf

  3. También podría transformar la variable dependiente sesgada para resolver problemas con desviaciones de la normalidad.

Jeromy Anglim
fuente
2
+1 respuesta agradable y clara. Jeromy, ¿puedo hacer una pregunta sobre el punto 3? Entiendo el razonamiento detrás de la transformación de los datos, pero siempre me molesta hacer eso. ¿Cuál es la validez de informar los resultados de la prueba t en los datos transformados a los datos no transformados (donde no está "permitido" hacer una prueba t)? En otras palabras, si dos grupos son diferentes cuando los datos se transforman, por ejemplo, en un registro, ¿en qué bases se puede decir que los datos sin procesar también son diferentes? Teniendo en cuenta, no soy un estadístico, así que tal vez acabo de decir algo absolutamente estúpido :)
nico
2
@nico No estoy seguro de cómo informar o pensar en los resultados, pero si todo lo que quiere mostrar es que para algunos X e Y, mu_X! = mu_Y, debería ser cierto que para todos X_i <X_j, log ( X_i) <log (X_j) y para todos los X_i> X_j, log (X_i)> log (X_j). Es por eso que para las pruebas no paramétricas que operan con rangos, las transformaciones de los datos no afectan el resultado. Creo que a partir de esto, puede suponer que si alguna prueba muestra que mu_log (X)! = Mu_log (Y), entonces mu_X! = Mu_Y.
JoFrhwld
gracias por la (s) respuesta (s) de hecho, la prueba t parece mantener la tasa nominal de tipo I bajo una entrada ligeramente sesgada / kurtótica. Sin embargo, esperaba algo con más poder. re: 2, he implementado Wilcox ' trimpby trimcibt, pero son demasiado lentos para hacer mis pruebas de potencia, al menos para mi gusto. re: 3, había pensado en este método, pero estoy interesado en la media de los datos no transformados (es decir, no estoy comparando 2 RV con una prueba t, en cuyo caso, una transformación monotónica estaría bien para una comparación basada en rangos, como lo señaló @JoFrhwld.)
shabbychef
2
@nico Si la distribución poblacional de los residuos es la misma en dos grupos, entonces imagino que cada vez que haya una diferencia en el grupo de población sin procesar significa que también habrá diferencias en los medios grupales de una transformación de preservación del orden. Dicho esto, los valores p y los intervalos de confianza tenderán a cambiar ligeramente en función de si está utilizando datos sin procesar o datos transformados. En general, prefiero usar transformaciones cuando parecen una métrica significativa para comprender la variable (por ejemplo, escala de Richter, decibelios, registros de conteos, etc.).
Jeromy Anglim
3

t

El 'último y más grande' se debe a Ogaswara , con referencias a Hall y otros.

shabbychef
fuente
0

No tengo suficiente reputación para un comentario, por lo tanto, como respuesta: Echa un vistazo a este cálculo. Creo que esto proporciona una excelente respuesta. En breve:

El rendimiento asintótico es mucho más sensible a las desviaciones de la normalidad en forma de asimetría que en forma de curtosis ... Por lo tanto, la prueba t de Student es sensible a la asimetría pero relativamente robusta contra colas pesadas, y es razonable usar una prueba para normalidad que se dirige hacia alternativas sesgadas antes de aplicar la prueba t.

Christoph
fuente