Ejemplo de distribución donde es necesario un gran tamaño de muestra para el teorema del límite central

19

Algunos libros indican un tamaño de muestra de tamaño 30 o superior es necesario para el teorema del límite central para dar una buena aproximación para X¯ .

Sé que esto no es suficiente para todas las distribuciones.

Deseo ver algunos ejemplos de distribuciones donde incluso con un gran tamaño de muestra (quizás 100, 1000 o más), la distribución de la media muestral todavía es bastante sesgada.

Sé que he visto tales ejemplos antes, pero no puedo recordar dónde y no puedo encontrarlos.

Graphth
fuente
55
Considere una distribución Gamma con el parámetro de forma . Tome la escala como 1 (no importa). Supongamos que considera que Gamma ( α 0 , 1 ) es simplemente "suficientemente normal". Entonces una distribución para el que necesita para obtener 1000 observaciones que ser suficientemente normal tiene una Gamma ( α 0 / 1000 , 1 ) de distribución. αGamma(α0,1)Gamma(α0/1000,1)
Glen_b -Reinstate a Monica el
1
@Glen_b, ¿por qué no hacer que sea una respuesta oficial y desarrollarla un poco?
gung - Restablece a Monica
44
Cualquier distribución suficientemente contaminada funcionará, en la misma línea que el ejemplo de @ Glen_b. Por ejemplo , cuando la distribución subyacente es una mezcla de Normal (0,1) y Normal (gran valor, 1), con el último teniendo solo una pequeña probabilidad de aparecer, entonces suceden cosas interesantes: (1) la mayor parte del tiempo , la contaminación no aparece y no hay evidencia de asimetría; pero (2) a veces aparece la contaminación y la asimetría en la muestra es enorme. La distribución de la media de la muestra será muy sesgada independientemente, pero el bootstrapping ( p . Ej. ) Generalmente no la detectará.
whuber
1
El ejemplo de @ whuber es instructivo y muestra que el teorema del límite central puede, en teoría, ser arbitrariamente engañoso. En experimentos prácticos, supongo que uno debe preguntarse si podría haber algún efecto enorme que ocurra muy raramente, y aplicar el resultado teórico con un poco de circunspección.
David Epstein

Respuestas:

19

Algunos libros indican un tamaño de muestra de tamaño 30 o superior es necesario para el teorema del límite central para dar una buena aproximación para .X¯

Esta regla general común es casi completamente inútil. Hay distribuciones no normales para las cuales n = 2 funcionará bien y distribuciones no normales para las cuales mucho mayor es insuficiente, por lo que sin una restricción explícita de las circunstancias, la regla es engañosa. En cualquier caso, incluso si fuera cierto, la n requerida variaría según lo que estuvieras haciendo. A menudo se obtienen buenas aproximaciones cerca del centro de la distribución en n pequeña , pero se necesita una n mucho mayornnnn para obtener una aproximación decente en la cola.

Editar: Vea las respuestas a esta pregunta para obtener numerosas pero aparentemente unánimes opiniones sobre ese tema, y ​​algunos buenos enlaces. Sin embargo, no voy a expresar el punto, ya que ya lo entiendes claramente.

Quiero ver algunos ejemplos de distribuciones donde incluso con un gran tamaño de muestra (quizás 100 o 1000 o más), la distribución de la media muestral todavía es bastante sesgada.

Los ejemplos son relativamente fáciles de construir; Una manera fácil es encontrar una distribución infinitamente divisible que no sea normal y dividirla. Si tiene uno que se acercará a lo normal cuando lo promedia o lo resume, comience en el límite de 'cerca de lo normal' y divídalo tanto como desee. Así por ejemplo:

Considere una distribución Gamma con el parámetro de forma . Tome la escala como 1 (la escala no importa). Supongamos que considera que Gamma ( α 0 , 1 ) es simplemente "suficientemente normal". Entonces una distribución para el que necesita para conseguir 1000 observaciones sean suficientemente normal tiene una Gamma ( α 0 / 1000 , 1 )αGamma(α0,1)Gamma(α0/1000,1) de distribución.

Entonces, si siente que un Gamma con es simplemente 'lo suficientemente normal',α=20

Gamma (20) pdf

Luego divida por 1000, para obtener α = 0.02 :α=20α=0.02

Gamma (0.02) pdf

El promedio de 1000 de ellos tendrá la forma del primer pdf (pero no su escala).

σ/n

El punto de @ whuber sobre distribuciones contaminadas es muy bueno; Puede pagar probar alguna simulación con ese caso y ver cómo se comportan las cosas en muchas de esas muestras.

Glen_b -Reinstate a Monica
fuente
12

Además de las muchas excelentes respuestas proporcionadas aquí, Rand Wilcox ha publicado excelentes documentos sobre el tema y ha demostrado que nuestra comprobación típica de la adecuación de la aproximación normal es bastante engañosa (y subestima el tamaño de muestra necesario). Él señala que la media puede ser aproximadamente normal, pero eso es solo la mitad de la historia cuando no sabemosσ. Cuandoσ es desconocido, normalmente usamos el tdistribución para pruebas y límites de confianza. La varianza de la muestra puede estar muy, muy lejos de una escalaχ2 distribución y el resultante t la relación puede no parecerse a una t distribución cuando norte=30. En pocas palabras, la no normalidad arruinas2 más de lo que arruina X¯.

Frank Harrell
fuente
2
Este es un buen punto para hacer; a menudo no es en realidad el medio con el que las personas lidian, sino alguna función del mismo y otras cosas. Sin embargo, no es solos2eso puede estropearse: también se pierde la independencia del numerador y el denominador, y eso puede tener algunos efectos sorprendentes en las colas.
Glen_b -Reinstate a Monica el
9

Puede encontrar este documento útil (o al menos interesante):

http://www.umass.edu/remp/Papers/Smith&Wells_NERA06.pdf

Los investigadores de UMass en realidad llevaron a cabo un estudio similar a lo que estás preguntando. ¿A qué tamaño de muestra siguen ciertos datos distribuidos una distribución normal debido a CLT? Aparentemente, una gran cantidad de datos recopilados para los experimentos de psicología no se distribuyen de manera normal, por lo que la disciplina depende en gran medida del CLT para hacer alguna inferencia en sus estadísticas.

Primero, realizaron pruebas con datos uniformes, bimodales y una distribución normal. Usando Kolmogorov-Smirnov, los investigadores probaron cuántas de las distribuciones fueron rechazadas por normalidad en elα=0,05 nivel.

Table 2. Percentage of replications that departed normality based on the KS-test. 
 Sample Size 
           5   10   15   20   25  30 
Normal   100   95   70   65   60  35 
Uniform  100  100  100  100  100  95 
Bimodal  100  100  100   75   85  50

Por extraño que parezca, el 65 por ciento de los datos distribuidos normalmente fueron rechazados con un tamaño de muestra de 20, e incluso con un tamaño de muestra de 30, el 35% todavía fueron rechazados.

Luego probaron varias distribuciones muy sesgadas creadas utilizando el método de poder de Fleishman:

Y=unX+siX2+CX3+reX4 4

X representa el valor extraído de la distribución normal, mientras que a, b, cyd son constantes (tenga en cuenta que a = -c).

Corrieron las pruebas con tamaños de muestra de hasta 300

Skew  Kurt   A      B      C       D 
1.75  3.75  -0.399  0.930  0.399  -0.036 
1.50  3.75  -0.221  0.866  0.221   0.027 
1.25  3.75  -0.161  0.819  0.161   0.049 
1.00  3.75  -0.119  0.789  0.119   0.062 

Encontraron que en los niveles más altos de sesgo y kurt (1.75 y 3.75) que los tamaños de muestra de 300 no producían medias de muestra que siguieran una distribución normal.

Desafortunadamente, no creo que esto sea exactamente lo que estás buscando, pero me topé con él y lo encontré interesante, y pensé que tú también.

Eric Peterson
fuente
44
" Por extraño que parezca, el 65 por ciento de los datos distribuidos normalmente fueron rechazados con un tamaño de muestra de 20, e incluso con un tamaño de muestra de 30, el 35% todavía fueron rechazados ", entonces parece que están usando la prueba mal; como una prueba de normalidad en datos normales completamente especificados (para eso es la prueba), si la están usando correctamente, debe ser exacta .
Glen_b -Reinstale a Monica el
55
@Glen_b: Aquí hay varias fuentes de posibles errores. Si lee el documento, notará que lo que se enumera como "normal" aquí es en realidad variaciones aleatorias normales con una media de 50 y una desviación estándar de 10 redondeada al entero más cercano . Entonces, en ese sentido, la prueba utilizada ya está utilizando una distribución mal especificada. En segundo lugar, todavía parece que han realizado las pruebas de forma incorrecta, ya que mis intentos de replicación muestran que para una media de muestra que utiliza 20 de tales observaciones, la probabilidad de rechazo es de aproximadamente el 27%. (cont.)
cardenal
55
(cont.) Tercero, independientemente de lo anterior, algunos softwares pueden usar la distribución asintótica y no la real, aunque a tamaños de muestra de 10K esto no debería importar demasiado (si los datos no hubieran sido inducidos artificialmente en los datos). Finalmente, encontramos la siguiente declaración bastante extraña cerca del final de ese documento: Desafortunadamente, las propiedades de la prueba KS en S-PLUS limitan el trabajo. Los valores de p para el presente estudio fueron compilados a mano sobre las repeticiones múltiples. Se necesita un programa para calcular los valores de p y juzgarlos en comparación con el nivel alfa elegido.
cardenal
3
Hola @Glen_b. No creo que el redondeo reduzca la tasa de rechazo aquí porque creo que estaban probando contra la distribución normal estándar verdadera usando los datos redondeados (que es lo que quise decir al decir que la prueba usaba una distribución mal especificada). (Quizás, en cambio, estaba pensando en usar la prueba KS en una distribución discreta). El tamaño de la muestra para la prueba KS fue de 10000, no de 20; Hicieron 20 repeticiones con un tamaño de muestra de 10000 cada una para obtener la tabla. Al menos, esa fue mi comprensión de la descripción de hojear el documento.
cardenal
3
@cardinal: tiene razón, por supuesto, por lo que tal vez esa podría ser la fuente de una parte sustancial de los rechazos en muestras de gran tamaño. Re: " El tamaño de la muestra para la prueba KS fue 10000, no 20 " ... bueno, esto suena cada vez más extraño. Uno debe preguntarse por qué pensarían que cualquiera de esas condiciones era de mucho valor, en lugar de decir lo contrario.
Glen_b -Reinstate a Monica el