El papel de la varianza en el teorema del límite central

Leí en alguna parte que la razón por la que cuadramos las diferencias en lugar de tomar valores absolutos al calcular la varianza es que la varianza definida de la manera habitual, con cuadrados en el nominador, juega un papel único en el Teorema del límite central.

Bueno, entonces, ¿cuál es exactamente el papel de la variación en CLT? No pude encontrar más sobre esto, o entenderlo correctamente.

También podríamos preguntar qué nos hace pensar que la varianza es una medida de hasta qué punto se extiende un conjunto de números. Podría definir otras cantidades, similares a la varianza, y convencerlo de que miden la dispersión de los números. Para que esto suceda, tendría que indicar qué se entiende exactamente por dispersión de números, qué comportamiento espera de la medida de propagación, etc. No existe una definición formal de propagación, por lo que podemos tratar la varianza como la definición. Sin embargo, por alguna razón, la varianza se considera "la mejor" medida de propagación.

La declaración clásica del Teorema del límite central (CLT) considera una secuencia de variables aleatorias independientes, distribuidas idénticamente$X_1, X_2, \ldots, X_n, \ldots$ con distribución común $F$. Esta secuencia modela la situación que enfrentamos al diseñar un programa de muestreo o experimento: si podemos obtener$n$observaciones independientes del mismo fenómeno subyacente, luego la colección finita$X_1, X_2, \ldots, X_n$modela los datos anticipados. Permitir que la secuencia sea infinita es una forma conveniente de contemplar tamaños de muestra arbitrariamente grandes.

Varias leyes de grandes números afirman que la media

se acercará de cerca a la expectativa de $F$, $\mu(F)$, con alta probabilidad, siempre $F$En realidad tiene una expectativa. (No todas las distribuciones lo hacen). Esto implica la desviación$m(X_1, X_2, \ldots, X_n) - \mu(F)$ (que, en función de estos $n$ variables aleatorias, también es una variable aleatoria) tenderá a reducirse a medida que $n$aumenta El CLT se suma a esto de una manera mucho más específica: establece (bajo algunas condiciones, que analizaré a continuación) que si volvemos a escalar esta desviación por$\sqrt{n}$, tendrá una función de distribución $F_n$que se acerca a alguna función de distribución Normal de media cero como$n$crece grande (Mi respuesta en https://stats.stackexchange.com/a/3904 intenta explicar por qué esto es así y por qué el factor de$\sqrt{n}$ es el correcto para usar.)

Esta no es una declaración estándar del CLT. Vamos a conectarlo con el habitual. Esa distribución normal de media cero limitante estará completamente determinada por un segundo parámetro, que generalmente se elige como una medida de su propagación (¡naturalmente!), Como su varianza o desviación estándar. Dejar$\sigma^2$sea ​​su varianza Seguramente debe tener alguna relación con una propiedad similar de$F$. Para descubrir de qué se trata, dejemos$F$ tener una varianza $\tau^2$--que podría ser infinito, por cierto. Independientemente, porque el$X_i$ son independientes, calculamos fácilmente la varianza de las medias:

En consecuencia, la varianza de los residuos estandarizados es igual a $\tau^2/n \times (\sqrt{n})^2 = \tau^2$: es constante La varianza de la distribución normal limitante, entonces, debe ser$\tau^2$sí mismo. (Esto muestra inmediatamente que el teorema solo puede sostenerse cuando$\tau^2$ es finito: esa es la suposición adicional que pasé por alto anteriormente).

(Si hubiéramos elegido cualquier otra medida de propagación de $F$ aún podríamos tener éxito en conectarlo a $\sigma^2$, pero no habríamos encontrado que la medida correspondiente de propagación de la desviación media estandarizada es constante para todos $n$, que es una hermosa, aunque no esencial, simplificación).

Si hubiéramos deseado, podríamos haber estandarizado las desviaciones medias todo el tiempo dividiéndolas por $\tau$ así como multiplicarlos por $\sqrt{n}$. Eso habría asegurado que la distribución limitante es Normal estándar , con varianza unitaria. Ya sea que elija estandarizar por$\tau$ de esta manera o no es realmente una cuestión de gustos: es el mismo teorema y la misma conclusión al final. Lo que importaba era la multiplicación por$\sqrt{n}$.

Tenga en cuenta que podría multiplicar las desviaciones por algún factor que no sea $\sqrt{n}$. Podrías usar$\sqrt{n} + \exp(-n)$o $n^{1/2 + 1/n}$, o cualquier otra cosa que se comporta asintóticamente como $\sqrt{n}$. Cualquier otra forma asintótica, en el límite, reduciría$\sigma^2$ a $0$ o explotarlo $\infty$. Esta observación refina nuestra apreciación del CLT al mostrar hasta qué punto es flexible con respecto a cómo se realiza la estandarización. Es posible que deseemos indicar el CLT, entonces, de la siguiente manera.

Proporcionó la desviación entre la media de una secuencia de variables IID (con distribución común $F$) y la expectativa subyacente se escala asintóticamente por $\sqrt{n}$, esta desviación escalada tendrá una distribución limitante normal de media cero cuya varianza es la de $F$.

Aunque las variaciones están involucradas en la declaración, aparecen solo porque son necesarias para caracterizar la distribución normal limitante y relacionar su propagación con la de $F$. Este es solo un aspecto incidental. No tiene nada que ver con que la varianza sea "la mejor" en ningún sentido. El quid de la cuestión es el cambio de escala asintótico por$\sqrt{n}$.

La variación NO es esencial para los teoremas del límite central. Es esencial para el iid de principiante de la variedad de jardín, el Teorema del límite central, el que la mayoría de la gente conoce y ama, usa y abusa.

No existe "el" Teorema del límite central, hay muchos teoremas del límite central:

El teorema del límite central de la variedad de jardín para principiantes. Incluso aquí, la elección juiciosa de la norma constante (por lo tanto, una variante avanzada del CLT para principiantes) puede permitir que se demuestren los teoremas del límite central para ciertas variables aleatorias que tienen una varianza infinita (ver Feller Vol. II http://www.amazon.com/Introduction -Probabilidad-Teoría-Aplicaciones-Edición / dp / 0471257095 p. 260).

La matriz triangular Teorema del límite central de Lindeberg-Feller. http://sites.stat.psu.edu/~dhunter/asymp/lectures/p93to100.pdf
https://en.wikipedia.org/wiki/Central_limit_theorem .

El mundo salvaje de cualquier cosa va todo a la vista dependiendo de los teoremas del límite central para los cuales la varianza ni siquiera necesita existir. Una vez probé un teorema del límite central para el que no solo no existía la varianza, sino que tampoco existía la media, y de hecho ni siquiera un momento de 1 - épsilon para épsilon positivo arbitrariamente pequeño. Esa fue una prueba difícil, porque "apenas" convergió, y lo hizo muy lentamente. Asintóticamente convergió a una Normal, en realidad, se necesitaría un tamaño de muestra de millones de términos para que la Normal sea una buena aproximación.

Cuál es la mejor medida de propagación depende de la situación. La varianza es una medida de propagación que es un parámetro de la distribución normal. Entonces, si modela sus datos con una distribución normal, la media (aritmética) y la varianza empírica son los mejores estimadores (son "suficientes") de los parámetros de esa distribución normal. Eso también da el enlace al teorema del límite central, ya que se trata de un límite normal, es decir, el límite es una distribución normal. Entonces, si tiene suficientes observaciones de que el teorema del límite central es relevante, nuevamente puede usar la distribución normal, y la varianza empírica es la descripción natural de la variabilidad, porque está vinculada a la distribución normal.

Sin este vínculo con la distribución normal, no tiene sentido que la varianza sea la mejor o incluso un descriptor natural de variabilidad.

Abordar solo la segunda pregunta:

Supongo que la variación ha sido la medida de dispersión elegida por la mayoría de los estadísticos principalmente por razones históricas y luego debido a la inercia de la mayoría de los profesionales no estadísticos.

Aunque no puedo citar de memoria una referencia específica con alguna definición rigurosa de propagación, puedo ofrecer heurística para su caracterización matemática: momentos centrales (es decir, $E[(X-\mu)^k]$) son muy útiles para sopesar las desviaciones del centro de distribución y sus probabilidades / frecuencias, pero solo si $k$ es entero y par.

¿Por qué? Debido a que las desviaciones por debajo del centro (negativas) se resumirán con desviaciones por encima del centro (positivas), en lugar de cancelarlas parcialmente, como lo hace el promedio, por ejemplo. Como puedes pensar, momentos centrales absolutos (es decir,$E(|X-\mu|^k)$) también puede hacer ese trabajo y, más aún, para cualquier $k>0$ (ok, ambos momentos son iguales si $k$ incluso).

Por lo tanto, una gran cantidad de pequeñas desviaciones (tanto positivas como negativas) con pocas desviaciones grandes son características de poca dispersión, lo que producirá un momento central incluso relativamente pequeño. Muchas desviaciones grandes producirán un momento central incluso relativamente grande.

¿Recuerdas cuando dije sobre las razones históricas anteriores? Antes de que el poder computacional se volviera barato y disponible, uno necesitaba confiar solo en habilidades matemáticas y analíticas para lidiar con el desarrollo de teorías estadísticas.

Los problemas que involucran momentos centrales eran más fáciles de abordar que los que involucran momentos centrales absolutos. Por ejemplo, los problemas de optimización que involucran momentos centrales (p. Ej., Mínimos cuadrados) requieren solo cálculo, mientras que la optimización involucra momentos centrales absolutos con$k$ impar (para $k=1$ obtienes un problema simplex), que no se puede resolver solo con cálculo.