¿Cuándo falla la ley de los grandes números?

La pregunta es simplemente qué se dice en el título: ¿ Cuándo falla la ley de los grandes números? Lo que quiero decir es, ¿en qué casos la frecuencia de un evento no tenderá a la probabilidad teórica?

Hay dos teoremas (de Kolmogorov) y ambos requieren que el valor esperado sea finito. El primero se cumple cuando las variables son IID, el segundo, cuando el muestreo es independiente y la varianza de la $X_n$ satisface

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$$

Digamos que todas las tienen el valor esperado 0, pero su varianza es n 2, por lo que la condición obviamente falla. ¿Qué pasa entonces? Todavía puede calcular una media estimada, pero esa media no tenderá a 0 a medida que muestrea más y más profundo. Tiende a desviarse más y más a medida que continúe el muestreo.$X_n$$n^2$

Pongamos un ejemplo. Digamos que es uniforme U ( - n 2 n , n 2 n ) de modo que la condición anterior falla épicamente.$X_n$$U(-n2^n , n2^n)$

$$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$$

Al notar eso

$$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$$

vemos por inducción que el promedio calculado siempre está dentro del intervalo ( - 2 n , 2 n ) . Mediante el uso de la misma fórmula para n + 1 , también vemos que siempre hay una mayor probabilidad de 1 / 8 que ˉ X n + 1 se encuentra fuera de ( - 2 n , 2 n ) . De hecho, X n + $\bar{X}_n$$(-2^n, 2^n)$$n+1$$1/8$$\bar{X}_{n+1}$$(-2^n, 2^n)$ es uniformeU(-2n+1,2n+1)y la mentira fuera(-2n,2n)con una probabilidad de1/4. Por otro lado,$\frac{X_{n+1}}{n+1}$$U(-2^{n+1},2^{n+1})$$(-2^n, 2^n)$$1/4$es en(-2n,2n)por inducción, y por simetría es positivo con probabilidad1/2. De estas observaciones se deduce inmediatamente que ˉ X n+1es mayor que2no menor que-2n, cada uno con una probabilidad más grande que1/16. Desde la probabilidad de que| ˉ X n+1| $\frac{n}{n+1}\bar{X}_n$$(-2^n, 2^n)$$1/2$$\bar{X}_{n+1}$$2^n$$-2^n$$1/16$ es mayor que 1 / 8 , no puede haber convergencia a 0 como n tiende a infinito.$|\bar{X}_{n+1}| > 2^n$$1/8$$n$

Ahora, para responder específicamente a su pregunta, considere un evento . Si entendí bien, me preguntas "¿en qué condiciones es falsa la siguiente afirmación?"$A$

$$\lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$$

donde es la función indicadora del evento A , es decir , 1 A ( X k ) = 1 si X k ∈ A y 0 de lo contrario y X k están distribuidos de manera idéntica (y distribuidos como X ).$1_A$$A$ $1_A(X_k) = 1$$X_k \in A$$0$$X_k$$X$

Vemos que la condición anterior se mantendrá, porque la varianza de una función indicadora está limitada por 1/4, que es la varianza máxima de una variable de Bernouilli 0-1. Aún así, lo que puede salir mal es la segunda suposición de la ley fuerte de los grandes números, es decir, el muestreo independiente . Si las variables aleatorias no se muestrean independientemente, entonces no se garantiza la convergencia.$X_k$

$X_k$$X_1$$k$$n$$A$