¿Cómo entender que el MLE de varianza está sesgado en una distribución gaussiana?

Estoy leyendo PRML y no entiendo la imagen. ¿Podría darnos algunas pistas para comprender la imagen y por qué el MLE de la varianza en una distribución gaussiana está sesgado?

fórmula 1.55: fórmula 1.56 σ 2 M L E =

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Intuición

El sesgo "proviene" (no es en absoluto un término técnico) del hecho de que está sesgado para . La pregunta natural es: "bueno, ¿cuál es la intuición de por qué está sesgado para "? La intuición es que en una media de muestra no cuadrada, a veces perdemos el valor verdadero por sobreestimar y otras por subestimar. Pero, sin cuadrar, la tendencia a sobreestimar y subestimar se cancelará mutuamente. Sin embargo, cuando ajustamos la tendencia a subestimar (perder el verdadero valor deμ 2 E [ ˉ x 2 ] μ 2 μ ˉ x$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$por un número negativo) también se eleva al cuadrado y, por lo tanto, se vuelve positivo. Por lo tanto, ya no se cancela y hay una ligera tendencia a sobreestimar.

Si la intuición detrás de por qué está sesgada para todavía no está clara, intente comprender la intuición detrás de la desigualdad de Jensen (buena explicación intuitiva aquí ) y aplíquela a .μ 2 E [ x 2$x^2$$\mu^2$$E[x^2]$

Probemos que el MLE de varianza para una muestra iid está sesgado. Luego verificaremos analíticamente nuestra intuición.

Prueba

Sea .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Queremos mostrar .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Usando el hecho de que y ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

Con el último paso siguiente debido a que es igual en debido a que proviene de la misma distribución.$E[x_n^2]$$n$

Ahora, recuerde la definición de varianza que dice . A partir de aquí, obtenemos lo siguiente$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Tenga en cuenta que hemos ajustado adecuadamente la constante al sacarla de . ¡Presta especial atención a eso!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

que, por supuesto, no es igual a .$\sigma_x^2$

Verifique analíticamente nuestra intuición

Podemos verificar algo la intuición suponiendo que conocemos el valor de y conectándolo a la prueba anterior. Como ahora sabemos , ya no tenemos la necesidad de estimar y, por lo tanto, nunca lo sobreestimamos con . Veamos que esto "elimina" el sesgo en .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Deje que .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

De la prueba anterior, tomemos reemplazando con el valor verdadero .ˉ x$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

que es imparcial!