¿Cómo aceptaron exactamente los estadísticos utilizar (n-1) como estimador imparcial de la varianza de la población sin simulación?

La fórmula para calcular la varianza tiene en el denominador:$(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Siempre me he preguntado por qué. Sin embargo, leer y ver algunos buenos videos sobre "por qué" es, al parecer, es un buen estimador imparcial de la varianza de la población. Mientras que subestima y sobreestima la varianza de la población.$(n-1)$$n$$(n-2)$

Lo que tengo curiosidad por saber es que, en la era de las computadoras, ¿cómo se hizo exactamente esta elección? ¿Existe una prueba matemática real que pruebe esto o fue esto puramente empírico y los estadísticos hicieron MUCHOS cálculos a mano para llegar a la "mejor explicación" en ese momento?

¿Cómo se les ocurrió a los estadísticos esta fórmula a principios del siglo XIX con la ayuda de las computadoras? Manual o hay más de lo que parece?

La corrección se llama corrección de Bessel y tiene una prueba matemática. Personalmente, me enseñaron de la manera más fácil: usar es cómo corregir el sesgo de (ver aquí ).$n-1$$E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

También puede explicar la corrección basada en el concepto de grados de libertad, la simulación no es estrictamente necesaria.

La mayoría de las pruebas que he visto son lo suficientemente simples como para que a Gauss (como lo hizo) probablemente le resulte bastante fácil de probar.

He estado buscando una derivación en CV a la que podría vincularlo (hay varios enlaces a pruebas fuera del sitio, incluido al menos uno en las respuestas aquí), pero no he encontrado uno aquí en CV en un Un par de búsquedas, por lo que para completar, daré una simple. Dada su simplicidad, es fácil ver cómo las personas comenzarían a usar lo que generalmente se llama la corrección de Bessel .

Esto toma como conocimiento asumido, y supone que se conocen las primeras propiedades básicas de varianza .$E(X^2)=\text{Var}(X) + E(X)^2$

$$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$$

Según el World of Mathematics de Weisstein, Gauss lo probó por primera vez en 1823. La referencia es el volumen 4 de Gauss 'Werke, que se puede leer en https://archive.org/details/werkecarlf04gausrich . Las páginas relevantes parecen ser 47-49. Parece que Gauss investigó la pregunta y se le ocurrió una prueba. No leo latín, pero hay un resumen en alemán en el texto. Las páginas 103-104 explican lo que hizo (Editar: agregué una traducción aproximada):

Allein da man nicht berechtigt ist, mueren sichersten Werthe fuer die wahren Werthe Selbst zu halten, por lo ueberzeugt man sich fleckig, hombre dass durch dieses Verfahren allemal den wahrscheinlichsten und mittleren Fehler zu klein finden muss, und Daher morir gegebenen Resultaten Eine groessere Genauigkeit beilegt, als sie wirklich besitzen. [Pero dado que uno no tiene derecho a tratar los valores más probables como si fueran los valores reales, uno puede convencerse fácilmente de que uno siempre debe encontrar que el error más probable y el error promedio son demasiado pequeños, y que por lo tanto los resultados dados poseen una mayor precisión de la que realmente tienen.]

de lo cual parecería que era bien sabido que la varianza de la muestra es una estimación sesgada de la varianza de la población. El artículo continúa diciendo que la diferencia entre los dos generalmente se ignora porque no es importante si el tamaño de la muestra es lo suficientemente grande. Entonces dice:

Der Verfasser hat daher diesen Gegenstand eine besondere Untersuchung unterworfen, die zu einem sehr Merkwuerdigen hoechst einfachen Resultate gefuehrt hat. Hombre braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, um ihn in die richtigen zu verwandeln, nur mit

$$\sqrt{\frac{\pi-\rho}{\pi}}$$

zu multiplicieren, wo die Anzahl der beobachtungen (número de observaciones) und die Anzahl der unbekannten groessen (número de incógnitas) bedeutet. [Por lo tanto, el autor ha realizado un estudio especial de este objeto que ha llevado a un resultado muy extraño y extremadamente simple. Es decir, uno solo necesita multiplicar el error promedio encontrado por el proceso erróneo anterior por (la expresión dada) para cambiarlo al correcto, donde es el número de observaciones y es el número de cantidades desconocidas.]$\pi$$\rho$$\pi$$\rho$

Entonces, si esta es la primera vez que se encuentra la corrección, entonces parece que Gauss la encontró mediante un cálculo inteligente, pero la gente ya sabía que se requería alguna corrección, por lo que tal vez alguien más podría haberla encontrado empíricamente antes de esto . O posiblemente los autores anteriores no quisieron obtener la respuesta precisa porque de todos modos estaban trabajando con conjuntos de datos bastante grandes.

Resumen: manual, pero la gente ya sabía que en el denominador no era del todo correcto.$n$

Para mí, una intuición es que

$$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$$

Es decir,

$$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$$

De hecho, probar la ecuación anterior requiere un poco de álgebra (este álgebra es muy similar a la respuesta de @ Glen_b anterior). Pero suponiendo que sea cierto, podemos reorganizar para obtener:

$$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$$

Para mí, otra parte de la intuición es que usar lugar de introduce un sesgo. Y este sesgo es exactamente igual a .$\bar{X}$$\mu$$\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

La mayoría de las respuestas ya lo han explicado detalladamente, pero aparte de esas, hay una ilustración simple que uno podría encontrar útil:

Suponga que se le da que y los primeros tres números son:$n=4$

$8,4,6$ , _

Ahora el cuarto número puede ser cualquier cosa ya que no hay restricciones. Ahora considere la situación cuando se le da que y , entonces si los primeros tres números son: entonces el cuarto número debe ser .$n=4$$\bar x=6$$8,4,6$$6$

Esto quiere decir que si conoce valores y , entonces el valor no tiene libertad. Por lo tanto, nos da un estimador imparcial.$n-1$$\bar x$$nth$$n-1$