¿Por qué el rango de matriz de covarianza es como máximo

Como se indicó en esta pregunta, el rango máximo de la matriz de covarianza es $n-1$ donde $n$ es el tamaño de la muestra y, por lo tanto, si la dimensión de la matriz de covarianza es igual al tamaño de la muestra, sería singular. No puedo entender por qué restamos $1$ del rango máximo $n$ de la matriz de covarianza.

El estimador imparcial de la matriz de covarianza muestral dado $n$ puntos de datos $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ es donde ˉ x =∑xi/nes el promedio de todos los puntos. Denotemos(xi- ˉ x )comozi. El

$$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ $\bar \x = \sum \x_i /n$$(\x_i-\bar \x)$$\newcommand{\z}{\mathbf z}\z_i$ factor n - 1 no cambia el rango, y cada término en la suma tiene (por definición) el rango1, por lo que el núcleo de la pregunta es el siguiente:$\frac{1}{n-1}$$1$

¿Por qué tengo rango n - 1 y no rango n , como parece porque estamos sumando n Rank- 1 matrices?$\sum \z_i\z_i^\top$$n-1$$n$$n$$1$

La respuesta es que sucede porque no es independiente. Por construcción, ∑ z i = 0 . Entonces, si conoce n - 1 de z i , entonces el último z n restante está completamente determinado; no estamos sumando n independientes Rank- 1 matrices, estamos sumando solamente n - 1 independientes Rank- 1 matrices y luego la adición de uno más Rank- 1 matriz que está totalmente determinado linealmente por el resto. Esta última adición no cambia el rango general.$\z_i$$\sum\z_i = 0$$n-1$$\z_i$$\z_n$$n$$1$$n-1$$1$$1$

Podemos ver esto directamente si reescribimos como z n = - n - 1 ∑ i = 1 z i , y ahora lo conectamos a la expresión anterior: n ∑ i = 1 z i z ⊤ i = n - 1 ∑ i = 1 z i z ⊤ i + ( - n - 1 ∑ i = $\sum\z_i = 0$

$$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ Ahora solo quedan n - 1 términos en la suma y queda claro que toda la suma puede tener como máximo el rango n - 1 . $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ $n-1$$n-1$

Este resultado, por cierto, sugiere por qué el factor en el estimador imparcial de covarianza es y no$\frac{1}{n-1}$ .$\frac{1}{n}$

La intuición geométrica a la que aludí en los comentarios anteriores es que siempre se puede ajustar una línea 1D a dos puntos en 2D y siempre se puede ajustar un plano 2D a tres puntos en 3D, es decir, la dimensionalidad del subespacio siempre es ; esto solo funciona porque suponemos que esta línea (y plano) se puede "mover" para ajustar nuestros puntos. "Posicionar" esta línea (o plano) de modo que pase a través de ˉ x es equivalente a centrarse en el argumento algebraico anterior.$n-1$$\bar \x$

Un poco más corto, creo, la explicación es así:

Definamos matriz $n$ x $m$ matriz $x$ de puntos de datos de muestra donde $n$ es un número de variables $m$ es un número de muestras para cada variable. Supongamos que ninguna de las variables es linealmente dependiente.

El rango de $x$ es $min(n,m)$ .

Definamos la matriz $n$ x $m$ matriz $z$ de variables centradas en rowwise:

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$