¿Una medida de "varianza" de la matriz de covarianza?

Si los datos son 1d, la varianza muestra hasta qué punto los puntos de datos son diferentes entre sí. Si los datos son multidimensionales, obtendremos una matriz de covarianza.

¿Existe una medida que proporcione un número único de cómo los puntos de datos son diferentes entre sí en general para los datos multidimensionales?

Siento que puede haber muchas soluciones ya, pero no estoy seguro del término correcto para buscarlas.

Tal vez pueda hacer algo como sumar los valores propios de la matriz de covarianza, ¿suena sensato?

(La respuesta a continuación simplemente presenta y establece el teorema probado en [0]. La belleza de ese artículo es que la mayoría de los argumentos se formulan en términos de álgebra lineal básica. Para responder a esta pregunta será suficiente establecer los resultados principales, pero por supuesto, ve a ver la fuente original).

En cualquier situación en la que el patrón multivariado de los datos pueda describirse mediante una distribución elíptica variable $k$ , la inferencia estadística, por definición, reducirá el problema de ajustar (y caracterizar) un vector de ubicación variable $k$ (digamos $\boldsymbol\theta$ ) y a $k$ por $k$ matriz simétrica semi positiva positiva simétrica (digamos $\boldsymbol\varSigma$ ) a los datos. Por las razones que explico a continuación (pero que ya asume como premisas), a menudo será más significativo descomponer $\boldsymbol\varSigma$ en un componente de forma (una matriz SPSD del mismo tamaño que $\boldsymbol\varSigma$ ) que representa la forma de los contornos de densidad de su distribución multivariada y un escalar $\sigma_S$ expresando la escala de estos contornos.

En datos univariados ( $k=1$ ), $\boldsymbol\varSigma$ , la matriz de covarianza de sus datos es un escalar y, como se verá en la discusión a continuación, el componente de forma de $\boldsymbol\varSigma$ es 1, de modo que $\boldsymbol\varSigma$ es igual a su componente de escala $\boldsymbol\varSigma=\sigma_S$ siempre y No es posible la ambigüedad.

En datos multivariados, son posibles muchas opciones de escalado $\sigma_S$Uno en particular ( $\sigma_S=|\pmb\varSigma|^{1/k}$ ) se destaca por tener una propiedad clave deseable. Esto debería convertirlo en la opción preferida de factor de escala en el contexto de familias elípticas.

---

Muchos problemas en las estadísticas de MV implican la estimación de una matriz de dispersión, definida como una función (al) $\boldsymbol\varSigma$ simétrica semi positiva definida en y satisfactoria:$\mathbb{R}^{k\times k}$

(para matrices no singulares

$$(0)\quad\boldsymbol\varSigma(\boldsymbol A\boldsymbol X+\boldsymbol b)=\boldsymbol A\boldsymbol\varSigma(\boldsymbol X)\boldsymbol A^\top$$ y vectores b ). Por ejemplo, la estimación clásica de covarianza satisface (0) pero de ninguna manera es la única. $\boldsymbol A$$\boldsymbol b$

En presencia de datos distribuidos elípticos, donde todos los contornos de densidad son elipses definidos por la misma matriz de formas, hasta la multiplicación por un escalar, es natural considerar versiones normalizadas de de la forma:$\boldsymbol\varSigma$

$$\boldsymbol V_S = \boldsymbol\varSigma / S(\boldsymbol\varSigma)$$

donde es una función 1-honrosa satisfactoria:$S$

$$(1)\quad S(\lambda \boldsymbol\varSigma)=\lambda S(\boldsymbol\varSigma)$$

para todo . Entonces, V S se llama el componente de forma de la matriz de dispersión (en la matriz de forma corta) y σ S = S 1 / 2 ( Σ ) se llama el componente de escala de la matriz de dispersión. Ejemplos de problemas de estimación multivariada donde la función de pérdida solo depende de Σ a través de su componente de forma$\lambda>0$$\boldsymbol V_S$$\sigma_S=S^{1/2}(\boldsymbol\varSigma)$$\boldsymbol\varSigma$ incluyen pruebas de esfericidad, PCA y CCA, entre otros.$\boldsymbol V_S$

Por supuesto, hay muchas funciones de escala posibles, por lo que esto deja abierta la cuestión de qué (si hay alguna) de varias opciones de función de normalización es, en cierto sentido, óptima. Por ejemplo:$S$

• (por ejemplo, la propuesta por @amoeba en su comentario debajo de la pregunta del OP. Ver también [1], [2], [3])$S=\text{tr}(\boldsymbol\varSigma)/k$
• ([4], [5], [6], [7], [8])$S=|\boldsymbol\varSigma|^{1/k}$
• (la primera entrada de la matriz de covarianza)$\boldsymbol\varSigma_{11}$
• (el primer valor propio de Σ )$\lambda_1(\boldsymbol\varSigma)$$\boldsymbol\varSigma$

Sin embargo, es la única función de escala para la cual la matriz de información de Fisher para las estimaciones correspondientes de escala y forma, en familias localmente asintóticamente normales, es diagonal de bloque (es decir, los componentes de escala y forma del problema de estimación son asintóticamente ortogonales) [0 ] Esto significa, entre otras cosas, que la escala funcional S = | Σ | 1 / k es la única opción de S para la cual la no especificación de σ S no causa ninguna pérdida de eficiencia al realizar inferencia en V $S=|\boldsymbol\varSigma|^{1/k}$$S=|\boldsymbol\varSigma|^{1/k}$$S$$\sigma_S$$\boldsymbol V_S$ .

No conozco ninguna caracterización de optimización comparablemente fuerte para ninguna de las muchas opciones posibles de que satisfacen (1).$S$

• [0] Paindaveine, D., Una definición canónica de forma, Estadísticas y Cartas de Probabilidad, Volumen 78, Número 14, 1 de octubre de 2008, Páginas 2240-2247. Enlace no delegado
• [1] Dumbgen, L. (1998). En Tyler M-funcional de dispersión en alta dimensión, Ann. Inst. Estadístico. Matemáticas. 50, 471–491.
• [2] Ollila, E., TP Hettmansperger y H. Oja (2004). Métodos de signos multivariados equivalentes afines. Preprint, Universidad de Jyvaskyla.
• [3] Tyler, DE (1983). Propiedades de robustez y eficiencia de las matrices de dispersión, Biometrika 70, 411–420.
• [4] Dumbgen, L. y DE Tyler (2005). Sobre las propiedades de desglose de algunos M-Funcionales multivariados, Scand. J. Statist. 32, 247–264.
• [5] Hallin, M. y D. Paindaveine (2008). Pruebas óptimas basadas en el rango para la homogeneidad de la dispersión, Ann. Estadista., Para aparecer.
• [6] Salibian-Barrera, M., S. Van Aelst y G. Willems (200 6). Análisis de componentes principales basado en estimadores MM multivariados con bootstrap rápido y robusto, J. Amer. Estadístico. Asoc. 101, 1198-1211.
• [7] Taskinen, S., C. Croux, A. Kankainen, E. Ollila y H. O ja (2006). Funciones de influencia y eficiencias de la correlación canónica y estimaciones de vectores basadas en matrices de dispersión y forma, J. Multivariate Anal. 97, 359-384.
• [8] Tatsuoka, KS y DE Tyler (2000). Sobre la unicidad de los S-Funcionales y M-funcionales bajo distribuciones no elípticas, Ann. Estadístico. 28, 1219-1243.

La varianza de una variable escalar se define como la desviación al cuadrado de la variable de su media:

$$\operatorname{Var}(X) = \operatorname E\left[\left(X - \operatorname E\left[X\right]\right)^2\right]$$

Se puede obtener una generalización de una varianza escalar para variables aleatorias con valores vectoriales interpretando la desviación como la distancia euclidiana :

$$\operatorname{Var_s}(\mathbf X) = \operatorname E\left[\left\|\mathbf X - \operatorname E\left[\mathbf X\right]\right\|_2^2\right]$$

Esta expresión puede reescribirse como

$$\begin{array}{rcl} \operatorname{Var_s}(\mathbf X) & = & \operatorname E[(\mathbf X - \operatorname E[\mathbf X ])\cdot(\mathbf X - \operatorname E[\mathbf X ])] \\ & = & \operatorname E\left[\sum_{i=1}^n(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname E\left[(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname{Var}(X_i) \\ & = & \sum_{i=1}^n C_{ii} \end{array}$$

donde es la matriz de covarianza. Finalmente, esto se puede simplificar a$\mathbf{C}$

$$\operatorname{Var_s}(X) = \operatorname{tr}(\mathbf{C})$$

cuál es el rastro de la matriz de covarianza.

Aunque la traza de la matriz de covarianza, tr (C) , le da una medida de la varianza total, no tiene en cuenta la correlación entre las variables.

Si necesita una medida de la varianza general que es grande cuando sus variables son independientes entre sí y es muy pequeña cuando las variables están altamente correlacionadas, puede usar el determinante de la matriz de covarianza, | C |.

Por favor, vea este artículo para una mejor aclaración.

If you need just one number, then I suggest a largest eigen value of a covariance matrix. This is also an explained variance of the first principal component in PCA. It tells you how much total variance can be explained if you reduce the dimensionality of your vector to one. See this answer on math SE.

The idea's that you collapse your vector into just one dimension by combining all variables linearly into one series. You end up with 1d problem.

The explained variance can be reported in % terms to the total variance. In this case you'll see immediately if there is a lot of linear correlation between series. In some applications this number can be 80% and higher, e.g. interest rate curve modeling in finance. It means that you can construct a linear combination of variables that explains 80 of variance of all variables.

The entropy concept from information theory seems to suit the purpose, as a measure of unpredictability of information content, which is given by

$$H(X)=-\int p(x)\log p(x) dx.$$

If we assume a multivariate Gaussian distribution for $p(x)$ with mean $\mu$ and covariance $\Sigma$ derived from the data, according to wikipedia, the differential entropy is then,

$$H(X)=\frac{1}{2}\log((2\pi e)^n\det(\Sigma))$$ where $n$ is the number of dimensions. Since multivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

And it depends on the determinant of the covariance matrix, as @user603 suggests.