Matriz de covarianza inversa vs matriz de covarianza en PCA

En PCA, ¿hace alguna diferencia si elegimos componentes principales de la matriz de covarianza inversa O si eliminamos los vectores propios de la matriz de covarianza correspondientes a valores propios grandes?

Esto está relacionado con la discusión en esta publicación .

Observe que para una matriz de covarianza definida positiva la precisión es \ boldsymbol \ Sigma ^ {- 1} = \ mathbf {UD} ^ {- 1} \ mathbf U' .$\mathbf \Sigma = \mathbf{UDU}'$$\boldsymbol \Sigma^{-1} = \mathbf {U D}^{-1} \mathbf U'$

Por lo tanto, los vectores propios permanecen iguales, pero los valores propios de la precisión son los recíprocos de los valores propios de la covarianza. Eso significa que los valores propios más grandes de la covarianza serán los valores propios más pequeños de la precisión. Como tiene el inverso, la definición positiva garantiza que todos los valores propios son mayores que cero.

Por lo tanto, si conserva los vectores propios relacionados con los valores propios más pequeños de la precisión, esto corresponde a la PCA ordinaria. Como ya hemos tomado recíprocos ( ), solo se debe usar la raíz cuadrada de los valores propios de precisión para completar el blanqueamiento de los datos transformados.$k$$\bf D^{-1}$

Además, la matriz de covarianza inversa es proporcional a la correlación parcial entre los vectores:

Corr(Xi, Xj | (Xothers )

La correlación entre Xi y Xj cuando todos los demás están arreglados, es muy útil para series de tiempo.