Confundido acerca de la explicación visual de los vectores propios: ¿cómo pueden los conjuntos de datos visualmente diferentes tener los mismos vectores propios?

10

Muchos libros de texto de estadísticas proporcionan una ilustración intuitiva de cuáles son los vectores propios de una matriz de covarianza:

ingrese la descripción de la imagen aquí

Los vectores u y z forman los vectores propios (bueno, los propios). Esto tiene sentido. Pero lo único que me confunde es que extraemos vectores propios de la matriz de correlación , no los datos en bruto. Además, los conjuntos de datos sin procesar que son bastante diferentes pueden tener matrices de correlación idénticas. Por ejemplo, los siguientes dos tienen matrices de correlación de:

[10.970.971]

Vectores propios

Como tal, tienen vectores propios que apuntan en la misma dirección:

[.71−.71.71.71]

Pero si aplicara la misma interpretación visual de qué direcciones estaban los vectores propios en los datos sin procesar, obtendría vectores apuntando en diferentes direcciones.

¿Alguien puede decirme dónde me he equivocado?

Segunda edición : si puedo ser tan audaz, con las excelentes respuestas a continuación pude dar sentido a la confusión y la he ilustrado.

  1. La explicación visual es coherente con el hecho de que los vectores propios extraídos de la matriz de covarianza son distintos.

    Covarianzas y vectores propios (rojo):

    [1111][.7−.72.72.7]

    Covarianzas y vectores propios (azul):

    [.25.5.51][.43−.9.9.43]

  2. Las matrices de correlación reflejan las matrices de covarianza de las variables estandarizadas. La inspección visual de las variables estandarizadas demuestra por qué se extraen vectores propios idénticos en mi ejemplo:

ingrese la descripción de la imagen aquí

correlation pca covariance-matrix eigenvalues Sue Doh Nimh
fuente
3
Si desea evaluar la correlación , debe dibujar sus diagramas de dispersión con escalas en las que las desviaciones estándar de los componentes sean iguales. Ese no es el caso en ninguna de sus imágenes (excepto quizás por los puntos rojos en la segunda), lo que puede ser una de las razones por las que le resulta confuso.
whuber
3
Le agradezco que haya ilustrado su pregunta. Eso ayuda a las personas a entenderlo y agrega valor al hilo para referencia futura. Sin embargo, tenga en cuenta que ~ 10% de los hombres son daltónicos de color rojo-verde. Con 2 colores, rojo y azul pueden ser más seguros.
gung - Restablece a Monica
Muchas gracias, he corregido los colores como usted sugirió
Sue Doh Nimh
2
No hay problema, @SueDohNimh. Gracias por hacerlo inteligible para todos. En una nota diferente, me quedaría con la [PCA]etiqueta. Si desea reenfocar la pregunta, o hacer una nueva pregunta (relacionada) y vincular a esta, parece estar bien, pero creo que esta pregunta es lo suficientemente PCA como para merecer la etiqueta.
gung - Restablece a Monica
Buen trabajo, @SueDohNimh. También puede agregar eso como respuesta a su propia pregunta en lugar de una edición, si así lo desea.
gung - Restablece a Monica

Respuestas:

9

No tiene que hacer PCA sobre la matriz de correlación; También puede descomponer la matriz de covarianza. Tenga en cuenta que estos generalmente producirán diferentes soluciones. (Para más información sobre esto, ver: PCA sobre correlación o covarianza? )

En su segunda figura, las correlaciones son las mismas, pero los grupos se ven diferentes. Se ven diferentes porque tienen diferentes covarianzas. Sin embargo, las variaciones también son diferentes (por ejemplo, el grupo rojo varía en un rango más amplio de X1), y la correlación es la covarianza dividida por las desviaciones estándar ( ). Como resultado, las correlaciones pueden ser las mismas. Covxy/SDxSDy

Una vez más, si realiza PCA con estos grupos utilizando las matrices de covarianza, obtendrá un resultado diferente al de las matrices de correlación.

gung - Restablece a Monica
fuente
2
+1 Probablemente también haya notado que con dos variables la matriz de correlación siempre tiene los mismos dos vectores propios, y , sin importar el valor que tenga la correlación. (1,1)(1,−1)
whuber
1
+1 a lo que escribió @whuber, pero tenga en cuenta que los valores propios correspondientes dependen del valor de correlación.
ameba
Esto es cierto, pero los vectores propios de la matriz de Cov pueden variar según la correlación.
gung - Restablece a Monica
1
Hola chicos, muchas gracias. Era consciente de que surgen distintos vectores propios del uso de las matrices de covarianza; Esto fue otra fuente de preocupación, ya que me hizo preocuparme de que, al usar matrices de correlación, redujera la información que se estaba utilizando y, por lo tanto, fuera menos precisa. ¿Sería sensato concluir, basándose en sus respuestas, que la interpretación visual proporcionada solo es realmente aplicable a los vectores propios de la matriz de covarianza de los datos en bruto en lugar de la matriz de correlación?
Sue Doh Nimh
1
En realidad no, @SueDohNimh. Puede usar la interpretación visual, solo estandarice sus variables primero si desea usar la matriz de correlación.
gung - Restablece a Monica