PCA, LDA, CCA y PLS

26

¿Cómo se relacionan PCA, LDA, CCA y PLS? Todos parecen "espectrales" y algebraicos lineales y muy bien entendidos (digamos más de 50 años de teoría construida alrededor de ellos). Se usan para cosas muy diferentes (PCA para la reducción de la dimensionalidad, LDA para la clasificación, PLS para la regresión) pero aún así se sienten muy estrechamente relacionados.

pca discriminant-analysis partial-least-squares canonical-correlation carlosdc
fuente
3
Además de la buena referencia en la respuesta a continuación, también puede leer Borga et al., 1997, Un enfoque unificado para PCA, PLS, MLR y CCA .
ameba dice Reinstate Monica

Respuestas:

25

Tijl De Bie escribió un capítulo interesante " Eigenproblems in Pattern Recognition " que habla exactamente de esto desde una perspectiva primaria / dual. Las tres tablas al final resumen muy bien desde una perspectiva de optimización:

tabla 1

Tabla 2

Tabla 3

tdc
fuente