¿Cuándo usaría PCA en lugar de LDA en la clasificación?

10

Estoy leyendo este artículo sobre la diferencia entre el Análisis de componentes principales y el Análisis discriminante múltiple (Análisis discriminante lineal), y estoy tratando de entender por qué alguna vez usaría PCA en lugar de MDA / LDA.

La explicación se resume de la siguiente manera:

en términos generales, en PCA estamos tratando de encontrar los ejes con variaciones máximas donde los datos están más dispersos (dentro de una clase, ya que PCA trata todo el conjunto de datos como una clase), y en MDA estamos maximizando adicionalmente la distribución entre clases.

¿No siempre querría maximizar la varianza y maximizar la propagación entre clases?

classification pca dimensionality-reduction discriminant-analysis Chris
fuente
1
lo siento, quise decir análisis discriminante múltiple que también parece llamarse análisis discriminante lineal múltiple
chris
1
Debería aclarar su pregunta, porque a partir de ahora es trivial: debe preferir PCA a MDA cuando no haya clases que sean discriminadas en sus datos. Creo que debería especificar que esto se trata de clasificación en la pregunta.
Firebug
1
LDA es un término mucho más común que MDA. No hay necesidad de decir "lineal múltiple", "lineal" es suficiente.
ameba

Respuestas:

11

Te estás perdiendo algo más profundo: PCA no es un método de clasificación.

La PCA en el aprendizaje automático se trata como un método de ingeniería de características. Cuando aplica PCA a sus datos, garantiza que no habrá correlación entre las características resultantes. Muchos algoritmos de clasificación se benefician de eso.

Siempre debe tener en cuenta que los algoritmos pueden tener suposiciones en los datos, y si tales suposiciones no se cumplen, podrían tener un rendimiento inferior.

LDA debe calcular una inversión de la matriz de covarianza para proyectar los datos (comprobar estos temas y respuestas: ¿Debería PCA realizarse antes de hacer la clasificación y tiene sentido para combinar PCA y LDA? ). Si tiene pocos datos, esto es inestable y obtiene proyecciones sobreajustadas hacia sus puntos de datos, es decir, una matriz de covarianza dentro de la clase singular. La PCA generalmente se usa para evitar eso, reduciendo la dimensionalidad del problema.

Entonces, la respuesta es que nunca usa PCA para hacer la clasificación, pero puede usarlo para tratar de mejorar el rendimiento de LDA.

Firebug
fuente
7

Mientras que la respuesta anterior de Firebug es correcta, quiero agregar otra perspectiva:

Aprendizaje no supervisado versus supervisado:

LDA es muy útil para encontrar dimensiones que apunten a separar clúster, por lo que deberá conocer los clústeres antes. LDA no es necesariamente un clasificador, pero se puede usar como uno. Por lo tanto, LDA solo se puede usar en el aprendizaje supervisado

PCA es un enfoque general para la eliminación de ruido y la reducción de dimensionalidad y no requiere más información, como las etiquetas de clase en el aprendizaje supervisado. Por lo tanto, se puede utilizar en el aprendizaje no supervisado.

Nikolas Rieble
fuente
2
+1, especialmente para LDA is not neccesarily a classifier. También se recomienda a un lector (el OP) que lea esta pregunta relacionada: Cómo LDA, una técnica de clasificación, también sirve como técnica de reducción de dimensionalidad como PCA .
ttnphns
y las respuestas aquí comparan salidas y gráficos de LDA y PCA como tenues. reducciones
ttnphns
(+1) LDA es realmente una técnica de reducción de dimensiones, una generalización del discriminante lineal de Fisher, que las personas generalmente tratan como un criterio de clasificación.
Firebug
2

LDA se utiliza para dividir el espacio multidimensional.

PCA se utiliza para colapsar el espacio multidimensional.

Por ejemplo: los objetos 3D proyectan sombras 2D. La PCA a menudo nos permite colapsar cientos de dimensiones espaciales en un puñado de dimensiones espaciales inferiores, al tiempo que conservamos el 70% - 90% de la información importante.

Cómo puedo ver el tamaño y la forma de tu mano desde su sombra. No puedo decirte todo sobre la forma de tu mano. Pero al tener una colección de 3 o 4 sombras desde ángulos óptimos conocidos. Entonces podría decirte la mayoría de las cosas sobre el tamaño y la forma de la mano.

Puntilla
fuente