Multi clase LDA vs 2 clase LDA

El problema de diseñar un clasificador de clases múltiples usando LDA puede expresarse como un problema de 2 clases (uno frente a todo lo demás) o un problema de clases múltiples .

¿Por qué es que, en ciertos casos , el clasificador LDA de múltiples clases supera el LDA de 2 clases (uno frente a todo lo demás) o viceversa .

machine-learning classification pattern-recognition discriminant-analysis garak
fuente

¿Podría agregar detalles a su pregunta bastante reservada? Ejemplos. ¿Y considera aquí las dos etapas de la LDA, extracción y clasificación, o clasificación solamente?

ttnphns

bueno, estoy tratando de proyectar un vector de 27 dimensiones para reducir las dimensiones y comparar los vectores. El motivo es diseñar una técnica de clasificación simple para clasificar lo mejor posible.

garak

Ocasionalmente , puede encontrar datos cuando una clasificación de dos clases es más precisa (por ejemplo, cuando una clase está muy separada, "atípica", de las demás, cercanas entre sí. Pero, por regla general, la clasificación de clase k debería ser mejor. Primero, las clases k permiten ejes más discriminantes. Segundo, generalmente no se espera que un grupo de clases k-1 siga una distribución normal multivariada en la que se basa la etapa de clasificación LDA. Ver la respuesta de John Smith.

ttnphns

Respuestas:

Creo que el clasificador LDA de múltiples clases siempre (bueno, en la mayoría de las tareas prácticas) supera el LDA de 2 clases. Y trataré de describir por qué.

Eche un vistazo al conjunto de datos de ejemplo: conjunto de datos de muestra con tres clases

Tienes tres clases aquí. Y supongamos que desea construir un clasificador uno contra otro con LDA para la clase azul.

La media estimada para la clase "azul" es cero, pero la media estimada para la clase "otro" también es cero. Y la covarianza es la misma de la definición de LDA. Eso significa que LDA responderá con la etiqueta que tiene más elementos. ¡Y nunca devolverá la clase "azul" en absoluto!

Para Multi-class LDA se las arreglará para encontrar las clases correctas perfectamente.

El trasfondo de esto es que la mezcla de gaussianos ya no es gaussiana en la mayoría de los casos. Entonces esta suposición de LDA falla. Y debo decir que es realmente difícil encontrar un ejemplo de un conjunto de datos en el que todas las clases sean gaussianas, y que sigan siendo gaussianas después de que nos unamos a ellas.

Es por eso que recomiendo utilizar LDA de clase múltiple. ¡Espero que ayude!

Dmitry Laptev
fuente

Creo que lo que John ha mostrado muy bien aquí es que LDA para dos clases usa una sola línea para separar las clases. Pero en el ejemplo, una buena clasificación requiere dos líneas, que se realiza en un problema de tres clases.

Michael R. Chernick

@MichaelChernick, sí, exactamente, esa es una explicación desde los otros puntos de vista, ¡gracias por tu comentario!

Dmitry Laptev

gracias por la respuesta rápida chicos! Sin embargo, me encontré hace unos días, un caso en el que un LDA multiclase (precisión del 60%) tiene un rendimiento mucho menos eficiente que un LDA de 2 clases (precisión de más del 80%) en un problema de clasificación de 10 clases.

garak

@MichaelChernick, pero si usa LDA como método de proyección, podría decidir mantener dos dimensiones (los dos vectores propios de los valores más grandes) y obtener la separación que está buscando (usando un método de clasificación kNN en lugar de separar planos), o me estoy perdiendo algo obvio?

Matthieu