¿Cómo el análisis discriminante lineal reduce las dimensiones?

Hay palabras de "Los elementos del aprendizaje estadístico" en la página 91:

Los centroides K en el espacio de entrada p-dimensional abarcan en la mayoría del subespacio dimensional K-1, y si p es mucho más grande que K, esto será una caída considerable en la dimensión.

Tengo dos preguntas:

1. ¿Por qué los centroides K en el espacio de entrada p-dimensional abarcan como máximo el subespacio dimensional K-1?
2. ¿Cómo se ubican los centroides K?

No hay explicaciones en el libro y no encontré la respuesta de documentos relacionados.

$min(k-1,p)$

El álgebra de LDA en la fase de extracción está aquí .

Si bien "Los elementos del aprendizaje estadístico" es un libro brillante, requiere un nivel relativamente alto de conocimiento para aprovecharlo al máximo. Hay muchos otros recursos en la web para ayudarlo a comprender los temas del libro.

Tomemos un ejemplo muy simple de análisis discriminante lineal en el que desea agrupar un conjunto de puntos de datos bidimensionales en grupos K = 2. La caída en las dimensiones solo será K-1 = 2-1 = 1. Como explicó @deinst, la caída en las dimensiones se puede explicar con geometría elemental.

Una línea puede unir dos puntos en cualquier dimensión, y una línea es unidimensional. Este es un ejemplo de un subespacio K-1 = 2-1 = 1 dimensional.

Ahora, en este simple ejemplo, el conjunto de puntos de datos se dispersará en un espacio bidimensional. Los puntos estarán representados por (x, y), por lo que podría tener puntos de datos como (1,2), (2,1), (9,10), (13,13). Ahora, el uso del análisis discriminante lineal para crear dos grupos A y B dará como resultado que los puntos de datos se clasifiquen como pertenecientes al grupo A o al grupo B de modo que se satisfagan ciertas propiedades. El análisis discriminante lineal intenta maximizar la varianza entre los grupos en comparación con la varianza dentro de los grupos.

En otras palabras, los grupos A y B estarán muy separados y contienen puntos de datos que están muy juntos. En este sencillo ejemplo, está claro que los puntos se agruparán de la siguiente manera. Grupo A = {(1,2), (2,1)} y Grupo B = {(9,10), (13,13)}.

Ahora, los centroides se calculan como los centroides de los grupos de puntos de datos.

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Los centroides son simplemente 2 puntos y abarcan una línea unidimensional que los une.

Puede pensar en el análisis discriminante lineal como una proyección de los puntos de datos en una línea para que los dos grupos de puntos de datos estén tan "separados como sea posible"

Si tuviera tres grupos (y digamos puntos de datos tridimensionales), obtendría tres centroides, simplemente tres puntos, y tres puntos en el espacio 3D definirían un plano bidimensional. Nuevamente la regla K-1 = 3-1 = 2 dimensiones.

Le sugiero que busque en la web recursos que lo ayuden a explicar y ampliar la simple introducción que he dado; por ejemplo http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf