Proporción de varianza explicada en PCA y LDA

Primero proporcionaré una explicación verbal, y luego una más técnica. Mi respuesta consta de cuatro observaciones:

Como @ttnphns explicó en los comentarios anteriores, en PCA cada componente principal tiene cierta variación, que en conjunto suman el 100% de la variación total. Para cada componente principal, una relación entre su varianza y la varianza total se denomina "proporción de varianza explicada". Esto es muy conocido.
Por otro lado, en LDA cada "componente discriminante" tiene cierta "discriminabilidad" (¡he inventado estos términos!) Asociada, y todos juntos suman el 100% de la "discriminabilidad total". Entonces, para cada "componente discriminante" se puede definir "proporción de discriminabilidad explicada". Supongo que esa "proporción de traza" a la que te refieres es exactamente eso (ver más abajo). Esto es menos conocido, pero sigue siendo un lugar común.
Aún así, se puede observar la varianza de cada componente discriminante y calcular la "proporción de varianza" de cada uno de ellos. Resulta que sumarán algo inferior al 100%. No creo que haya visto esto discutido en ninguna parte, que es la razón principal por la que quiero dar esta larga respuesta.
También se puede ir un paso más allá y calcular la cantidad de variación que cada componente LDA "explica"; esto va a ser más que solo su propia variación.

Sea matriz de dispersión total de los datos (es decir, matriz de covarianza pero sin normalizar por el número de puntos de datos), sea la matriz de dispersión dentro de la clase y esté entre matriz de dispersión de clase. Ver aquí para las definiciones . Convenientemente, . $\mathbf{T}$ $\mathbf{W}$ $\mathbf{B}$ $\mathbf{T}=\mathbf{W}+\mathbf{B}$

PCA realiza la descomposición propia de , toma sus vectores propios unitarios como ejes principales y las proyecciones de los datos en los vectores propios como componentes principales. La varianza de cada componente principal viene dada por el valor propio correspondiente. Todos los valores propios de (que es simétrico y positivo-definido) son positivos y se suman a , que se conoce como varianza total . $\mathbf{T}$ $\mathbf{T}$ $\mathrm{tr}(\mathbf{T})$

LDA realiza la descomposición propia de , toma sus vectores propios de unidades no ortogonales (!) Como ejes discriminantes y las proyecciones en los vectores propios como componentes discriminantes (un término inventado ) Para cada componente discriminante, podemos calcular una relación de entre la clase varianza y dentro de la clase varianza , es decir, la relación señal-ruido . Resulta que estará dado por el valor propio correspondiente de (Lema 1, ver abajo). Todos los valores propios de son positivos (Lema 2), por lo tanto, sume un número positivo cuál se puede llamar $\mathbf{W}^{-1} \mathbf{B}$ $B$ $W$ $B/W$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathrm{tr}(\mathbf{W}^{-1} \mathbf{B})$ relación señal / ruido total . Cada componente discriminante tiene una cierta proporción, y creo que a eso se refiere la "proporción de traza". Vea esta respuesta de @ttnphns para una discusión similar .

Curiosamente, las variaciones de todos los componentes discriminantes se sumarán a algo más pequeño que la varianza total (incluso si el número de clases en el conjunto de datos es mayor que el número de dimensiones; como solo hay ejes discriminantes , lo harán ni siquiera forman una base en el caso ). Esta es una observación no trivial (Lema 4) que se deduce del hecho de que todos los componentes discriminantes tienen correlación cero (Lema 3). Lo que significa que podemos calcular la proporción habitual de varianza para cada componente discriminante, pero su suma será inferior al 100%. $K$ $N$ $K-1$ $K-1<N$

Sin embargo, soy reacio a referirme a estas variaciones de componentes como "variaciones explicadas" (llamémoslas "variaciones capturadas"). Para cada componente LDA, uno puede calcular la cantidad de varianza que puede explicar en los datos al hacer retroceder los datos en este componente; este valor en general será mayor que la propia varianza "capturada" de este componente. Si hay suficientes componentes, entonces juntos su varianza explicada debe ser del 100%. Vea mi respuesta aquí para saber cómo calcular dicha varianza explicada en un caso general: Análisis de componentes principales "hacia atrás": ¿cuánta varianza de los datos se explica por una combinación lineal dada de las variables?

Aquí hay una ilustración que usa el conjunto de datos de Iris (¡solo medidas separadas!): PCA y LDA de las mediciones individuales del conjunto de datos Iris Las líneas continuas finas muestran ejes PCA (son ortogonales), las líneas gruesas discontinuas muestran ejes LDA (no ortogonales). Proporciones de varianza explicadas por los ejes PCA: y . Proporciones de relación señal / ruido de los ejes LDA: y . Proporciones de varianza capturadas por los ejes LDA: y (es decir, solo juntos). Proporciones de varianza explicadas por los ejes LDA: y . $79\%$ $21\%$ $96\%$ $4\%$ $48\%$ $26\%$ $74\%$ $65\%$ $35\%$

\begin{array}{lcccc} LDA eje 1 & LDA eje 2 & PCA eje 1 & PCA eje 2 \\ Varianza capturada & 48 % & 26 % & 79 % & 21 % \\ Varianza explicada & sesenta y cinco % & 35 % & 79 % & 21 % \\ Relación señal / ruido & 96 % & 4 4 % & - & - \end{array}

$\begin{array}{lcccc} & \text{LDA axis 1} & \text{LDA axis 2} & \text{PCA axis 1} & \text{PCA axis 2} \\ \text{Captured variance} & 48\% & 26\% & 79\% & 21\% \\ \text{Explained variance} & 65\% & 35\% & 79\% & 21\% \\ \text{Signal-to-noise ratio} & 96\% & 4\% & - & - \\ \end{array}$

Lema 1. Vectores propios de (o, equivalentemente, vectores propios generalizados del problema de valor propio generalizado ) son puntos estacionarios del cociente de Rayleigh (diferencie este último para verlo), con los valores correspondientes del cociente de Rayleigh que proporcionan los valores propios , QED. $\mathbf{v}$ $\mathbf{W}^{-1} \mathbf{B}$ $\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}$

\frac{v^{⊤} si v}{v^{⊤} W v} = \frac{si}{W}

$\frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{W}\mathbf{v}} = \frac{B}{W}$

λ

$\lambda$

Lema 2. Valores propios de son los mismos que los valores propios de (de hecho, estas dos matrices son similares ). Este último es simétrico positivo-definido, por lo que todos sus valores propios son positivos. $\mathbf{W}^{-1} \mathbf{B} = \mathbf{W}^{-1/2} \mathbf{W}^{-1/2} \mathbf{B}$ $\mathbf{W}^{-1/2} \mathbf{B} \mathbf{W}^{-1/2}$

Lema 3. Tenga en cuenta que la covarianza / correlación entre componentes discriminantes es cero. De hecho, diferentes vectores propios y del problema de valor propio generalizado son ambos - y -ortogonal ( ver, por ejemplo, aquí ), y también lo son -ortogonal (porque ), lo que significa que tienen covarianza cero: . $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}$ $\mathbf{B}$ $\mathbf{W}$ $\mathbf{T}$ $\mathbf{T}=\mathbf{W}+\mathbf{B}$ $\mathbf{v}_1^\top \mathbf{T} \mathbf{v}_2=0$

Lema 4. Los ejes discriminantes forman una base no ortogonal , en la cual la matriz de covarianza es diagonal. En este caso, se puede demostrar que QED. $\mathbf{V}$ $\mathbf{V}^\top\mathbf{T}\mathbf{V}$

t r (V^{⊤} T V) < t r (T),

$\mathrm{tr}(\mathbf{V}^\top\mathbf{T}\mathbf{V})<\mathrm{tr}(\mathbf{T}),$

ameba
fuente

+1. Muchas de las cosas que discute aquí estaban cubiertas, un poco más comprimidas, en mi respuesta . He agregado un enlace a su respuesta actual en el cuerpo de mi respuesta anterior.

ttnphns

@ttnphns: Recuerdo esa respuesta tuya (tiene mi +1 de hace mucho tiempo), pero no miré allí al escribir esta respuesta, por lo que muchas cosas se presentan de manera muy similar, tal vez demasiado. Sin embargo, la razón principal por la que escribí esta respuesta fue para discutir la "varianza explicada" (en el sentido de PCA) de los componentes LDA. No estoy seguro de lo útil que es en la práctica, pero a menudo me preguntaba antes, y recientemente he luchado por algún tiempo para probar la desigualdad de Lemma 4 que al final se demostró para mí en Math.SE.

ameba

Tenga en cuenta que la diagonal de es , el denominador para calcular las correlaciones canónicas.

V^{⊤} T V

$\mathbf{V}^\top\mathbf{T}\mathbf{V}$

λ + 1

$\lambda+1$

ttnphns

@ttnphns: Hmmm ... creo que para cada vector propio , y como dices en tu respuesta vinculada . Pero el valor de (fuera de cualquier relación) no puede expresarse realmente solo con .

v

$\mathbf{v}$

si / / W = \frac{v^{⊤} si v}{v^{⊤} W v} = λ

$B/W = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{W}\mathbf{v}} = \lambda$

si / / T = \frac{v^{⊤} si v}{v^{⊤} T v} = \frac{v^{⊤} si v}{(v^{⊤} si v + v^{⊤} W v)} = \frac{λ}{λ + 1},

$B/T = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{\mathbf{v}^\top\mathbf{T}\mathbf{v}} = \frac{\mathbf{v}^\top\mathbf{B}\mathbf{v}}{(\mathbf{v}^\top\mathbf{B}\mathbf{v}+\mathbf{v}^\top\mathbf{W}\mathbf{v})} = \frac{\lambda}{\lambda+1},$

v^{⊤} T v

$\mathbf{v}^\top\mathbf{T}\mathbf{v}$

λ

$\lambda$

ameba

Me parece que el vector propio de un discriminante dado contiene información de para ese discriminante; cuando lo calibramos con que mantiene las covarianzas entre las variables, podemos llegar al valor propio del discriminante. Por lo tanto, la información sobre se almacena en vectores propios, y se "estandariza" a la forma correspondiente a ninguna correlación entre las variables.

B / W

$B/W$

T

$\bf T$

B / W

$B/W$

ttnphns

Proporción de varianza explicada en PCA y LDA

Respuestas: