¿Por qué todos los componentes PLS juntos explican solo una parte de la varianza de los datos originales?

Tengo un conjunto de datos que consta de 10 variables. Ejecuté mínimos cuadrados parciales (PLS) para predecir una variable de respuesta única por estas 10 variables, extraje 10 componentes PLS y luego calculé la varianza de cada componente. En los datos originales tomé la suma de las varianzas de todas las variables, que es 702.

Luego dividí la varianza de cada uno de los componentes de PLS por esta suma para obtener el porcentaje de la varianza explicada por el PLS, y sorprendentemente todos los componentes juntos solo explican el 44% de la varianza original.

¿Cuál es la explicación de eso? ¿No debería ser 100%?

regression pca covariance-matrix partial-least-squares Ress
fuente

Como sé en el lado de la respuesta (y), lo que determina el número de componentes PLS es el número mínimo de la observación. Tengo 20 observaciones. Pero, por otro lado, solo tengo 10 variables independientes, lo que me limita a 10 PLS. Mi pregunta es cuál es la fórmula general para calcular la varianza explicada por cada componente (PLS o PCA).

Ress

mathworks.com/help/stats/plsregress.html este ejemplo tiene solo una variable en el lado Y y calcula 10 componentes.

Ress

Respuestas:

La suma de las variaciones de todos los componentes PLS es normalmente inferior al 100%.

$\mathbf y$ $\mathbf X$

$\mathbf t_i = \mathbf X \mathbf w_i$

$\mathbf y$ $\mathbf t_i$
$\|\mathbf w_i\|=1$
Dos componentes PLS (también conocidos como vectores de puntaje) y no están correlacionados. $\mathbf t_i$ $\mathbf t_j$

Tenga en cuenta que los vectores de peso no tienen que ser (y no son) ortogonales.

Esto significa que si consiste en variables y encontró componentes PLS, entonces encontró una base no ortogonal con proyecciones no correlacionadas en los vectores de base. Se puede demostrar que matemáticamente en una situación así la suma de las varianzas de todas estas proyecciones, será inferior a la varianza total de . Serían iguales si los vectores de peso fueran ortogonales (como, por ejemplo, en PCA), pero en PLS este no es el caso. $\mathbf X$ $k=10$ $10$ $\mathbf X$

No conozco ningún libro de texto o documento que explique explícitamente este problema, pero lo he explicado anteriormente en el contexto del análisis discriminante lineal (LDA) que también produce una cantidad de proyecciones no correlacionadas en vectores de peso unitario no ortogonales, vea aquí : Proporción de la varianza explicada en PCA y LDA .

ameba
fuente

Gracias y sí, eso tiene sentido. No sabía que los vectores de carga (peso) no son ortogonales. Por lo tanto, no captura la varianza máxima de X. Siguiendo el ejemplo de matlab, ¿puede ayudarme cómo puedo obtener matemáticamente los valores "PCTVAR"?

Ress

No estoy seguro, pero puedo pensarlo. ¿La primera columna en PCTVAR(porcentaje de varianza explicada en X) no está de acuerdo con sus cálculos? ¿O pregunta por la segunda columna (porcentaje de varianza explicado en y)? En general, si desea entrar en matemáticas PLS, le sugiero que comience a leer el documento de Rosipal & Kramer y siga los enlaces.

ameba