¿Por qué molestarse con aproximaciones de bajo rango?

Si tiene una matriz con n filas ym columnas, puede usar SVD u otros métodos para calcular una aproximación de rango bajo de la matriz dada.

Sin embargo, la aproximación de rango bajo seguirá teniendo n filas ym columnas. ¿Cómo pueden ser útiles las aproximaciones de bajo rango para el aprendizaje automático y el procesamiento del lenguaje natural, dado que le quedan las mismas características?

Un bajo aproximación rango X de X se puede descomponer en una raíz cuadrada de la matriz como G = U r λ 1$\hat{X}$$X$donde la descomposición eigen deXesUλUT, reduciendo así el número de características, que puede ser representado porGbasado en la aproximación rango-r comoX=GGT. Tenga en cuenta que el subíndicer representa el número de vectores propios y valores propios utilizados en la aproximación. Por lo tanto, reduce el número de características para representar los datos. En algunos ejemplos, las aproximaciones de bajo rango se consideran expansiones basadas en variables latentes (diccionario) de los datos originales, bajo restricciones especiales como ortogonalidad, no negatividad (factorización de matriz no negativa), etc.$G=U_{r}\lambda_{r}^\frac{1}{2}$$X$$U\lambda U^T$$G$$\hat{X}=GG^T$$r$

El punto de aproximación de bajo rango no es necesariamente solo para realizar la reducción de dimensiones.

La idea es que, basándose en el conocimiento del dominio, los datos / entradas de la matriz de alguna manera harán que la matriz tenga un rango bajo. Pero ese es el caso ideal donde las entradas no se ven afectadas por ruido, corrupción, valores perdidos, etc. La matriz observada generalmente tendrá un rango mucho más alto.

La aproximación de rango bajo es, por lo tanto, una forma de recuperar la matriz de rango bajo "original" (la matriz "ideal" antes de que se estropeara por el ruido, etc.), es decir, encontrar la matriz que sea más consistente (en términos de entradas observadas) con la matriz actual y es de bajo rango para que pueda usarse como una aproximación a la matriz ideal. Una vez recuperada esta matriz, podemos usarla como un sustituto de la versión ruidosa y esperamos obtener mejores resultados.

Dos razones más no mencionadas hasta ahora:

1. Reducción de la colinealidad. Creo que la mayoría de estas técnicas eliminan la colinealidad, lo que puede ser útil para el procesamiento posterior.

2. Nuestra imaginación es de bajo rango, por lo que puede ser útil para explorar relaciones de bajo rango.

$r<m$$r$$m$

De acuerdo con "Técnicas estadísticas multivariadas modernas (Izenman)", la regresión de rango reducido cubre varios métodos interesantes como casos especiales que incluyen PCA, análisis factorial, análisis de correlación y variante canónica, LDA y análisis de correspondencia