Ajuste de nuevas imágenes de un cálculo SVD / PCA

Estoy tratando de replicar las ideas de la página de Eigenface en wikipedia. A partir de un centenar de imágenes de muestra representadas por una matriz de datos (donde cada imagen se aplana a un vector de longitud n , por lo tanto, X es una matriz de 100 por n ), he calculado una descomposición SVD:$\bf X$$n$$\bf X$$100$$n$

$$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$$

por lo tanto:

$$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$$

Al tomar un subconjunto de los modos propios más grandes , puedo aproximar la matriz (dejemos σ 1 ≥ σ 2 ≥ ⋯ ):$q$$\sigma_1 \ge \sigma_2 \ge \cdots$

$$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$$

Ahora, dado un nuevo vector , que representa una imagen que no está en X , ¿cómo determino la ponderación de los q vectores propios U para representar mejor mi nueva imagen y ? Excepto en casos patológicos, ¿es esta representación única?$y$$\bf X$$q$$\bf U$$y$

En resumen, lo que me gustaría hacer es esto (desde la página wiki):

Estas caras propias ahora se pueden usar para representar caras nuevas y existentes : podemos proyectar una nueva imagen (resta media) en las caras propias y así registrar cómo esa cara nueva difiere de la cara media.

¿Cómo hago esa proyección?

La "proyección" a la que se hace referencia es una proyección vectorial . Para calcular la proyección del vector sobre el vector b , utiliza el producto interno de los dos vectores:$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$$

en este caso es el componente vectorial de a que se encuentra en la misma dirección de b . En el espacio euclidiano, el operador del producto interno se define como suproducto punto:$\mathbf{a_{proj}}$$\mathbf{a}$$\mathbf{b}$

$$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$$

donde es el número de componentes en los vectores a y b y a i y b i son el i -ésimo componente de los vectores a y b , respectivamente. Intuitivamente, al calcular el producto interno de los dos vectores, se encuentra "cuánto" del vector a va en la dirección del vector b . Tenga en cuenta que esta es una cantidad con signo, por lo que un valor negativo significaría que el ángulo entre los dos vectores es mayor que 90 grados, como lo ilustra una definición alternativa para el operador de proyección:$n$$\mathbf{a}$$\mathbf{b}$$a_i$$b_i$$i$$\mathbf{a}$$\mathbf{b}$$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$$

donde es el ángulo entre los dos vectores.$\theta$

Por lo tanto, dado un vector y un grupo de vectores de la base b i , uno puede encontrar "cuánto de un " va en cada una de las direcciones de cada uno de los vectores de la base. Típicamente, esos vectores base serán mutuamente ortogonales. En su caso, la SVD es una descomposición ortogonal, por lo que esta condición debe cumplirse. Entonces, para lograr lo que describe, tomaría la matriz de vectores propios U y calcularía el producto interno del vector candidato y con cada una de las columnas de la matriz:$\mathbf{a}$$\mathbf{b_i}$$\mathbf{a}$$\mathbf{U}$$\mathbf{y}$

$$p_i = \mathbf{y} \cdot \mathbf{u_i}$$

El valor escalar que obtiene de cada producto interno representa qué tan bien el vector y "se alineó" con el i -ésimo vector propio. Dado que los vectores propios son ortonormales , puede reconstruir el vector original y de la siguiente manera:$p_i$$\mathbf{y}$$i$$\mathbf{y}$

$$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$$

Usted preguntó si esta representación es única; No estoy seguro exactamente a qué se refiere, pero no es único en el sentido de que un vector dado podría descomponerse por proyección sobre cualquier número de bases ortonormales. Los vectores propios contenidos en la matriz U son un ejemplo de ello, pero podría usar cualquier número de otros. Por ejemplo, el cálculo de la transformada discreta de Fourier de y puede verse como una proyección sobre una base ortonormal de vectores exponenciales complejos de frecuencia variable.$\mathbf{y}$$\mathbf{U}$$\mathbf{y}$