¿Qué es el subespacio principal en PCA probabilístico?

si se observa matriz de datos e es variable latente $X$ $Y$

X = W Y + μ + ϵ

$X=WY+\mu+\epsilon$

Donde es la media de los datos observados, y es el error / ruido gaussiano en los datos, y se llama subespacio principal. $\mu$ $\epsilon$ $W$

Mi pregunta es cuando se usa PCA normal, obtendríamos un conjunto de vectores propios ortonormales para los cuales lo siguiente es cierto $E$

Y = E X

$Y=EX$

Pero en PPCA, no es un vector ortonormal ni eigen. Entonces, ¿cómo puedo obtener los componentes principales de ? $W$ $W$

Siguiendo mi instinto, busqué ppca en MATLAB, donde encontré esta línea:

En la convergencia, las columnas de W abarcan el subespacio, pero no son ortonormales. ppca obtiene los coeficientes ortonormales, coeff, para los componentes por ortogonalización de W.

He modificado el código PPCA un poco para conseguir la W , corrió y después de ortogonalización Me hizo llegar P de W .

¿Por qué esta ortogonalización dio vectores propios, a lo largo de los cuales se verá la mayor parte de la variación?

Supongo que la ortogonalización me está dando un conjunto de vectores ortogonales / ortonormales que abarcan el subespacio principal, pero ¿por qué esta matriz resultante ortogonalizada es igual a eigenmatrix (sé que eigenmatrix en pca también es ortonormal)? ¿Puedo suponer que el subespacio principal se extiende solo por un conjunto único de vectores ortonormales? En ese caso, ambos resultados coincidirán siempre.

machine-learning pca latent-variable eigenvalues usuario3086871
fuente

Solo para aclarar mi confusión, verifiqué exactamente dónde se calcula el W y lo asigné a un nuevo parámetro de salida llamado prin_sub. Sé que ppca devuelve W en SW, pero para ser absolutamente claro, lo hice de forma redundante. y en el documento se dio un ejemplo usando datos 'hald', usé su código: P = orth (SW) también @amoeba Eliminé mis otras preguntas.

user3086871

Respuestas:

Esta es una excelente pregunta.

El PCA probabilístico (PPCA) es el siguiente modelo de variable latente donde es una observación y es latente vector variable generalmente . Tenga en cuenta que esto difiere del análisis factorial en solo un pequeño detalle: la estructura de covarianza de error en PPCA es y en FA es una matriz diagonal arbitraria .

\begin{aligned} z & \sim N (0, I) \\ x & \sim N (W z + μ, σ^{2} I), \end{aligned}

$\begin{align} \mathbf z &\sim \mathcal N(\mathbf 0, \mathbf I) \\ \mathbf x &\sim \mathcal N(\mathbf W \mathbf z + \boldsymbol \mu, \sigma^2 \mathbf I), \end{align}$

x \in R^{p}

$\mathbf x\in\mathbb R^p$

z \in R^{q}

$\mathbf z\in\mathbb R^q$

q ≪ p

$q\ll p$

σ^{2} I

$\sigma^2 \mathbf I$

Ψ

$\boldsymbol \Psi$

Tipping y Bishop, 1999, Probabilistic Component Principal Analysis demuestran el siguiente teorema: la solución de máxima verosimilitud para PPCA se puede obtener analíticamente y viene dada por (Ec. 7): donde es una matriz de direcciones principales (vectores propios de la matriz de covarianza), es la matriz diagonal de los valores propios correspondientes, también viene dada por una fórmula explícita, y es una matriz de rotación arbitraria (correspondiente a rotaciones en el espacio latente).

W_{M L} = U_{q} (Λ_{q} - σ_{M L}^{2} I)^{1 / 2} R,

$\mathbf W_\mathrm{ML} = \mathbf U_q (\boldsymbol \Lambda_q - \sigma_\mathrm{ML}^2 \mathbf I)^{1/2} \mathbf R,$

U_{q}

$\mathbf U_q$

q

$q$

Λ_{q}

$\boldsymbol \Lambda_q$

σ_{M L}^{2}

$\sigma_\mathrm{ML}^2$

R

$\mathbf R$

q \times q

$q\times q$

La ppca()función implementa el algoritmo de maximización de expectativas para ajustarse al modelo, pero sabemos que debe converger a como se anteriormente. $\mathbf W_\mathrm{ML}$

Su pregunta es: cómo obtener si conoce . $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

La respuesta es que simplemente puede usar la descomposición de valores singulares de . La fórmula anterior ya tiene la forma de matriz ortogonal multiplicada por matriz diagonal multiplicada por matriz ortogonal, por lo que proporciona la SVD y, como es única, obtendrá como vectores singulares izquierdos de . $\mathbf W_\mathrm{ML}$ $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

Eso es exactamente lo que ppca()está haciendo la función de Matlab en la línea 305:

% Orthogonalize W to the standard PCA subspace
[coeff,~] = svd(W,'econ');

¿Puedo suponer que el subespacio principal se extiende solo por un conjunto único de vectores ortonormales?

¡No! Hay un número infinito de bases ortogonales que abarcan el mismo subespacio principal. Si aplica algún proceso de ortogonalización arbitrario a , no se garantiza que obtenga . Pero si usa SVD o algo equivalente, entonces funcionará. $\mathbf W_\mathrm{ML}$ $\mathbf U_q$

ameba
fuente

¡Qué excelente respuesta! Eres bastante genial! Gran ayuda! Muchas gracias. @amoeba

user3086871