El algoritmo PCA más rápido para datos de alta dimensión

Me gustaría realizar una PCA en un conjunto de datos compuesto por aproximadamente 40 000 muestras, cada muestra mostrando alrededor de 10 000 características.

El uso de la función princomp de Matlab lleva más de media hora, momento en el que elimino el proceso. Me gustaría encontrar una implementación / algoritmo que se ejecute en menos de 10 minutos. ¿Cuál sería el algoritmo más rápido? ¿Cuánto tiempo tomaría un i7 dual core / 4GB Ram?

En primer lugar, debe especificar si desea todos los componentes o los más importantes.

$A \in \mathbb{R}^{N \times M}$$N$$M$

$C \in \mathbb{R}^{M\times M}$$O(NM^2)$$O(M^3)$$O(2M^2)$$\approx 1.5$$A$ .

$A$$A$

$C$

Supongo que solo necesita unos pocos (o unos cientos) pares de valores singulares / vectores dominantes. Entonces es mejor usar un método iterativo, que será mucho más rápido y consumirá mucha menos memoria.

En Matlab, ver

ayuda svds

Puede consultar mi respuesta en Cross Validated . No quería copiarlo aquí. Básicamente, puede usar SVD aleatorio rápido para calcular la base y los coeficientes de PCA.

Puede probar el algoritmo Fast PCA que se basa en una forma iterativa de calcular algunos vectores propios. Ver, A.Sharma y KK Paliwal, Análisis rápido de componentes principales usando análisis de punto fijo, Pattern Recognition Letters, 28, 1151-1155, 2007 .