¿Cuál es la diferencia entre PCA regular y PCA probabilística?

15

Sé que el PCA regular no sigue el modelo probabilístico para los datos observados. Entonces, ¿cuál es la diferencia básica entre PCA y PPCA ? En PPCA, el modelo de variable latente contiene, por ejemplo, variables observadas , latente (variables no observadas x ) y una matriz W que no tiene que ser ortonormal como en PCA regular. Una diferencia más que puedo pensar en PCA regular solo proporciona componentes principales, donde PPCA proporciona la distribución probabilística de los datos.yXW

¿Podría alguien, por favor, dar más luz sobre las diferencias entre PCA y PPCA?

pca Vendetta
fuente
2
Ver aquí .
Ami Tavory
1
+1. Vea mis respuestas aquí stats.stackexchange.com/questions/208731 y también aquí stats.stackexchange.com/questions/203087 . ¿Has leído las diapositivas que vinculaste? Parecen explicar todo en detalle. ¿Puedes seguir esa exposición o es demasiado complicado?
ameba dice Reinstate Monica
@amoeba, seguí las diapositivas. Sin embargo, tengo algunas diferencias. ¿No me da una intuición clara de lo que PPCA puede hacer que PCA no puede hacer? ¿Qué sucede técnicamente al introducir variables latentes? ¿La estimación de covarianza como en PPCA también se puede hacer en PCA regular? Si puede agregar una respuesta, sería realmente útil
Vendetta
@amoeba, esas dos preguntas están bastante bien respondidas. Particularmente la pregunta sobre el subespacio principal en PCA probabilístico. Esto me da más intuición para comprender la estimación de los componentes principales de W.
Vendetta
OK, intentaré publicar una respuesta, pero estoy bastante ocupado en estos días. Trataré de encontrar tiempo esta semana, pero podría posponerlo hasta la próxima semana. (+1 por cierto)
ameba dice Reinstate Monica

Respuestas:

9

El objetivo de PPCA no es dar mejores resultados que PCA, sino permitir una amplia gama de extensiones y análisis futuros. El documento establece algunas de las ventajas claramente en la introducción, es decir, por ejemplo:

"La definición de una medida de probabilidad permite una comparación con otras técnicas probabilísticas, al tiempo que facilita las pruebas estadísticas y permite la aplicación de modelos bayesianos".

Los modelos bayesianos en particular están disfrutando de un gran renacimiento últimamente, por ejemplo, VAE, "Bayes variacionales de codificación automática", https://arxiv.org/abs/1312.6114 . La extensión de PCA para ser utilizable en marcos variacionales y similares tiene el potencial para que otro investigador diga 'Oh, oye, ¿y si lo hago ...?'

Hugh Perkins
fuente