Sé cómo calcular matemáticamente PCA y SVD, y sé que ambos se pueden aplicar a la regresión de mínimos cuadrados lineales. La principal ventaja de SVD matemáticamente parece ser que se puede aplicar a matrices no cuadradas. Ambos se centran en la descomposición de la matrizAdemás de la ventaja de...
Tengo un par de preguntas rápidas sobre PCA: ¿El PCA supone que el conjunto de datos es gaussiano? ¿Qué sucede cuando aplico un PCA a datos inherentemente no lineales? Dado un conjunto de datos, el proceso consiste primero en normalizar la media, establecer la varianza en 1, tomar un SVD,...
He entendido cómo la regresión de crestas reduce los coeficientes hacia cero geométricamente. Además, sé cómo demostrar eso en el "Caso Ortonormal" especial, pero estoy confundido sobre cómo funciona en el caso general a través de "Descomposición
Estoy buscando implementar un biplot para el análisis de componentes principales (PCA) en JavaScript. Mi pregunta es, ¿cómo determino las coordenadas de las flechas a partir de la salida U,V,DU,V,DU,V,D de la descomposición vectorial singular (SVD) de la matriz de datos? Aquí hay un ejemplo de...
Quiero implementar un algoritmo en un documento que utiliza el kernel SVD para descomponer una matriz de datos. Así que he estado leyendo materiales sobre métodos de kernel y PCA de kernel, etc. Pero aún me resulta muy oscuro, especialmente cuando se trata de detalles matemáticos, y tengo algunas...
Hace poco leí el libro de Skillicorn sobre descomposiciones de matrices, y me decepcionó un poco, ya que estaba dirigido a un público universitario. Me gustaría compilar (para mí y para otros) una breve bibliografía de documentos esenciales (encuestas, pero también documentos innovadores) sobre...
Supongamos que tengo una matriz densa de tamaño m × n , con descomposición SVD A = U S V ⊤ . En puedo calcular la SVD de la siguiente manera: .AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Si se agrega una nueva fila a A , ¿se puede calcular la nueva...
El artículo de Wikipedia sobre análisis de componentes principales establece que Existen algoritmos eficientes para calcular la SVD de sin tener que formar la matriz , por lo que calcular la SVD es ahora la forma estándar de calcular un análisis de componentes principales a partir de una matriz...
Supongamos que tenemos variables medibles, , hacemos un número de mediciones y luego deseamos realizar una descomposición de valores singulares en los resultados para encontrar los ejes de mayor varianza para los puntos en el espacio -dimensional. ( Nota: suponga que las medias de ya se han...
Me gustaría dibujar una muestra x∼N(0,Σ)x∼N(0,Σ)\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right) . Wikipedia sugiere usar una descomposición de Cholesky o Eigen , es decir, Σ=D1DT1Σ=D1D1T \mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T o Σ=QΛQTΣ=QΛQT \mathbf{\Sigma} =...
Estoy intentando realizar la agrupación a nivel de documento. Construí la matriz de frecuencia de término-documento y estoy tratando de agrupar estos vectores de alta dimensión usando k-means. En lugar de agrupar directamente, lo que hice fue aplicar primero la descomposición vectorial singular de...
¿Son los componentes de PCA (en el análisis de componentes principales) estadísticamente independientes si nuestros datos son multivariados normalmente distribuidos? Si es así, ¿cómo se puede demostrar / probar esto? Pregunto porque vi esta publicación , donde la respuesta principal dice: PCA...
Considere una serie de tiempo simple: > tp <- seq_len(10) > tp [1] 1 2 3 4 5 6 7 8 9 10 podemos calcular una matriz de adyacencia para esta serie de tiempo que representa los enlaces temporales entre muestras. Al calcular esta matriz, agregamos un sitio imaginario en el tiempo 0 y el...
Encontré el artículo de Hervé Abdi sobre SVD generalizada. El autor mencionó: El SVD generalizado (GSVD) descompone una matriz rectangular y tiene en cuenta las restricciones impuestas en las filas y las columnas de la matriz. El GSVD proporciona una estimación de mínimos cuadrados generalizada...
Estos términos se mezclan mucho, pero me gustaría saber cuáles cree que son las diferencias, si las hay.
Posiblemente fuera de tema aquí, pero ya existen varias ( una , dos ) preguntas relacionadas. Escudriñar la literatura (o una búsqueda en Google de Algoritmos SVD truncados) muestra muchos documentos que usan SVD truncados de varias maneras y afirman (frustrantemente, a menudo sin citas) que...
Si construyo una matriz 2D compuesta completamente de datos aleatorios, esperaría que los componentes PCA y SVD esencialmente no explicaran nada. En cambio, parece que la primera columna SVD parece explicar el 75% de los datos. ¿Cómo puede ser esto posible? ¿Qué estoy haciendo mal? Aquí está la...
Estoy tratando de descomponer una matriz de covarianza basada en un conjunto de datos dispersos / breves. Me doy cuenta de que la suma de lambda (varianza explicada), según se calcula con svd, se amplifica con datos cada vez más vacíos. Sin huecos, svdy eigenarrojar los mismos resultados. Esto no...
Supongamos que tengo una matriz de recomendaciones al estilo de Netflix, y quiero construir un modelo que prediga posibles clasificaciones de películas futuras para un usuario determinado. Usando el enfoque de Simon Funk, se usaría el descenso de gradiente estocástico para minimizar la norma de...
Entiendo la relación entre el análisis de componentes principales y la descomposición del valor singular en un nivel algebraico / exacto. Mi pregunta es sobre la implementación de scikit-learn . La documentación dice: " [TruncatedSVD] es muy similar a PCA, pero opera en vectores de muestra...