Me he encontrado con un escenario en el que tengo 10 señales / persona para 10 personas (es decir, 100 muestras) que contienen 14000 puntos de datos (dimensiones) que necesito pasar a un clasificador. Me gustaría reducir la dimensionalidad de estos datos y PCA parece ser la forma de hacerlo. Sin...
He estado leyendo algunas preguntas sobre t-SNE ( t-Distributed Stochastic Neighbor Embedded ) últimamente, y también visité algunas preguntas sobre MDS ( Multidimensional Scaling ). A menudo se usan de manera análoga, por lo que parecía una buena idea hacer esta pregunta, ya que aquí hay muchas...
La mayoría de los algoritmos clásicos de agrupación y reducción de dimensionalidad (agrupación jerárquica, análisis de componentes principales, k-means, mapas autoorganizados ...) están diseñados específicamente para datos numéricos, y sus datos de entrada se ven como puntos en un espacio...
El análisis funcional de componentes principales (FPCA) es algo con lo que me he tropezado y que nunca pude entender. ¿Que es todo esto? Consulte "Una encuesta de análisis funcional de componentes principales" por Shang, 2011 , y estoy citando: PCA se encuentra con serias dificultades para...
En este artículo , el autor vincula el análisis discriminante lineal (LDA) con el análisis de componentes principales (PCA). Con mi conocimiento limitado, no puedo seguir cómo LDA puede ser algo similar a PCA. Siempre he pensado que LDA era una forma de algoritmo de clasificación, similar a la...
Comprendo t-SNE y la aproximación de Barnes-Hut es que se requieren todos los puntos de datos para que todas las interacciones de fuerza se puedan calcular al mismo tiempo y cada punto se pueda ajustar en el mapa 2d (o de dimensión inferior). ¿Hay alguna versión de t-sne que pueda manejar...
Algunas de las características de mis datos tienen valores grandes, mientras que otras tienen valores mucho más pequeños. ¿Es necesario centrar + escalar datos antes de aplicar t-SNE para evitar sesgos hacia los valores más grandes? Uso la implementación sklearn.manifold.TSNE de Python con la...
Supongamos que tenemos variables medibles, , hacemos un número de mediciones y luego deseamos realizar una descomposición de valores singulares en los resultados para encontrar los ejes de mayor varianza para los puntos en el espacio -dimensional. ( Nota: suponga que las medias de ya se han...
Entiendo lo que es la "maldición de la dimensionalidad", y he hecho algunos problemas de optimización de alta dimensión y conozco el desafío de las posibilidades exponenciales. Sin embargo, dudo que la "maldición de la dimensionalidad" exista en la mayoría de los datos del mundo real (bueno,...
¿La regresión de rango reducido y la regresión de componentes principales son solo casos especiales de mínimos cuadrados parciales? Este tutorial (Página 6, "Comparación de objetivos") establece que cuando hacemos mínimos cuadrados parciales sin proyectar X o Y (es decir, "no parcial"), se...
Estoy intentando realizar la agrupación a nivel de documento. Construí la matriz de frecuencia de término-documento y estoy tratando de agrupar estos vectores de alta dimensión usando k-means. En lugar de agrupar directamente, lo que hice fue aplicar primero la descomposición vectorial singular de...
Estoy luchando por encontrar un método para reducir el número de categorías en datos nominales u ordinales. Por ejemplo, supongamos que quiero construir un modelo de regresión en un conjunto de datos que tenga varios factores nominales y ordinales. Si bien no tengo problemas con este paso, a...
Usando estos datos: head(USArrests) nrow(USArrests) Puedo hacer un PCA de esta manera: plot(USArrests) otherPCA <- princomp(USArrests) Puedo obtener los nuevos componentes en otherPCA$scores y la proporción de varianza explicada por componentes con summary(otherPCA) Pero, ¿qué sucede si...
En un problema específico con el que trabajo (una competencia) tengo la siguiente configuración: 21 características (numéricas en [0,1]) y una salida binaria. Tengo aproximadamente 100 K filas. El escenario parece ser muy ruidoso. Yo y otros participantes aplicamos la generación de características...
Tengo un conjunto de datos que consta de 15 K muestras etiquetadas (de 10 grupos). Quiero aplicar la reducción de dimensionalidad en 2 dimensiones, eso tomaría en consideración el conocimiento de las etiquetas. Cuando uso técnicas de reducción de dimensionalidad no supervisadas "estándar" como...
Entiendo que el principio básico detrás del algoritmo para LLE consta de tres pasos. Encontrar la vecindad de cada punto de datos por alguna métrica como k-nn. Encuentre pesos para cada vecino que denotan el efecto que tiene el vecino en el punto de datos. Construya la incrustación de baja...
Aparentemente, El análisis de Fisher apunta a maximizar simultáneamente la separación entre clases, mientras se minimiza la dispersión dentro de clase. Una medida útil del poder de discriminación de una variable viene dada por la cantidad diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii}...
¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de...
Sé que tanto la selección de características como la reducción de dimensionalidad apuntan a reducir el número de características en el conjunto original de características. ¿Cuál es la diferencia exacta entre los dos si estamos haciendo lo mismo en
Tengo 3 ensayos cada uno con 87 animales en cada uno de los 2 contextos (algunos datos faltantes; sin datos faltantes = 64 animales). Dentro de un contexto, tengo muchas medidas específicas (tiempo de entrar, el número de veces que regresan a la vivienda, etc.), por lo que quiero desarrollar 2 a 3...