El análisis de conglomerados es la tarea de dividir los datos en subconjuntos de objetos de acuerdo con su "similitud" mutua, sin utilizar el conocimiento preexistente como las etiquetas de clase. [Los errores estándar agrupados y / o las muestras de agrupación deben etiquetarse como tales; NO use la etiqueta de "agrupamiento" para ellos.]
K-means es un método ampliamente utilizado en el análisis de conglomerados. Según tengo entendido, este método NO requiere NINGUNA suposición, es decir, dame un conjunto de datos y un número predeterminado de clústeres, k, y simplemente aplico este algoritmo que minimiza la suma de los errores al...
Leí que "la distancia euclidiana no es una buena distancia en grandes dimensiones". Supongo que esta afirmación tiene algo que ver con la maldición de la dimensionalidad, pero ¿qué es exactamente? Además, ¿qué son las "altas dimensiones"? He estado aplicando agrupamiento jerárquico usando la...
Estoy trabajando en un pequeño proyecto que involucra las caras de los usuarios de Twitter a través de sus imágenes de perfil. Un problema con el que me he encontrado es que después de filtrar todas las imágenes, excepto las fotos de retratos claros, un porcentaje pequeño pero significativo de...
¿Cómo podría saber si sus datos (de alta dimensión) exhiben suficiente agrupación para que los resultados de kmeans u otro algoritmo de agrupación sean realmente significativos? Para el algoritmo k-means en particular, ¿qué grado de reducción en la varianza dentro del clúster debería haber para...
Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
Tengo una aplicación en la que sería útil agrupar un conjunto de datos ruidoso antes de buscar efectos de subgrupo dentro de los grupos. Primero examiné PCA, pero se necesitan ~ 30 componentes para llegar al 90% de la variabilidad, por lo que agrupar en solo un par de PC arrojará mucha información....
Cuando se utiliza el análisis de conglomerados en un conjunto de datos para agrupar casos similares, es necesario elegir entre una gran cantidad de métodos de agrupamiento y medidas de distancia. A veces, una opción puede influir en la otra, pero hay muchas combinaciones posibles de métodos....
He visto en alguna parte que las distancias clásicas (como la distancia euclidiana) se vuelven débilmente discriminantes cuando tenemos datos multidimensionales y escasos. ¿Por qué? ¿Tiene un ejemplo de dos vectores de datos dispersos donde la distancia euclidiana no funciona bien? En este caso,...
¿Hay un propósito específico en términos de eficiencia o funcionalidad por qué el algoritmo k-means no usa, por ejemplo, coseno (des) similitud como una métrica de distancia, sino que solo puede usar la norma euclidiana? En general, ¿cumplirá y será correcto el método K-means cuando se consideren o...
Es una práctica común aplicar PCA (análisis de componentes principales) antes de un algoritmo de agrupamiento (como k-means). Se cree que mejora los resultados de agrupamiento en la práctica (reducción de ruido). Sin embargo, estoy interesado en un estudio comparativo y en profundidad de la...
La agrupación jerárquica se puede representar mediante un dendrograma. Cortar un dendrograma a cierto nivel da un conjunto de grupos. Cortar a otro nivel da otro conjunto de grupos. ¿Cómo elegirías dónde cortar el dendrograma? ¿Hay algo que podamos considerar un punto óptimo? Si miro un dendrograma...
Encontramos los centros de clúster y asignamos puntos a k diferentes agrupaciones de clústeres en k-means clustering, que es un algoritmo muy conocido y se encuentra en casi todos los paquetes de aprendizaje automático en la red. Pero la parte faltante y más importante en mi opinión es la elección...
Entiendo cómo artificial neural network (ANN)se puede entrenar de forma supervisada usando la propagación hacia atrás para mejorar el ajuste al disminuir el error en las predicciones. He oído que un ANN se puede utilizar para el aprendizaje no supervisado, pero ¿cómo se puede hacer sin una función...
Tengo una matriz (simétrica) Mque representa la distancia entre cada par de nodos. Por ejemplo, ABCDEFGHIJKL A 0 20 20 20 40 60 60 60100120120120 B 20 0 20 20 60 80 80 80120140140140 C 20 20 0 20 60 80 80 80120140140140 D 20 20 20 0 60 80 80 80120140140140 E 40 60 60 60 0 20 20 20 60 80 80 80 F...
¿Cuál es la diferencia entre un problema multiclase y un problema
He estudiado algoritmos para agrupar datos (aprendizaje no supervisado): EM y k-means. Sigo leyendo lo siguiente: k-means es una variante de EM, con los supuestos de que los grupos son esféricos. ¿Alguien puede explicar la oración anterior? No entiendo qué significa esférico y cómo se...
Con respecto al aprendizaje no supervisado (como la agrupación), ¿hay alguna métrica para evaluar el
Tengo datos de ventas para una serie de puntos de venta, y quiero clasificarlos según la forma de sus curvas a lo largo del tiempo. Los datos se ven más o menos así (pero obviamente no son aleatorios y faltan algunos datos): n.quarters <- 100 n.stores <- 20 if (exists("test.data")){...
Me pregunto si hace una diferencia en la interpretación si solo el dependiente, tanto el dependiente como el independiente, o solo las variables independientes se transforman logarítmicamente. Considere el caso de log(DV) = Intercept + B1*IV + Error Puedo interpretar el IV como el porcentaje...
Encontré este tutorial , que sugiere que debe ejecutar la función de escala en las características antes de la agrupación (creo que convierte los datos en puntuaciones z). Me pregunto si eso es necesario. Lo pregunto principalmente porque hay un buen punto de codo cuando no escalo los datos, pero...