Pertenece a una gran cantidad de características o dimensiones (variables) para datos. (Para una gran cantidad de puntos de datos, use la etiqueta [datos grandes]; si el problema es un número mayor de variables que datos, use la etiqueta [subdeterminado]).
Leí que "la distancia euclidiana no es una buena distancia en grandes dimensiones". Supongo que esta afirmación tiene algo que ver con la maldición de la dimensionalidad, pero ¿qué es exactamente? Además, ¿qué son las "altas dimensiones"? He estado aplicando agrupamiento jerárquico usando la...
Escuché muchas veces sobre la maldición de la dimensionalidad, pero de alguna manera todavía no puedo entender la idea, todo está nublado. ¿Alguien puede explicar esto de la manera más intuitiva, como se lo explicaría a un niño, para que yo (y los demás confundidos como estoy) pudiéramos entender...
Anteriormente pregunté esto en StackOverflow, pero parece que podría ser más apropiado aquí, dado que no obtuvo ninguna respuesta en SO. Es una especie de intersección entre estadísticas y programación. Necesito escribir un código para hacer PCA (Análisis de componentes principales). He examinado...
Quiero usar Lazo o regresión de cresta para un modelo con más de 50,000 variables. Quiero hacerlo usando el paquete de software en R. ¿Cómo puedo estimar el parámetro de contracción ( λλ\lambda )? Ediciones: Este es el punto al que me levanté: set.seed (123) Y <- runif (1000) Xv <-...
He estado leyendo mucho sobre el algoritmo -snettt para la reducción de dimensionalidad. Estoy muy impresionado con el rendimiento en los conjuntos de datos "clásicos", como MNIST, donde logra una separación clara de los dígitos ( ver artículo original ): También lo he usado para visualizar las...
Estoy ejecutando un pequeño experimento con la regresión LASSO en R para probar si es capaz de encontrar un par de predictores perfecto. El par se define así: f1 + f2 = resultado El resultado aquí es un vector predeterminado llamado 'edad'. F1 y f2 se crean tomando la mitad del vector de edad y...
Algunas de las características de mis datos tienen valores grandes, mientras que otras tienen valores mucho más pequeños. ¿Es necesario centrar + escalar datos antes de aplicar t-SNE para evitar sesgos hacia los valores más grandes? Uso la implementación sklearn.manifold.TSNE de Python con la...
Entiendo lo que es la "maldición de la dimensionalidad", y he hecho algunos problemas de optimización de alta dimensión y conozco el desafío de las posibilidades exponenciales. Sin embargo, dudo que la "maldición de la dimensionalidad" exista en la mayoría de los datos del mundo real (bueno,...
Estoy tratando de leer sobre la investigación en el área de regresión de alta dimensión; cuando ppp es mayor que nnn , es decir, p>>np>>np >> n . Parece que el término logp/nlogp/n\log p/n aparece a menudo en términos de tasa de convergencia para estimadores de regresión. Por ejemplo,...
Los lugares que he estado leyendo sobre la maldición de la dimensionalidad lo explican conjuntamente con kNN principalmente, y los modelos lineales en general. Regularmente veo a los mejores clasificados en Kaggle usando miles de características en el conjunto de datos que apenas tiene 100k puntos...
¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de...
Creo que el título de esta pregunta lo dice todo.
Nuestro profesor no está entrando en las matemáticas o incluso en la representación geométrica de la regresión lineal múltiple y esto me tiene un poco confundido. Por un lado, todavía se llama regresión lineal múltiple , incluso en dimensiones más altas. Por otro lado, si tenemos, por ejemplo, y...
Estoy leyendo el libro de Kevin Murphy: Aprendizaje automático: una perspectiva probabilística. En el primer capítulo, el autor explica la maldición de la dimensionalidad y hay una parte que no entiendo. Como ejemplo, el autor afirma: Considere que las entradas están distribuidas uniformemente a...
Esto se cita muy a menudo cuando se menciona la maldición de la dimensionalidad y va (fórmula de la derecha llamada contraste relativo) limre→ ∞var ( | | XreEl | El |kmi[ | El | XreEl | El |k]) =0,entonces: Dmaxkre- Dminkrereminkre→ 0limre→∞var(El |El |XreEl |El |kmi[El |El |XreEl |El |k])=0...
Configuración del problema Tengo puntos de datos (imágenes) de alta dimensión (4096), que estoy tratando de visualizar en 2D. Para este fin, estoy usando t-sne de manera similar al siguiente código de ejemplo de Karpathy . La documentación de scikit-learn recomienda usar PCA para reducir primero...
Tengo NNN (~ un millón) vectores de características. Hay MMM (~ un millón) características binarias, pero en cada vector solo KKK (~ mil) de ellas serían 111 , el resto son 000 . Estoy buscando los pares de vectores que tienen al menos LLL (~ cien) características en común ( 111 en ambos). El...
Tengo un conjunto de datos con aproximadamente 5,000 características / covariables a menudo correlacionadas y una respuesta binaria. Me dieron los datos, no los recolecté. Utilizo Lasso y el refuerzo de gradiente para construir modelos. Utilizo validación cruzada anidada iterada. Reporto los 40...
Tome 20 puntos aleatorios en un espacio de 10.000 dimensiones con cada coordenada iid de . Divídalos en 10 pares ("parejas") y agregue el promedio de cada par ("un niño") al conjunto de datos. Luego haga PCA en los 30 puntos resultantes y trace PC1 vs PC2.norte( 0 , 1 )N(0,1)\mathcal N(0,1) Ocurre...
Estoy trabajando en un problema de inferencia de alta dimensión (alrededor de 2000 parámetros del modelo) para el cual somos capaces de realizar una estimación MAP de manera sólida al encontrar el máximo global del log-posterior utilizando una combinación de optimización basada en gradiente y un...