Estoy buscando una explicación de cómo se calcula la importancia variable relativa en los árboles potenciados por gradientes que no es demasiado general / simplista como: Las medidas se basan en la cantidad de veces que se selecciona una variable para dividir, ponderada por la mejora al cuadrado...
Aunque esta pregunta es algo subjetiva, espero que califique como una buena pregunta subjetiva de acuerdo con las pautas de preguntas frecuentes . Se basa en una pregunta que me hizo Olle Häggström hace un año y, aunque tengo algunas ideas al respecto, no tengo una respuesta definitiva y...
Estoy tratando de armar un plan de estudios de matemáticas autodirigido para prepararme para el aprendizaje de minería de datos y aprendizaje automático. Esto está motivado por comenzar la clase de aprendizaje automático de Andrew Ng en Coursera y sentir que antes de continuar necesitaba mejorar...
Me gustaría entender, ¿cuál es la principal diferencia de implementación entre los algoritmos de agrupación de medios k estándar y esféricos? En cada paso, k-means calcula las distancias entre los vectores de elementos y los centroides del grupo, y reasigna el documento a este grupo, cuyo...
Consideremos, por ejemplo, un modelo de regresión lineal. Escuché que, en la minería de datos, después de realizar una selección gradual basada en el criterio AIC, es engañoso mirar los valores p para probar la hipótesis nula de que cada coeficiente de regresión verdadero es cero. Escuché que uno...
Actualmente tengo que analizar aproximadamente 20 millones de registros y construir modelos de predicción. Hasta ahora he probado Statistica, SPSS, RapidMiner y R. Entre estos, Statistica parece ser el más adecuado para tratar la minería de datos y la interfaz de usuario de RapidMiner también es...
Estoy investigando varias técnicas utilizadas en la agrupación de documentos y me gustaría aclarar algunas dudas sobre PCA (análisis de componentes principales) y LSA (análisis semántico latente). Lo primero: ¿cuáles son las diferencias entre ellos? Sé que en PCA, la descomposición SVD se aplica a...
Considere un escenario en el que se le proporciona la matriz KnownLabel y la matriz PredictedLabel. Me gustaría medir la bondad de la matriz PredictedLabel contra la matriz KnownLabel. Pero el desafío aquí es que KnownLabel Matrix tiene pocas filas solo un 1 y otras pocas filas tienen muchos 1...
Soy un estudiante de maestría en CS en una universidad alemana que ahora escribe mi tesis. Terminaré en dos meses. Tengo que tomar una decisión muy difícil si debo continuar con un doctorado o encontrar un trabajo en la industria. Mis razones para hacer un doctorado: Soy una persona muy curiosa...
Veo que ambas funciones son parte de los métodos de minería de datos, como los regresores de aumento de gradiente . Veo que esos son objetos separados también. ¿Cómo es la relación entre ambos en
Quiero realizar la agrupación K-means en los objetos que tengo, pero los objetos no se describen como puntos en el espacio, es decir, por objects x featuresconjunto de datos. Sin embargo, puedo calcular la distancia entre dos objetos (se basa en una función de similitud). Entonces, dispongo de la...
¿Cuál es la diferencia entre la distribución binomial negativa y la distribución binomial? Intenté leer en línea y descubrí que la distribución binomial negativa se usa cuando los puntos de datos son discretos, pero creo que incluso la distribución binomial se puede usar para puntos de datos...
Casi todos los ejemplos de árboles de decisión que he encontrado resultan ser un árbol binario. ¿Es esto bastante universal? ¿La mayoría de los algoritmos estándar (C4.5, CART, etc.) solo admiten árboles binarios? Por lo que deduzco , CHAID no se limita a los árboles binarios, sino que parece ser...
Nota: El caso es n >> p Estoy leyendo Elementos de aprendizaje estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada (por ejemplo, página 60, página 245). Específicamente, mi pregunta es ¿cómo evaluar el modelo final (sin un conjunto de pruebas separado)...
Suponga que está analizando un gran conjunto de datos con miles de millones de observaciones por día, donde cada observación tiene un par de miles de variables numéricas y categoriales dispersas y posiblemente redundantes. Digamos que hay un problema de regresión, un problema de clasificación...
Los datos tienen muchas características (por ejemplo, 100) y el número de instancias es como 100,000. Los datos son escasos. Quiero ajustar los datos usando regresión logística o svm. ¿Cómo sé si las características son lineales o no lineales para poder usar el truco del núcleo si no es...
Estoy leyendo el algoritmo Bishop en EM para GMM y la relación entre GMM y k-means. En este libro dice que k-means es una versión difícil de GMM. Me pregunto si eso implica que si los datos que intento agrupar no son gaussianos, no puedo usar k-means (o al menos no es adecuado). Por ejemplo, ¿qué...
El siguiente extracto es de Schwager's Hedge Fund Market Wizzards (mayo de 2012), una entrevista con el exitoso administrador de fondos de cobertura Jaffray Woodriff: A la pregunta: "¿Cuáles son algunos de los peores errores que cometen las personas en la minería de datos?": Muchas personas...
Con todos los medios de comunicación y exageraciones sobre el aprendizaje profundo en estos días, leí algunas cosas elementales al respecto. Acabo de descubrir que es solo otro método de aprendizaje automático para aprender patrones a partir de datos. Pero mi pregunta es: ¿dónde brilla y por qué...
Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 8 años . Estoy tratando de armar un paquete de minería de datos para los sitios de StackExchange y, en particular, estoy estancado en tratar de determinar las...