Soy un novato que comenzará a leer sobre minería de datos. Tengo conocimientos básicos de IA y estadísticas. Dado que muchos dicen que el aprendizaje automático también juega un papel importante en la minería de datos, ¿es necesario leer sobre el aprendizaje automático antes de poder continuar con...
Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman...
Nunca participé en un curso oficial o estructurado de análisis de datos o aprendizaje automático (aparte de las recientes ofertas en línea) y aprendí la mayor parte de lo que sé de leer y probar cosas. Sé que estoy lejos de poder conseguir un trabajo. Mi pregunta no es qué es mejor ( como esta...
Estoy ejecutando kmeans para identificar grupos de clientes. Tengo aproximadamente 100 variables para identificar grupos. Cada una de estas variables representa el% de gasto de un cliente en una categoría. Entonces, si tengo 100 categorías, tengo estas 100 variables, de modo que la suma de estas...
Recientemente comencé a enseñarme a mí mismo el Aprendizaje automático y el Análisis de datos. Me encuentro con un obstáculo en la necesidad de crear y consultar grandes conjuntos de datos. Me gustaría tomar datos que he estado agregando en mi vida profesional y personal y analizarlos, pero no...
Mientras leía casualmente algunos trabajos de mercado masivo sobre la teoría del caos en los últimos años, comencé a preguntarme cómo se podrían aplicar varios aspectos de la minería de datos y campos relacionados, como redes neuronales, reconocimiento de patrones, gestión de incertidumbre, etc....
¿Alguien sabe si se ha descrito lo siguiente y (de cualquier manera) si parece un método plausible para aprender un modelo predictivo con una variable objetivo muy desequilibrada? A menudo, en aplicaciones CRM de minería de datos, buscaremos un modelo en el que el evento positivo (éxito) sea muy...
Los datos: he trabajado recientemente en el análisis de las propiedades estocásticas de un campo espacio-temporal de errores de pronóstico de producción de energía eólica. Formalmente, se puede decir que es un proceso indexados dos veces en el tiempo (con y ) y una vez en el espacio ( ) con siendo...
¿Podría darme alguna aclaración sobre la minería de datos y los algoritmos de inteligencia artificial? ¿Para qué base matemática usaron? ¿Podría darme un punto de partida, en matemáticas, para comprender este tipo de
Tengo un conjunto de datos que representa 1000 documentos y todas las palabras que aparecen en él. Entonces las filas representan los documentos y las columnas representan las palabras. Entonces, por ejemplo, el valor en la celda representa las veces que la palabra aparece en el documento . Ahora,...
Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las...
Tengo una asignación de minería de datos donde hago un sistema de recuperación de imágenes basado en contenido. Tengo 20 imágenes de 5 animales. Entonces en total 100 imágenes. Mi sistema devuelve las 10 imágenes más relevantes a una imagen de entrada. Ahora necesito evaluar el rendimiento de mi...
A menudo veo personas que hacen que una dimensión / característica de un conjunto de datos sea de media cero al eliminar la media de todos los elementos. ¿Pero nunca entendí por qué hacerlo? ¿Cuál es el efecto de hacer eso como un paso de preprocesamiento? ¿Mejora el rendimiento de la...
Mientras estudio la Estimación de máxima verosimilitud, para hacer inferencia en la Estimación de máxima verosimilitud, necesitamos conocer la varianza. Para descubrir la varianza, necesito conocer el límite inferior de Cramer's Rao, que se parece a una matriz de Hesse con una segunda derivación en...
Estoy tratando de predecir el éxito o el fracaso de los estudiantes en función de algunas características con un modelo de regresión logística. Para mejorar el rendimiento del modelo, ya he pensado en dividir a los estudiantes en diferentes grupos basados en diferencias obvias y construir modelos...
Como dice el título, ¿alguien sabe de un buen libro actualizado que cubra el preprocesamiento de datos en general y especialmente las técnicas de detección atípicas? No es necesario que el libro se centre exclusivamente en eso, pero debe tratar exhaustivamente los temas antes mencionados: no...
Buscar en Internet el tutorial de PCA ofrece miles de resultados (incluso videos). Muchos de los tutoriales son muy buenos. Pero no puedo encontrar ningún ejemplo práctico en el que se explique PCA utilizando algunos conjuntos de datos que puedo usar para la demostración. Necesito un tutorial que...
Estoy usando R (y el paquete arules) para minar transacciones para reglas de asociación. Lo que deseo hacer es construir las reglas y luego aplicarlas a los nuevos datos. Por ejemplo, digamos que tengo muchas reglas, una de las cuales es la canónica {Beer=YES} -> {Diapers=YES}. Luego tengo...
El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por...
Recientemente me dijeron que el proceso que seguí (componente de una Tesis de EM) podría verse como un ajuste excesivo. Estoy buscando obtener una mejor comprensión de esto y ver si otros están de acuerdo. El objetivo de esta parte del documento es Compare el rendimiento de los árboles de...