Tengo un conjunto de datos de usuarios que compran productos de un sitio web. Los atributos que tengo son la identificación del usuario, la región (estado) del usuario, la identificación de las categorías del producto, la identificación de las palabras clave del producto, la identificación de las...
Parece que se ha convertido en axiomático que un conjunto de estudiantes conduce a los mejores resultados posibles del modelo, y cada vez es más raro, por ejemplo, que modelos individuales ganen competencias como Kaggle. ¿Existe una explicación teórica de por qué los conjuntos son tan...
Si tengo una lista muy larga de nombres de artículos, ¿cómo podría obtener un resumen de estos documentos de Internet o de cualquier base de datos? Los nombres de los trabajos son como "Evaluación de la utilidad en la minería web para el dominio de la salud pública". ¿Alguien sabe alguna API que...
Tengo documentos de texto que contienen principalmente listas de artículos. Cada elemento es un grupo de varios tokens de diferentes tipos: nombre, apellido, fecha de nacimiento, número de teléfono, ciudad, ocupación, etc. Un token es un grupo de palabras. Los artículos pueden estar en varias...
Estoy leyendo una presentación y recomienda no utilizar la codificación de omisión, pero está bien con una codificación activa. Pensé que ambos eran lo mismo. ¿Alguien puede describir cuáles son las diferencias entre
Estoy trabajando en un proyecto de ciencia de datos relacionado con la minería de relaciones sociales y necesito almacenar datos en algunas bases de datos de gráficos. Inicialmente elegí Neo4j como la base de datos. Pero parece que Neo4j no escala bien. La alternativa que descubrí son Titan y...
He leído muchos blogs \ artículos sobre cómo diferentes tipos de industrias están utilizando Big Data Analytic. Pero la mayoría de estos artículos no menciona Qué tipo de datos usaron estas compañías. ¿Cuál fue el tamaño de los datos? ¿Qué tipo de herramientas tecnológicas utilizaron para...
Hasta donde sé, el desarrollo de algoritmos para resolver el problema de Minería de patrones frecuentes (FPM), el camino de las mejoras tiene algunos puntos de control principales. En primer lugar, el algoritmo Apriori fue propuesto en 1993 por Agrawal et al. , junto con la formalización del...
Quiero investigar el comportamiento de fijación de precios de las aerolíneas, específicamente cómo las aerolíneas reaccionan a los precios de la competencia. Como diría, mi conocimiento sobre análisis más complejos es bastante limitado. He realizado principalmente todos los métodos básicos para...
Recientemente descubrí un nuevo paquete R para conectarse a la API de LinkedIn. Desafortunadamente, la API de LinkedIn parece bastante limitada para empezar; por ejemplo, solo puede obtener datos básicos sobre empresas, y esto se separa de los datos sobre individuos. Me gustaría obtener datos sobre...
Estoy creando prototipos de una aplicación y necesito un modelo de lenguaje para calcular la perplejidad en algunas oraciones generadas. ¿Hay algún modelo de lenguaje entrenado en Python que pueda usar fácilmente? Algo simple como model = LanguageModel('en') p1 = model.perplexity('This is a well...
Quiero evitar el sobreajuste en un bosque aleatorio. En este sentido, tengo la intención de utilizar mtry, nodosize, maxnodes, etc. ¿Podría ayudarme a elegir valores para estos parámetros? Estoy usando R. Además, si es posible, dígame cómo puedo usar la validación cruzada k-fold para bosque...
Las estadísticas comunes de validación de modelos como la prueba de Kolmogorov-Smirnov (KS), AUROC y el coeficiente de Gini están relacionadas funcionalmente. Sin embargo, mi pregunta tiene que ver con probar cómo están todos relacionados. Tengo curiosidad por saber si alguien puede ayudarme a...
He estado trabajando en aprendizaje automático y bioinformática durante un tiempo, y hoy tuve una conversación con un colega sobre los principales problemas generales de la minería de datos. Mi colega (que es un experto en aprendizaje automático) dijo que, en su opinión, el aspecto práctico más...
Necesito encontrar la precisión de un conjunto de datos de entrenamiento mediante la aplicación de Algoritmo de bosque aleatorio. Pero mi tipo de conjunto de datos es categórico y numérico. Cuando intenté ajustar esos datos, recibí un error. 'La entrada contiene NaN, infinito o un valor...
En mi universidad, tenemos un clúster de computación HPC. Yo uso el clúster para entrenar clasificadores, etc. Entonces, por lo general, para enviar un trabajo al clúster (por ejemplo, script de python scikit-learn), necesito escribir un script de Bash que contenga (entre otros) un comando como...
Estoy tratando de configurar una infraestructura de big data usando Hadoop, Hive, Elastic Search (entre otros), y me gustaría ejecutar algunos algoritmos en ciertos conjuntos de datos. Me gustaría que los algoritmos en sí sean escalables, por lo que esto excluye el uso de herramientas como Weka, R...
Advertencia: soy un principiante completo cuando se trata de aprendizaje automático, pero estoy ansioso por aprender. Tengo un gran conjunto de datos y estoy tratando de encontrar un patrón en él. Es posible que exista / no una correlación entre los datos, ya sea con variables conocidas o con...
He estado analizando un conjunto de datos de ~ 400k registros y 9 variables. La variable dependiente es binaria. He ajustado una regresión logística, un árbol de regresión, un bosque aleatorio y un árbol impulsado por gradiente. Todos ellos dan virtualmente idénticos números de bondad de ajuste...
Es muy común en los recomendadores que tengamos datos de productos del usuario que tengan una etiqueta como, por ejemplo, "clic". Para aprender el modelo, necesito datos de clic y sin clic. El enfoque más simple para generar es tomar pares de productos de usuario que no se encuentran en los datos...