Términos como 'ciencia de datos' y 'científico de datos' se usan cada vez más en estos días. Muchas empresas están contratando 'científico de datos'. Pero no creo que sea un trabajo completamente nuevo. Los datos han existido en el pasado y alguien tuvo que lidiar con los datos. Supongo que el...
¿Alguien sabe si es posible importar un gran conjunto de datos a Amazon S3 desde una URL? Básicamente, quiero evitar descargar un archivo enorme y luego volver a cargarlo en S3 a través del portal web. Solo quiero proporcionar la URL de descarga a S3 y esperar a que la descarguen en su sistema de...
Quiero investigar el comportamiento de fijación de precios de las aerolíneas, específicamente cómo las aerolíneas reaccionan a los precios de la competencia. Como diría, mi conocimiento sobre análisis más complejos es bastante limitado. He realizado principalmente todos los métodos básicos para...
Supongamos que tengo cinco conjuntos que me gustaría agrupar. Entiendo que la técnica SimHashing descrita aquí: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ podría producir tres grupos ( {A}, {B,C,D}y {E}), por ejemplo, si sus resultados fueran: A -> h01 B...
He trazado las características importantes en bosques aleatorios con scikit-learn . Para mejorar la predicción utilizando bosques aleatorios, ¿cómo puedo usar la información de la parcela para eliminar características? Es decir, ¿cómo detectar si una característica es inútil o incluso peor, la...
He estado usando esta biblioteca para la construcción y análisis básicos de redes neuronales. Sin embargo, no tiene soporte para construir redes neuronales de varias capas, etc. Por lo tanto, me gustaría conocer cualquier biblioteca agradable para hacer redes neuronales avanzadas y aprendizaje...
Necesito ayuda sobre cuál debería ser mi próximo paso en un algoritmo que estoy diseñando. Debido a los NDA, no puedo revelar mucho, pero intentaré ser genérico y comprensible. Básicamente, después de varios pasos en los algoritmos, tengo esto: Para cada cliente que tengo y los eventos que...
Conozco a alguien que está trabajando en un proyecto que implica ingerir archivos de datos sin tener en cuenta las columnas o los tipos de datos. La tarea es tomar un archivo con cualquier número de columnas y varios tipos de datos y generar estadísticas de resumen de los datos numéricos. Sin...
Estaba estudiando la posibilidad de clasificar el sonido (por ejemplo, sonidos de animales) usando espectrogramas. La idea es utilizar redes neuronales convolucionales profundas para reconocer segmentos en el espectrograma y generar una (o muchas) etiquetas de clase. Esta no es una idea nueva (ver,...
¿Cómo elegir K para PCA? K es el número de dimensiones para proyectar hacia abajo. El único requisito es no perder demasiada información. Entiendo que depende de los datos, pero estoy buscando más una descripción general simple sobre qué características considerar al elegir...
Tengo dos marcos de datos df1 y df2 y me gustaría fusionarlos en un solo marco de datos. Es como si df1 y df2 se hubieran dividido verticalmente en un solo cuadro de datos en el centro, como rasgar un trozo de papel que contiene una lista por la mitad, de modo que la mitad de las columnas van en un...
Acabo de ajustar una curva logística a algunos datos falsos. Hice los datos esencialmente una función de paso. data = -------------++++++++++++++ Pero cuando miro la curva ajustada, la pendiente es muy pequeña. La función que minimiza mejor la función de costo, suponiendo la entropía cruzada, es...
antecedentes: En xgboost, la iteración intenta ajustar un árbol sobre todos los ejemplos, lo que minimiza el siguiente objetivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] donde son primer orden y de segundo orden sobre...
Estoy construyendo un auto con control remoto para divertirme. Estoy usando una Raspberry Pi como computadora de a bordo; y estoy usando varios complementos, como una cámara Raspberry Pi y sensores de distancia, para obtener información sobre los alrededores del automóvil. Estoy usando OpenCV para...
Tengo un problema de clasificación con datos altamente desequilibrados. He leído que sobremuestrear y submuestrear, así como cambiar el costo de resultados categóricos subrepresentados, conducirá a una mejor adaptación. Antes de que esto se hiciera, tensorflow clasificaría cada entrada como el...
¿Cómo puedo importar un archivo .csv en marcos de datos pyspark? Incluso intenté leer el archivo csv en Pandas y luego convertirlo en un marco de datos de chispa usando createDataFrame, pero todavía muestra algún error. ¿Alguien puede guiarme a través de esto? Además, por favor dígame ¿cómo puedo...
Estoy comenzando un proyecto donde la tarea es identificar los tipos de zapatillas a partir de imágenes. Actualmente estoy leyendo las implementaciones de TensorFlow y Torch . Mi pregunta es: ¿cuántas imágenes por clase se requieren para alcanzar un rendimiento de clasificación razonable?...
Estoy tratando de implementar este documento en un conjunto de imágenes médicas. Lo estoy haciendo en Keras. La red consiste esencialmente en 4 capas conv y max-pool seguidas de una capa completamente conectada y un clasificador soft soft. Hasta donde sé, he seguido la arquitectura mencionada en...
Tengo un marco de datos de pandas con toneladas de columnas categóricas, que planeo usar en el árbol de decisiones con scikit-learn. Necesito convertirlos a valores numéricos (no uno vectores calientes). Puedo hacerlo con LabelEncoder de scikit-learn. El problema es que hay demasiados y no quiero...
En este momento estoy jugando con Restricted Boltzmann Machines y, dado que estoy allí, me gustaría tratar de clasificar los dígitos escritos a mano. El modelo que creé ahora es un modelo generativo bastante elegante, pero no sé cómo ir más allá. En este artículo, el autor dice que después de...