Tengo un conjunto de datos con ~ 1M filas y ~ 500K características dispersas. Quiero reducir la dimensionalidad a algún lugar del orden de las características densas 1K-5K. sklearn.decomposition.PCAno funciona en datos dispersos, y he intentado usarlos, sklearn.decomposition.TruncatedSVDpero...
Entiendo lo que hace Standard Scalar y lo que hace Normalizer, según la documentación de scikit: Normalizer , Standard Scaler . Sé cuándo se aplica el Escalador estándar. ¿Pero en qué escenario se aplica Normalizer? ¿Hay escenarios en los que se prefiere uno sobre el
En espíritu de la famosa Tensorflow ruido como zumbido broma y problema XOr empecé a pensar, si es posible diseñar una red neuronal que los implementos función?y=x2y=x2y = x^2 Dada alguna representación de un número (por ejemplo, como un vector en forma binaria, de modo que el número 5se...
En nuestra empresa, tenemos una base de datos MongoDB que contiene una gran cantidad de datos no estructurados, en los que necesitamos ejecutar algoritmos de reducción de mapas para generar informes y otros análisis. Tenemos dos enfoques para seleccionar para implementar los análisis...
Por lo tanto, tenemos el potencial para una aplicación de aprendizaje automático que se adapte bastante bien al dominio del problema tradicional resuelto por los clasificadores, es decir, tenemos un conjunto de atributos que describen un elemento y un "cubo" en el que terminan. Sin embargo, en...
Me gustaría explorar la 'ciencia de datos'. El término me parece un poco vago, pero espero que requiera: aprendizaje automático (en lugar de estadísticas tradicionales); un conjunto de datos lo suficientemente grande como para ejecutar análisis en clústeres. ¿Cuáles son algunos buenos conjuntos...
Tengo curiosidad por las consultas en lenguaje natural. Stanford tiene lo que parece ser un sólido conjunto de software para procesar lenguaje natural . También he visto la biblioteca Apache OpenNLP y la Arquitectura general para la ingeniería de texto . Hay una increíble cantidad de usos para el...
La definición habitual de regresión (que yo sepa) es predecir una variable de salida continua a partir de un conjunto dado de variables de entrada . La regresión logística es un algoritmo de clasificación binaria, por lo que produce una salida categórica. ¿Es realmente un algoritmo de regresión?...
Pensé que el modelo lineal generalizado (GLM) se consideraría un modelo estadístico, pero un amigo me dijo que algunos documentos lo clasifican como una técnica de aprendizaje automático. ¿Cuál es verdadero (o más preciso)? Cualquier explicación sería
A menudo estoy construyendo un modelo (clasificación o regresión) donde tengo algunas variables predictoras que son secuencias y he estado tratando de encontrar recomendaciones técnicas para resumirlas de la mejor manera posible para su inclusión como predictores en el modelo. Como ejemplo...
Hay muchas fuentes que proporcionan los datos de stock históricos, pero solo proporcionan los campos OHLC junto con el volumen y el cierre ajustado. También encontré un par de fuentes que proporcionan conjuntos de datos de capitalización de mercado, pero están restringidos a las acciones...
La función base R glm()utiliza la puntuación de los pescadores para MLE, mientras que glmnetparece utilizar el método de descenso de coordenadas para resolver la misma ecuación. El descenso coordinado es más eficiente en tiempo que Fisher Scoring, ya que Fisher Scoring calcula la matriz derivada de...
Tengo 2 conjuntos de datos, uno con instancias positivas de lo que me gustaría detectar y otro con instancias sin etiquetar. ¿Qué métodos puedo usar? Como ejemplo, supongamos que queremos entender detectar correo electrónico no deseado en función de algunas características de correo electrónico...
En mi universidad, tenemos un clúster de computación HPC. Yo uso el clúster para entrenar clasificadores, etc. Entonces, por lo general, para enviar un trabajo al clúster (por ejemplo, script de python scikit-learn), necesito escribir un script de Bash que contenga (entre otros) un comando como...
t-SNE, como en [1], funciona reduciendo progresivamente la divergencia Kullback-Leibler (KL), hasta que se cumpla una determinada condición. Los creadores de t-SNE sugieren utilizar la divergencia KL como criterio de rendimiento para las visualizaciones: puede comparar las divergencias de...
Quiero trazar los bytes de una imagen de disco para comprender un patrón en ellos. Esto es principalmente una tarea académica, ya que estoy casi seguro de que este patrón fue creado por un programa de prueba de disco, pero me gustaría realizar ingeniería inversa de todos modos. Ya sé que el patrón...
He implementado el sistema NER con el uso del algoritmo CRF con mis características artesanales que dieron resultados bastante buenos. El caso es que utilicé muchas características diferentes, incluidas etiquetas POS y lemas. Ahora quiero hacer el mismo NER para un idioma diferente. El problema...
Estoy tratando de resolver un conjunto de ecuaciones que tiene 40 variables independientes (x1, ..., x40) y una variable dependiente (y). El número total de ecuaciones (número de filas) es ~ 300, y quiero resolver el conjunto de 40 coeficientes que minimiza el error total de la suma del cuadrado...
Permítame mostrarle un ejemplo de una hipotética aplicación de agrupación en línea: En el momento n, los puntos 1,2,3,4 se asignan al grupo azul A y los puntos b, 5,6,7 se asignan al grupo rojo B. En el momento n + 1 se introduce un nuevo punto a que se asigna al grupo azul A pero también hace...
Estoy mirando pybrain para tomar alarmas del monitor del servidor y determinar la causa raíz de un problema. Estoy contento con entrenarlo mediante el aprendizaje supervisado y curar los conjuntos de datos de capacitación. Los datos están estructurados de manera similar a esto: Servidor tipo A #...