Utilizo Python para ejecutar un modelo de bosque aleatorio en mi conjunto de datos desequilibrado (la variable de destino era una clase binaria). Al dividir el conjunto de datos de entrenamiento y prueba, luché si usar muestreo estratificado (como el código que se muestra) o no. Hasta ahora,...
Estoy usando Gensim Library en python para usar y entrenar el modelo word2vector. Recientemente, estaba buscando inicializar los pesos de mi modelo con un modelo word2vec previamente entrenado como (modelo preformado GoogleNewDataset). He estado luchando con eso un par de semanas. Ahora, acabo de...
He creado un modelo LSTM para predecir preguntas duplicadas en el conjunto de datos oficial de Quora. Las etiquetas de la prueba son 0 o 1. 1 indica que el par de preguntas está duplicado. Después de construir el modelo usando model.fit, pruebo el modelo usando model.predictlos datos de prueba. La...
Estoy usando el clasificador de bosque aleatorio scikit-learn y quiero trazar la importancia de la característica, como en este ejemplo . Sin embargo, mi resultado es completamente diferente, en el sentido de que la desviación estándar de la importancia de la característica es casi siempre mayor...
Mode Analytics tiene una buena función de mapa de calor ( https://community.modeanalytics.com/gallery/geographic-heat-map/ ). Pero no es propicio para comparar mapas (solo uno por informe). Lo que sí permiten es que los datos se extraigan fácilmente en un cuaderno de python envuelto. Y luego...
Tengo un marco de datos que, entre otras cosas, contiene una columna de la cantidad de milisegundos pasados desde 1970-1-1. Necesito convertir esta columna de ints en datos de fecha y hora, por lo que finalmente puedo convertirla en una columna de datos de fecha y hora agregando la serie de...
Si entreno a mi modelo con el siguiente código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix...
¿Alguien ha usado (y le ha gustado) algún buen paquete de "minería de secuencia frecuente" en Python que no sea el FPM en MLLib? Estoy buscando un paquete estable, preferiblemente calmado mantenido por personas.
Tengo un conjunto de datos con ~ 1M filas y ~ 500K características dispersas. Quiero reducir la dimensionalidad a algún lugar del orden de las características densas 1K-5K. sklearn.decomposition.PCAno funciona en datos dispersos, y he intentado usarlos, sklearn.decomposition.TruncatedSVDpero...
He estado tratando de entender cómo representar y dar forma a los datos para hacer una predicción de series de tiempo multidimensional y multivariante usando Keras (o TensorFlow), pero todavía no estoy muy claro después de leer muchas publicaciones / tutoriales / documentación del blog sobre cómo...
Estoy tratando de implementar este documento en un conjunto de imágenes médicas. Lo estoy haciendo en Keras. La red consiste esencialmente en 4 capas conv y max-pool seguidas de una capa completamente conectada y un clasificador soft soft. Hasta donde sé, he seguido la arquitectura mencionada en...
Entiendo lo que hace Standard Scalar y lo que hace Normalizer, según la documentación de scikit: Normalizer , Standard Scaler . Sé cuándo se aplica el Escalador estándar. ¿Pero en qué escenario se aplica Normalizer? ¿Hay escenarios en los que se prefiere uno sobre el
¿Existen reglas generales (o reglas reales) relacionadas con la cantidad mínima, máxima y "razonable" de celdas LSTM que debo usar? Específicamente me relaciono con BasicLSTMCell de TensorFlow y la num_unitspropiedad. Suponga que tengo un problema de clasificación definido por: t - number of time...
Considere un marco de datos pyspark que consta de elementos 'nulos' y elementos numéricos. En general, los elementos numéricos tienen valores diferentes. ¿Cómo es posible reemplazar todos los valores numéricos del marco de datos por un valor numérico constante (por ejemplo, por el valor 1)?...
He estado trabajando en NLTK por un tiempo usando Python. El problema al que me enfrento es que no hay ayuda disponible para entrenar NER en NLTK con mis datos personalizados. Han usado MaxEnt y lo han entrenado en ACE corpus. He buscado mucho en la web pero no pude encontrar ninguna manera de...
Acabo de construir esta red neuronal LSTM con Keras import numpy as np import pandas as pd from sklearn import preprocessing from keras.layers.core import Dense, Dropout, Activation from keras.activations import linear from keras.layers.recurrent import LSTM from keras.models import...
t-SNE, como en [1], funciona reduciendo progresivamente la divergencia Kullback-Leibler (KL), hasta que se cumpla una determinada condición. Los creadores de t-SNE sugieren utilizar la divergencia KL como criterio de rendimiento para las visualizaciones: puede comparar las divergencias de...
Estoy trabajando con Python, scikit-learn y keras. Tengo 3000 mil imágenes de relojes frontales como los siguientes: Watch_1 , Watch_2 , Watch_3 . Quiero escribir un programa que reciba como entrada una foto de un reloj real que tal vez se haya tomado en condiciones menos ideales que las fotos de...
Estoy usando el cuaderno Ipython para trabajar con aplicaciones pyspark. Tengo un archivo CSV con muchas columnas categóricas para determinar si el ingreso cae por debajo o por encima del rango de 50k. Me gustaría realizar un algoritmo de clasificación tomando todas las entradas para determinar el...
Actualmente estoy tratando de entrenar un modelo en un archivo csv grande (> 70 GB con más de 60 millones de filas). Para hacerlo, estoy usando tf.contrib.learn.read_batch_examples. Me cuesta entender cómo esta función realmente lee los datos. Si estoy usando un tamaño de lote de, por ejemplo,...