Una red neuronal recurrente (RNN) es una clase de red neuronal artificial donde las conexiones entre unidades forman un ciclo dirigido.
El problema con el que estoy lidiando es predecir valores de series de tiempo. Estoy viendo una serie de tiempo a la vez y, por ejemplo, en base al 15% de los datos de entrada, me gustaría predecir sus valores futuros. Hasta ahora me he encontrado con dos modelos: LSTM (memoria a corto plazo; una...
Estoy tratando de comenzar a aprender sobre RNN y estoy usando Keras. Entiendo la premisa básica de las capas RNN y LSTM de vainilla, pero tengo problemas para comprender un cierto punto técnico para el entrenamiento. En la documentación de Keras , dice que la entrada a una capa RNN debe tener...
¿Cuántos parámetros tiene un único LSTM apilado? El número de parámetros impone un límite inferior en el número de ejemplos de entrenamiento requeridos y también influye en el tiempo de entrenamiento. Por lo tanto, conocer el número de parámetros es útil para entrenar modelos que usan...
Entonces, recientemente hay un documento de Normalización de capa . También hay una implementación en Keras. Pero recuerdo que hay documentos titulados Recurrent Batch Normalization (Cooijmans, 2016) y Batch Normalized Recurrent Neural Networks (Laurent, 2015). ¿Cuál es la diferencia entre esos...
Desde el código de Tensorflow : Tensorflow. RnnCell. num_units: int, The number of units in the LSTM cell. No puedo entender qué significa esto. ¿Cuáles son las unidades de la celda LSTM? Entrada, salida y olvidar puertas? ¿Significa esto "número de unidades en la capa de proyección recurrente...
Creo un corr()df a partir de un df original. El corr()DF salió 70 X 70 y es imposible de visualizar el mapa de calor ... sns.heatmap(df). Si trato de mostrar corr = df.corr(), la tabla no se ajusta a la pantalla y puedo ver todas las correlaciones. ¿Es una forma de imprimir todo dfsin importar su...
Mientras leía sobre la generación de texto con redes neuronales recurrentes, noté que algunos ejemplos se implementaron para generar texto palabra por palabra y otros carácter por carácter sin decir realmente por qué. Entonces, ¿cuál es la diferencia entre los modelos RNN que predicen texto por...
Estoy tratando de crear una red neuronal utilizando series de tiempo como entrada, para entrenarla según el tipo de cada serie. Leí que usando RNNs puedes dividir la entrada en lotes y usar cada punto de la serie de tiempo en neuronas individuales y eventualmente entrenar la red. Sin embargo, lo...
Me cuesta interpretar la diferencia de codificación Keras para el etiquetado de secuencia de uno a muchos (por ejemplo, clasificación de imágenes individuales) y de muchos a muchos (por ejemplo, clasificación de secuencias de imágenes). Frecuentemente veo dos tipos diferentes de códigos: El tipo 1...
Estoy tratando de averiguar las dimensiones de cada variable en un RNN en la capa de olvido, sin embargo, no estoy seguro de si estoy en el camino correcto. La siguiente imagen y ecuación es de la publicación del blog de Colah "Comprender las redes LSTM" : dónde: es entrada de tamaño m * 1...
He estado tratando de entender cómo representar y dar forma a los datos para hacer una predicción de series de tiempo multidimensional y multivariante usando Keras (o TensorFlow), pero todavía no estoy muy claro después de leer muchas publicaciones / tutoriales / documentación del blog sobre cómo...
¿Existen reglas generales (o reglas reales) relacionadas con la cantidad mínima, máxima y "razonable" de celdas LSTM que debo usar? Específicamente me relaciono con BasicLSTMCell de TensorFlow y la num_unitspropiedad. Suponga que tengo un problema de clasificación definido por: t - number of time...
Soy muy nuevo en el aprendizaje profundo y estoy particularmente interesado en saber qué son LSTM y BiLSTM y cuándo usarlos (áreas principales de aplicación). ¿Por qué LSTM y BILSTM son más populares que RNN? ¿Podemos usar estas arquitecturas de aprendizaje profundo en problemas no...
Usando una capa múltiple LSTMcon caída, ¿es aconsejable colocar la caída en todas las capas ocultas, así como en las capas densas de salida? En el artículo de Hinton (que proponía Dropout) solo puso Dropout en las capas densas, pero eso fue porque las capas internas ocultas eran...
Estoy creando prototipos de una aplicación y necesito un modelo de lenguaje para calcular la perplejidad en algunas oraciones generadas. ¿Hay algún modelo de lenguaje entrenado en Python que pueda usar fácilmente? Algo simple como model = LanguageModel('en') p1 = model.perplexity('This is a well...
Me pregunto cómo interpretar una arquitectura recurrente en un contexto EEG. Específicamente, estoy pensando en esto como una CNN recurrente (a diferencia de arquitecturas como LSTM), pero tal vez también se aplique a otros tipos de redes recurrentes Cuando leo sobre R-CNN, generalmente se...
Me gustaría usar ANNs para mi problema, pero el problema es que mis números de nodo de entradas y salidas no son fijos. Hice una búsqueda en Google antes de hacer mi pregunta y descubrí que el RNN puede ayudarme con mi problema. Pero, todos los ejemplos que he encontrado son de alguna manera...
Soy nuevo en ML y TensorFlow (comencé hace unas horas), y estoy tratando de usarlo para predecir los próximos puntos de datos en una serie de tiempo. Estoy tomando mi entrada y haciendo esto con ella: /----------- x ------------\ .-------------------------------. | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7...
Estoy aprendiendo a usar Keras y he tenido un éxito razonable con mi conjunto de datos etiquetado utilizando los ejemplos de Deep Learning for Python de Chollet . El conjunto de datos es ~ 1000 Series temporales con longitud 3125 con 3 clases potenciales. Me gustaría ir más allá de las capas...
Vi algunos resultados impresionantes de los modelos LSTM que producen textos similares a Shakespeare. Me preguntaba si existe un paquete LSTM para R. Busqué en Google pero solo encontré paquetes para Python y Julia. (tal vez haya algún problema de rendimiento que explique por qué estos programas...