Una red neuronal recurrente (RNN) es una clase de red neuronal artificial donde las conexiones entre unidades forman un ciclo dirigido.
¿Cuál es la diferencia entre una red neuronal recurrente y de retroalimentación ? ¿Por qué usarías uno sobre el otro? ¿Existen otras topologías de red?
He estado estudiando LSTM por un tiempo. Entiendo a alto nivel cómo funciona todo. Sin embargo, al implementarlos usando Tensorflow, he notado que BasicLSTMCell requiere un número de unidades (es decir num_units) parámetro. A partir de esta explicación muy detallada de los LSTM, he deducido que...
Recientemente leí que una red neuronal recurrente puede aproximarse a cualquier algoritmo. Entonces mi pregunta es: ¿qué significa esto exactamente y me puede dar una referencia donde esto se
¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto...
Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de...
Esta pregunta ya tiene respuestas aquí : ¿Cómo puede ser positivo el cambio en la función de costos? (1 respuesta) ¿Qué debo hacer cuando mi red neuronal no aprende? (5 respuestas) Cerrado el mes pasado . Estoy entrenando un modelo (red neuronal...
Recientemente me interesé en los LSTM y me sorprendió saber que los pesos se comparten a lo largo del tiempo. Sé que si comparte los pesos a lo largo del tiempo, sus secuencias de tiempo de entrada pueden ser de longitud variable. Con los pesos compartidos tiene muchos menos parámetros para...
Estoy tratando de entender las diferentes arquitecturas de redes neuronales recurrentes (RNN) que se aplicarán a los datos de series temporales y me estoy confundiendo un poco con los diferentes nombres que se usan con frecuencia al describir los RNN. ¿Es la estructura de la memoria a corto plazo...
RNN se puede utilizar para la predicción, o el mapeo secuencia a secuencia. Pero, ¿cómo se puede usar RNN para la clasificación? Quiero decir, le damos a una secuencia completa una
Estoy leyendo el siguiente blog sobre la red neuronal LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ El autor da nueva forma al vector de entrada X como [muestras, pasos de tiempo, características] para diferentes configuraciones de...
Estoy buscando hacer un proyecto de reconocimiento óptico de caracteres (OCR). Después de investigar un poco, me he encontrado con una arquitectura que parece interesante: CNN + RNN + CTC. Estoy familiarizado con las redes neuronales contorneadas (CNN) y las redes neuronales recurrentes (RNN), pero...
Estoy tratando de comprender la aplicación de alto nivel de los RNN para el etiquetado de secuencias a través (entre otros) del documento de Graves de 2005 sobre la clasificación de fonemas. Para resumir el problema: tenemos un gran conjunto de capacitación que consta de archivos de audio (de...
En una red neuronal recurrente, generalmente reenviaría la propagación a través de varios pasos de tiempo, "desenrollaría" la red y luego la propagación hacia atrás a través de la secuencia de entradas. ¿Por qué no simplemente actualizar los pesos después de cada paso individual en la secuencia?...
¿Qué problemas de entrada secuenciales son los más adecuados para cada uno? ¿La dimensionalidad de entrada determina cuál es una mejor coincidencia? ¿Los problemas que requieren "memoria más larga" son más adecuados para un LSTM RNN, mientras que los problemas con patrones de entrada cíclicos...
Los RNN son notablemente buenos para capturar la dependencia temporal de los datos secuenciales. Sin embargo, ¿qué sucede cuando los elementos de secuencia no están igualmente espaciados en el tiempo? Por ejemplo, la primera entrada a la celda LSTM ocurre el lunes, luego no hay datos de martes a...
Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM...
La idea detrás de Recurrent Neural Network (RNN) es clara para mí. Lo entiendo de la siguiente manera: tenemos una secuencia de observaciones ( ) (o, en otras palabras, series de tiempo multivariadas). Cada observación individual es un vector numérico dimensional. Dentro del modelo RNN suponemos...
Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo...
Estoy trabajando en el documento Cho 2014 que introdujo la arquitectura codificador-decodificador para el modelado seq2seq. En el documento, parecen usar la probabilidad de la entrada dada de salida (o es la probabilidad de registro negativa) como la función de pérdida para una entrada de longitud...
Como muchos otros lo han hecho, descubrí que los recursos aquí y aquí son inmensamente útiles para comprender las células LSTM. Estoy seguro de que entiendo cómo fluyen y se actualizan los valores, y estoy lo suficientemente seguro como para agregar las "conexiones de mirilla" mencionadas, etc....