He estado estudiando la arquitectura de la red neuronal siamesa introducida por Yann LeCun y sus colegas en 1994 para el reconocimiento de firmas ( "Verificación de firma usando una red neuronal siamesa de retardo de tiempo" .pdf , NIPS 1994) Entendí la idea general de esta arquitectura, pero...
Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto,...
Estaba leyendo el libro de Yoshua Bengio sobre aprendizaje profundo y dice en la página 224: Las redes convolucionales son simplemente redes neuronales que usan la convolución en lugar de la multiplicación matricial general en al menos una de sus capas. sin embargo, no estaba 100% seguro de...
En mi opinión, los datos de entrada correlacionados deben conducir a un sobreajuste en las redes neuronales porque la red aprende la correlación, por ejemplo, el ruido en los datos. ¿Es esto
Acabo de cubrir Redes Neuronales Artificiales en el curso de Aprendizaje Automático de Coursera y me gustaría saber más teoría detrás de ellos. La motivación de que imitan la biología me parece un tanto insatisfactoria. En la superficie, parece que en cada nivel reemplazamos las covariables con...
Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM...
Al inicializar los pesos de conexión en una red neuronal de avance, es importante inicializarlos aleatoriamente para evitar cualquier simetría que el algoritmo de aprendizaje no pueda romper. La recomendación que he visto en varios lugares (por ejemplo, en el tutorial MNIST de TensorFlow ) es usar...
¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 9 meses . Sé que hay muchas bibliotecas para el...
Estoy tratando de entrenar una red neuronal para la clasificación, pero las etiquetas que tengo son bastante ruidosas (alrededor del 30% de las etiquetas están equivocadas). La pérdida de entropía cruzada realmente funciona, pero me preguntaba si hay alguna alternativa más efectiva en este caso. o...
En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: ¿es...
He estado mirando las conferencias CS231N de Stanford y estoy tratando de entender algunos problemas en las arquitecturas de CNN. Lo que estoy tratando de entender es si hay algunas pautas generales para elegir el tamaño del filtro de convolución y cosas como avances o ¿es esto más un arte que una...
¿Hay alguna diferencia entre los términos "red neuronal" y
Estaba leyendo el artículo Aprendizaje residual profundo para el reconocimiento de imágenes y tuve dificultades para comprender con 100% de certeza lo que implica un bloqueo residual computacionalmente. Leyendo su periódico tienen la figura 2: que ilustra lo que se supone que es un Bloque...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
Lectura Profundizando en convoluciones Me encontré con una capa de DepthConcat , un bloque de construcción de los módulos de inicio propuestos , que combina la salida de múltiples tensores de diferentes tamaños. Los autores llaman a esto "Concatenación de filtro". Parece que hay una implementación...
Los términos "muestreo ascendente" y "convolución de transposición" se usan cuando se está haciendo "deconvolución" (<- no es un buen término, pero déjenme usarlo aquí). Originalmente, pensé que significaban lo mismo, pero me parece que son diferentes después de leer estos artículos. alguien...
¿Cómo codificar la fecha y hora de un evento para una red neuronal? No tengo una serie temporal continua, sino algunos eventos con fecha y hora, y analizo algún tipo de interés. Este interés difiere entre las mañanas y las tardes, y difiere entre los días de la semana, y entre el verano y el...
La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes...
Después de analizar esta pregunta: Intentando emular la regresión lineal usando Keras , he intentado dar mi propio ejemplo, solo para estudiar y desarrollar mi intuición. Descargué un conjunto de datos simple y usé una columna para predecir otra. Los datos se ven así: Ahora acabo de crear un...