Tengo un conocimiento básico de cómo funcionan los RNN (y, en particular, con las unidades LSTM). Tengo una idea pictórica de la arquitectura de una unidad LSTM, que es una celda y algunas puertas, que regulan el flujo de valores. Sin embargo, al parecer, no he entendido completamente cómo LSTM...
En el documento de 2015 de DeepMind sobre el aprendizaje de refuerzo profundo, afirma que "Los intentos anteriores de combinar RL con redes neuronales habían fracasado en gran medida debido al aprendizaje inestable". Luego, el documento enumera algunas causas de esto, en función de las...
Voy a seguir el curso DeepAI de Cousera (video 1 de la Semana 3 "Visión general de las redes neuronales") y Andrew Ng explica cómo cada capa en una red neuronal es solo otra regresión logística, pero no explica cómo hace que las cosas sean más precisas. Entonces, en una red de 2 capas, ¿cómo el...
Estoy trabajando en un pequeño proyecto en el que intentamos predecir los precios de los productos básicos (petróleo, aluminio, estaño, etc.) para los próximos 6 meses. Tengo 12 variables para predecir y tengo datos de abril de 2008 a mayo de 2013. ¿Cómo debo ir sobre predicción? He hecho lo...
De acuerdo con este tutorial sobre aprendizaje profundo , la pérdida de peso (regularización) generalmente no se aplica a los términos de sesgo b ¿por qué? ¿Cuál es el significado (intuición) detrás de
He estado estudiando la arquitectura de la red neuronal siamesa introducida por Yann LeCun y sus colegas en 1994 para el reconocimiento de firmas ( "Verificación de firma usando una red neuronal siamesa de retardo de tiempo" .pdf , NIPS 1994) Entendí la idea general de esta arquitectura, pero...
Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto,...
Busqué en Google, Wikipedia, Google Scholar y más, pero no pude encontrar el origen de los codificadores automáticos. Quizás sea uno de esos conceptos que evolucionó muy gradualmente, y es imposible rastrear un punto de partida claro, pero aún así me gustaría encontrar algún tipo de resumen de los...
Estaba leyendo el libro de Yoshua Bengio sobre aprendizaje profundo y dice en la página 224: Las redes convolucionales son simplemente redes neuronales que usan la convolución en lugar de la multiplicación matricial general en al menos una de sus capas. sin embargo, no estaba 100% seguro de...
Acabo de cubrir Redes Neuronales Artificiales en el curso de Aprendizaje Automático de Coursera y me gustaría saber más teoría detrás de ellos. La motivación de que imitan la biología me parece un tanto insatisfactoria. En la superficie, parece que en cada nivel reemplazamos las covariables con...
Tengo datos sin procesar que tienen alrededor de 20 columnas (20 características). Diez de ellos son datos continuos y 10 de ellos son categóricos. Algunos de los datos categóricos pueden tener como 50 valores diferentes (Estados de EE. UU.). Después de preprocesar los datos, las 10 columnas...
Cuando las personas hablan de redes neuronales, ¿qué quieren decir cuando dicen "tamaño de núcleo"? Los núcleos son funciones de similitud, pero ¿qué dice eso sobre el tamaño del
¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de
En mi opinión, los datos de entrada correlacionados deben conducir a un sobreajuste en las redes neuronales porque la red aprende la correlación, por ejemplo, el ruido en los datos. ¿Es esto
He leído algunos documentos sobre la creación manual de imágenes para "engañar" a una red neuronal (ver más abajo). ¿Es esto porque las redes solo modelan la probabilidad condicional ? Si una red puede modelar la probabilidad conjunta , ¿seguirán ocurriendo estos casos?p ( yEl | x)pag(yEl...
Al inicializar los pesos de conexión en una red neuronal de avance, es importante inicializarlos aleatoriamente para evitar cualquier simetría que el algoritmo de aprendizaje no pueda romper. La recomendación que he visto en varios lugares (por ejemplo, en el tutorial MNIST de TensorFlow ) es usar...
Los RNN son notablemente buenos para capturar la dependencia temporal de los datos secuenciales. Sin embargo, ¿qué sucede cuando los elementos de secuencia no están igualmente espaciados en el tiempo? Por ejemplo, la primera entrada a la celda LSTM ocurre el lunes, luego no hay datos de martes a...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 9 meses . Sé que hay muchas bibliotecas para el...
Estoy tratando de entrenar una red neuronal para la clasificación, pero las etiquetas que tengo son bastante ruidosas (alrededor del 30% de las etiquetas están equivocadas). La pérdida de entropía cruzada realmente funciona, pero me preguntaba si hay alguna alternativa más efectiva en este caso. o...
Descripción: Deje que el dominio del problema sea la clasificación de documentos donde existe un conjunto de vectores de características, cada uno de los cuales pertenece a 1 o más clases. Por ejemplo, un documento doc_1puede pertenecer a Sportsy Englishcategorías. Pregunta: Usando la red...