Recientemente leí un artículo de Yann Dauphin et al. Identificando y atacando el problema del punto de silla de montar en la optimización no convexa de alta dimensión , donde introducen un interesante algoritmo de descenso llamado Saddle-Free Newton , que parece estar adaptado exactamente para la...
Estoy usando una red lstm y feed-forward para clasificar el texto. Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red. ¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto,...
Estaba leyendo el libro de Yoshua Bengio sobre aprendizaje profundo y dice en la página 224: Las redes convolucionales son simplemente redes neuronales que usan la convolución en lugar de la multiplicación matricial general en al menos una de sus capas. sin embargo, no estaba 100% seguro de...
¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de
Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la...
¿Cómo se entrena la capa de incrustación en la capa de incrustación de Keras? (digamos que usa el tensorflow backend, lo que significa que es similar a word2vec, glove o fasttext) Supongamos que no utilizamos una incrustación
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 9 meses . Sé que hay muchas bibliotecas para el...
Antecedentes: recientemente entendí en un nivel más profundo la importancia del aumento de datos al entrenar redes neuronales convolucionales después de ver esta excelente charla de Geoffrey Hinton . Explica que las redes neuronales convolucionales de la generación actual no pueden generalizar el...
La topología del modelo de Google Inception se puede encontrar aquí: Google Inception Netowrk Noté que hay 3 capas softmax en este modelo (# 154, # 152, # 145), y 2 de ellas son una especie de escape temprano de este modelo. Por lo que sé, la capa softmax es para la salida final, entonces, ¿por...
Quiero saber qué es y en qué se diferencia del ensamblaje. Supongamos que quiero lograr una alta precisión en la clasificación y segmentación, para una tarea específica, si utilizo diferentes redes, como CNN, RNN, etc. para lograr esto, ¿se llama esto un modelo de extremo a extremo?...
¿Hay grupos de investigación trabajando en el uso del aprendizaje profundo para problemas de optimización combinatoria?
¿Qué es el aprendizaje profundo bayesiano y cómo se relaciona con las estadísticas bayesianas tradicionales y el aprendizaje profundo tradicional? ¿Cuáles son los principales conceptos y matemáticas involucrados? ¿Podría decir que son solo estadísticas bayesianas no paramétricas? ¿Cuáles son sus...
He leído algunos documentos sobre la creación manual de imágenes para "engañar" a una red neuronal (ver más abajo). ¿Es esto porque las redes solo modelan la probabilidad condicional ? Si una red puede modelar la probabilidad conjunta , ¿seguirán ocurriendo estos casos?p ( yEl | x)pag(yEl...
Entiendo que dado un conjunto de observaciones independientes el Estimador de máxima verosimilitud (o, de manera equivalente, el MAP con anterior plano / uniforme) que identifica los parámetros \ mathbf {θ} que producen la distribución del modelo p_ {modelo} \ izquierda (\, \ cdot \,; \ mathbf...
El siguiente ejemplo está tomado de las conferencias en deeplearning.ai muestra que el resultado es la suma del producto elemento por elemento (o "multiplicación por elementos". Los números rojos representan los pesos en el filtro: ( 1 ∗ 1 ) + ( 1 ∗ 0 ) + ( 1 ∗ 1 ) + ( 0 ∗ 0 ) + ( 1 ∗ 1 ) + ( 1 ∗...
He estado mirando las conferencias CS231N de Stanford y estoy tratando de entender algunos problemas en las arquitecturas de CNN. Lo que estoy tratando de entender es si hay algunas pautas generales para elegir el tamaño del filtro de convolución y cosas como avances o ¿es esto más un arte que una...
Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte del...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
Estaba leyendo el artículo Aprendizaje residual profundo para el reconocimiento de imágenes y tuve dificultades para comprender con 100% de certeza lo que implica un bloqueo residual computacionalmente. Leyendo su periódico tienen la figura 2: que ilustra lo que se supone que es un Bloque...
Quiero saber la diferencia entre la regresión lineal en un análisis de aprendizaje automático y la regresión lineal en un entorno de "aprendizaje profundo". Qué algoritmos se utilizan para la regresión lineal en el entorno de aprendizaje