Un área de aprendizaje automático relacionada con el aprendizaje de representaciones jerárquicas de los datos, principalmente con redes neuronales profundas.
Estoy entrenando una red neuronal pero la pérdida de entrenamiento no disminuye. ¿Cómo puedo arreglar esto? No estoy preguntando sobre el sobreajuste o la regularización. Estoy preguntando cómo resolver el problema donde el rendimiento de mi red no mejora en el conjunto de entrenamiento . Esta...
El estado del arte de la no linealidad es utilizar unidades lineales rectificadas (ReLU) en lugar de la función sigmoidea en la red neuronal profunda. ¿Cuáles son las ventajas? Sé que entrenar una red cuando se usa ReLU sería más rápido, y tiene más inspiración biológica, ¿cuáles son las otras...
Recientemente he estado leyendo sobre el aprendizaje profundo y estoy confundido acerca de los términos (o decir tecnologías). Cuál es la diferencia entre Redes neuronales convolucionales (CNN), Máquinas de Boltzmann restringidas (RBM) y Codificadores
No he visto la pregunta precisamente en estos términos, y es por eso que hago una nueva pregunta. Lo que me interesa saber no es la definición de una red neuronal, sino comprender la diferencia real con una red neuronal profunda. Para más contexto: sé qué es una red neuronal y cómo funciona la...
Actualmente estoy haciendo el Tutorial de aprendizaje profundo de Udacity. En la Lección 3, hablan sobre una convolución 1x1. Esta convolución 1x1 se usa en el Módulo de inicio de Google. Tengo problemas para entender qué es una convolución 1x1. También he visto esta publicación de Yann...
Existen algunas variaciones sobre cómo normalizar las imágenes, pero la mayoría parece utilizar estos dos métodos: Reste la media por canal calculada sobre todas las imágenes (por ejemplo, VGG_ILSVRC_16_layers ) Reste por píxel / canal calculado sobre todas las imágenes (por ejemplo , CNN_S ,...
En los últimos años, las redes neuronales convolucionales (o quizás redes neuronales profundas en general) se han vuelto cada vez más profundas, con redes de vanguardia que van de 7 capas ( AlexNet ) a 1000 capas ( Redes residuales) en el espacio de 4 años. La razón detrás del aumento en el...
Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.kkk Pero esto parece...
Tengo la impresión de que cuando las personas se refieren a una red de "creencias profundas", se trata básicamente de una red neuronal pero muy grande. ¿Es esto correcto o una red de creencias profundas también implica que el algoritmo en sí mismo es diferente (es decir, no alimenta la red neuronal...
Me preguntaba si hay buenas bibliotecas R para redes neuronales de aprendizaje profundo. Sé que está el nnet,, neuralnety RSNNS, pero ninguno de estos parece implementar métodos de aprendizaje profundo. Estoy especialmente interesado en el aprendizaje no supervisado seguido del aprendizaje...
Soy nuevo en el área de aprendizaje profundo y para mí el primer paso fue leer artículos interesantes del sitio deeplearning.net. En artículos sobre aprendizaje profundo, Hinton y otros hablan principalmente de aplicarlo a problemas de imagen. ¿Puede alguien intentar responderme? ¿Se puede aplicar...
En la mayoría de los códigos de Tensorflow, he visto que Adam Optimizer se usa con una tasa de aprendizaje constante de 1e-4(es decir, 0,0001). El código generalmente tiene el siguiente aspecto: ...build the model... # Add the optimizer train_op =
Hay redes neuronales recurrentes y redes neuronales recursivas. Ambos generalmente se denotan con el mismo acrónimo: RNN. Según Wikipedia , los NN recurrentes son de hecho NN recursivos, pero realmente no entiendo la explicación. Además, no parece encontrar cuál es mejor (con ejemplos más o menos)...
En una reciente publicación de blog de Rong Ge, se dijo que: Se cree que para muchos problemas, incluido el aprendizaje de redes profundas, casi todos los mínimos locales tienen un valor de función muy similar al óptimo global y, por lo tanto, encontrar un mínimo local es lo suficientemente...
En los últimos años, las redes neuronales convolucionales (CNN) se han convertido en el estado del arte para el reconocimiento de objetos en la visión por computadora. Por lo general, una CNN consta de varias capas convolucionales, seguidas de dos capas completamente conectadas. Una intuición...
Al Rahimi recientemente dio una charla muy provocativa en NIPS 2017 comparando el aprendizaje automático actual con la alquimia. Una de sus afirmaciones es que necesitamos volver a los desarrollos teóricos, tener teoremas simples que demuestren resultados fundamentales. Cuando dijo eso, comencé a...
Estoy tratando de entender la parte de convolución de las redes neuronales convolucionales. Mirando la siguiente figura: No tengo problemas para comprender la primera capa de convolución donde tenemos 4 núcleos diferentes (de tamaño ), que convolucionamos con la imagen de entrada para obtener 4...
Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística...
Descubrí que Imagenet y otras CNN grandes utilizan capas de normalización de respuesta local. Sin embargo, no puedo encontrar tanta información sobre ellos. ¿Cuán importantes son y cuándo deben usarse? De http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "La capa de...
Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de...