En una reciente publicación de blog de Rong Ge, se dijo que: Se cree que para muchos problemas, incluido el aprendizaje de redes profundas, casi todos los mínimos locales tienen un valor de función muy similar al óptimo global y, por lo tanto, encontrar un mínimo local es lo suficientemente...
He escrito un MLP simple en TensorFlow que está modelando un XOR-Gate . Entonces para: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] debería producir lo siguiente: output_data = [[0.], [1.], [1.], [0.]] La red tiene una capa de entrada, una capa oculta y una capa de salida con 2, 5 y...
Estoy familiarizado con los algoritmos básicos de descenso de gradiente para entrenar redes neuronales. He leído el documento que propone a Adam: ADAM: UN MÉTODO PARA LA OPTIMIZACIÓN ESTOCÁSTICA . Si bien definitivamente tengo algunas ideas (al menos), el documento parece tener un nivel demasiado...
Si bien la elección de las funciones de activación para la capa oculta es bastante clara (principalmente sigmoide o tanh), me pregunto cómo decidir la función de activación para la capa de salida. Las opciones comunes son funciones lineales, funciones sigmoideas y funciones softmax. Sin embargo,...
Estoy tratando de entender la parte de convolución de las redes neuronales convolucionales. Mirando la siguiente figura: No tengo problemas para comprender la primera capa de convolución donde tenemos 4 núcleos diferentes (de tamaño ), que convolucionamos con la imagen de entrada para obtener 4...
Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística...
Estoy tratando de agregar una capa softmax a una red neuronal entrenada con retropropagación, así que estoy tratando de calcular su gradiente. La salida de softmax es hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} dondejjjes el número de neurona de salida. Si lo obtengo, me...
¿Alguien puede explicar qué hacen las unidades maxout en una red neuronal? ¿Cómo funcionan y en qué se diferencian de las unidades convencionales? Traté de leer el artículo de 2013 "Maxout Network" de Goodfellow et al. (del grupo del profesor Yoshua Bengio), pero no lo entiendo del...
Me pregunto si alguien podría sugerir cuáles son buenos puntos de partida cuando se trata de realizar detección comunitaria / partición / agrupación de gráficos en un gráfico que tiene bordes ponderados y no dirigidos . El gráfico en cuestión tiene aproximadamente 3 millones de aristas y cada...
Momentum se usa para disminuir las fluctuaciones en los cambios de peso en iteraciones consecutivas:αα\alpha dondeE(w)es la función de error,w- el vector de pesos,η- tasa de aprendizaje.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} +...
Estoy tratando de predecir el resultado de un sistema complejo utilizando redes neuronales (ANN). Los valores de resultado (dependientes) oscilan entre 0 y 10,000. Las diferentes variables de entrada tienen diferentes rangos. Todas las variables tienen distribuciones más o menos
Me estoy mojando los pies en las estadísticas, así que lamento si esta pregunta no tiene sentido. He utilizado modelos de Markov para predecir estados ocultos (casinos injustos, tiradas de dados, etc.) y redes neuronales para estudiar los clics de los usuarios en un motor de búsqueda. Ambos tenían...
¿Por qué la función sigmoide estándar de facto, , es tan popular en las redes neuronales (no profundas) y la regresión logística?11+e−x11+e−x\frac{1}{1+e^{-x}} ¿Por qué no utilizamos muchas de las otras funciones derivables, con un tiempo de cálculo más rápido o una disminución más lenta (por lo...
Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de...
Estoy buscando un documento que pueda ayudar a dar una guía sobre cómo elegir los hiperparámetros de una arquitectura profunda, como codificadores automáticos apilados o redes de confianza profunda. Hay muchos hiperparámetros y estoy muy confundido sobre cómo elegirlos. Además, el uso de la...
En los documentos de clasificación de ImageNet, las tasas de error top-1 y top-5 son unidades importantes para medir el éxito de algunas soluciones, pero ¿cuáles son esas tasas de error? En la clasificación de ImageNet con redes neuronales convolucionales profundas por Krizhevsky et al. todas las...
Las redes neuronales a menudo se tratan como "cajas negras" debido a su compleja estructura. Esto no es ideal, ya que a menudo es beneficioso tener una comprensión intuitiva de cómo funciona internamente un modelo. ¿Cuáles son los métodos para visualizar cómo funciona una red neuronal capacitada?...
Estoy entrenando una red neuronal y la pérdida de entrenamiento disminuye, pero la pérdida de validación no lo hace, o disminuye mucho menos de lo que esperaría, en base a referencias o experimentos con arquitecturas y datos muy similares. ¿Cómo puedo arreglar esto? En cuanto a la pregunta...
¿Cuál es la diferencia entre los términos "núcleo" y "filtro" en el contexto de las redes neuronales
Un problema que he visto con frecuencia planteado en el contexto de las redes neuronales en general, y las redes neuronales profundas en particular, es que están "hambrientos de datos", es decir, no funcionan bien a menos que tengamos un gran conjunto de datos con el que entrenar a la red. Tengo...