He escrito un MLP simple en TensorFlow que está modelando un XOR-Gate . Entonces para: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] debería producir lo siguiente: output_data = [[0.], [1.], [1.], [0.]] La red tiene una capa de entrada, una capa oculta y una capa de salida con 2, 5 y...
Si bien la elección de las funciones de activación para la capa oculta es bastante clara (principalmente sigmoide o tanh), me pregunto cómo decidir la función de activación para la capa de salida. Las opciones comunes son funciones lineales, funciones sigmoideas y funciones softmax. Sin embargo,...
Estoy tratando de entender la parte de convolución de las redes neuronales convolucionales. Mirando la siguiente figura: No tengo problemas para comprender la primera capa de convolución donde tenemos 4 núcleos diferentes (de tamaño ), que convolucionamos con la imagen de entrada para obtener 4...
Estoy tratando de agregar una capa softmax a una red neuronal entrenada con retropropagación, así que estoy tratando de calcular su gradiente. La salida de softmax es hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} dondejjjes el número de neurona de salida. Si lo obtengo, me...
Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística...
¿Alguien puede explicar qué hacen las unidades maxout en una red neuronal? ¿Cómo funcionan y en qué se diferencian de las unidades convencionales? Traté de leer el artículo de 2013 "Maxout Network" de Goodfellow et al. (del grupo del profesor Yoshua Bengio), pero no lo entiendo del...
Momentum se usa para disminuir las fluctuaciones en los cambios de peso en iteraciones consecutivas:αα\alpha dondeE(w)es la función de error,w- el vector de pesos,η- tasa de aprendizaje.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} +...
Me estoy mojando los pies en las estadísticas, así que lamento si esta pregunta no tiene sentido. He utilizado modelos de Markov para predecir estados ocultos (casinos injustos, tiradas de dados, etc.) y redes neuronales para estudiar los clics de los usuarios en un motor de búsqueda. Ambos tenían...
Estoy tratando de predecir el resultado de un sistema complejo utilizando redes neuronales (ANN). Los valores de resultado (dependientes) oscilan entre 0 y 10,000. Las diferentes variables de entrada tienen diferentes rangos. Todas las variables tienen distribuciones más o menos
Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de...
¿Por qué la función sigmoide estándar de facto, , es tan popular en las redes neuronales (no profundas) y la regresión logística?11+e−x11+e−x\frac{1}{1+e^{-x}} ¿Por qué no utilizamos muchas de las otras funciones derivables, con un tiempo de cálculo más rápido o una disminución más lenta (por lo...
En los documentos de clasificación de ImageNet, las tasas de error top-1 y top-5 son unidades importantes para medir el éxito de algunas soluciones, pero ¿cuáles son esas tasas de error? En la clasificación de ImageNet con redes neuronales convolucionales profundas por Krizhevsky et al. todas las...
Las redes neuronales a menudo se tratan como "cajas negras" debido a su compleja estructura. Esto no es ideal, ya que a menudo es beneficioso tener una comprensión intuitiva de cómo funciona internamente un modelo. ¿Cuáles son los métodos para visualizar cómo funciona una red neuronal capacitada?...
Un problema que he visto con frecuencia planteado en el contexto de las redes neuronales en general, y las redes neuronales profundas en particular, es que están "hambrientos de datos", es decir, no funcionan bien a menos que tengamos un gran conjunto de datos con el que entrenar a la red. Tengo...
Estoy entrenando una red neuronal y la pérdida de entrenamiento disminuye, pero la pérdida de validación no lo hace, o disminuye mucho menos de lo que esperaría, en base a referencias o experimentos con arquitecturas y datos muy similares. ¿Cómo puedo arreglar esto? En cuanto a la pregunta...
¿Cuál es la diferencia entre los términos "núcleo" y "filtro" en el contexto de las redes neuronales
La función de costo de la red neuronal es , y se afirma que no es convexa . No entiendo por qué es así, ya que, como veo, es bastante similar a la función de costo de la regresión logística, ¿verdad?J(W,b)J(W,b)J(W,b) Si no es convexo, entonces la derivada de segundo orden ,...
En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases a través de una codificación en caliente. ¿Es esto correcto? Sin embargo, ¿es la entropía cruzada binaria solo para predicciones con una sola clase? Si tuviera que usar una pérdida...
El LSTM se inventó específicamente para evitar el problema del gradiente de fuga. Se supone que debe hacer eso con el carrusel de error constante (CEC), que en el diagrama a continuación (de Greff et al. ) Corresponde al bucle alrededor de la celda . (fuente: deeplearning4j.org ) Y entiendo que...
La codificación dispersa se define como el aprendizaje de un conjunto excesivo de vectores base para representar vectores de entrada (<- ¿por qué queremos esto?). ¿Cuáles son las diferencias entre codificación dispersa y autoencoder? ¿Cuándo utilizaremos codificación dispersa y...