Descripción del problema Estoy comenzando la construcción de la red para un problema que creo podría tener una función de pérdida mucho más perspicaz que una simple regresión de MSE. Mi problema trata con la clasificación de varias categorías ( vea mi pregunta sobre SO para saber a qué me refiero...
Hice una red neuronal convolucional y quería comprobar que mis gradientes se calculan correctamente utilizando la comprobación numérica de gradiente. La pregunta es, ¿qué tan cerca está lo suficientemente cerca? Mi función de verificación solo escupe la derivada calculada, la derivada aproximada...
https://www.tensorflow.org/ Todos los proyectos en TensorFlow que he visto en GitHub implementan algún tipo de modelo de red neuronal. Dado que TensorFlow es una mejora con respecto al DAG (ya no es acíclico), me preguntaba si alguna deficiencia inherente lo hace inadecuado para el modelo general...
He estado estudiando la teoría detrás de ANNs últimamente y quería entender la 'magia' detrás de su capacidad de clasificación no lineal de múltiples clases. Esto me llevó a este sitio web que hace un buen trabajo al explicar geométricamente cómo se logra esta aproximación. Así es como lo entendí...
Me pregunto sobre las diferencias. Según mi entendimiento, MLP es un tipo de redes neuronales, donde la función de activación es sigmoidea, y el término de error es error de entropía cruzada (logística). Buscando ayuda,
He comenzado a leer sobre redes neuronales recurrentes (RNN) y memoria a corto plazo (LSTM) ... (... oh, no hay suficientes puntos de representación aquí para enumerar referencias ...) Una cosa que no entiendo: siempre parece que las neuronas en cada instancia de una capa oculta se "conectan...
He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, si elimino los valores de NA,...
Como calentamiento con redes neuronales recurrentes, estoy tratando de predecir una onda sinusoidal a partir de otra onda sinusoidal de otra frecuencia. Mi modelo es un RNN simple, su pase directo se puede expresar de la siguiente manera: rtzt= σ(Wyo n⋅Xt+Wr e c⋅rt - 1) )=Wo u...
En general, ¿debería volver a entrenar mi red neuronal con menos neuronas para que tenga menos neuronas ReLU muertas? He leído opiniones contradictorias sobre ReLU muertos. Algunas fuentes dicen que los ReLU muertos son buenos porque fomentan la escasez. Otros dicen que son malos porque los ReLU...
Quería entrenar una red con no linealidades que sufren el desvanecimiento (o el problema de gradiente explosivo, aunque principalmente se desvanecen). Sé que la forma estándar (actual) es usar la normalización por lotes 1 [BN] 1 o simplemente abandonar la no linealidad y usar las unidades ReLu...
Mi red neuronal recurrente (LSTM, resp. GRU) se comporta de una manera que no puedo explicar. El entrenamiento comienza y se entrena bien (los resultados se ven bastante bien) cuando de repente cae la precisión (y la pérdida aumenta rápidamente) , tanto las métricas de entrenamiento como de prueba....
En SGD, una época sería la presentación completa de los datos de entrenamiento, y luego habría N actualizaciones de peso por época (si hay N ejemplos de datos en el conjunto de entrenamiento). Si ahora hacemos mini lotes, digamos en lotes de 20. ¿Una época ahora consiste en actualizaciones de peso...
¿Es posible lograr resultados de vanguardia utilizando solo la propagación hacia atrás (sin entrenamiento previo )? ¿O es para que todos los enfoques de récord utilicen alguna forma de pre-entrenamiento? ¿La retropropagación sola es lo suficientemente
Tengo la siguiente configuración para un proyecto de investigación de Finanzas / Aprendizaje automático en mi universidad: estoy aplicando una Red neuronal (profunda) (MLP) con la siguiente estructura en Keras / Theano para distinguir las existencias con mejor rendimiento (etiqueta 1) de las...
Quiero realizar análisis de sentimientos en el texto, he revisado varios artículos, algunos de ellos usan "Naive Bayes" y otros son "Recurrent Neural Network (LSTM)" , por otro lado, he visto una biblioteca de Python para el análisis de sentimientos que es nltk Utiliza "Naive Bayes". ¿Alguien puede...
En las notas de la semana 5 para la clase de aprendizaje automático Coursera de Andrew Ng , se proporciona la siguiente fórmula para calcular el valor deϵϵ\epsilon solía inicializar ΘΘ\Theta con valores aleatorios: En el ejercicio , se dan más aclaraciones: Una estrategia efectiva para elegir...
Si se considera que las redes neuronales profundas son aproximadores de función universal, ¿es realmente necesaria la expansión de la base? ¿O esto sería específico para cada caso? Por ejemplo, si uno tiene tres variables X cuantitativas, ¿habría alguna ventaja en expandir el número de variables...
Es bastante intuitivo que la mayoría de las topologías / arquitecturas de redes neuronales no son identificables. Pero, ¿cuáles son algunos resultados bien conocidos en el campo? ¿Existen condiciones simples que permiten / evitan la identificabilidad? Por ejemplo, todas las redes con funciones de...
¿El teorema de aproximación universal para redes neuronales es válido para cualquier función de activación (sigmoide, ReLU, Softmax, etc.) o se limita a las funciones sigmoideas? Actualización: como señala shimao en los comentarios, no cumple absolutamente ninguna función. Entonces, ¿para qué...
¿Es cierto lo siguiente? sesgo bajo = varianza alta sesgo alto = varianza baja Entiendo el sesgo alto y bajo, pero ¿cómo es diferente la varianza? ¿O son los sinónimos