Pido disculpas de antemano por el hecho de que todavía estoy avanzando en esto. Estoy tratando de entender los pros y los contras de usar tanh (mapa -1 a 1) versus sigmoide (mapa 0 a 1) para mi función de activación neuronal. De mi lectura sonaba como algo menor con diferencias marginales. En la...
Estoy entrenando una red neuronal usando i) SGD y ii) Adam Optimizer. Cuando uso SGD normal, obtengo una curva de pérdida de entrenamiento suave versus iteración como se ve a continuación (la roja). Sin embargo, cuando utilicé el Adam Optimizer, la curva de pérdida de entrenamiento tiene algunos...
Los lugares que he estado leyendo sobre la maldición de la dimensionalidad lo explican conjuntamente con kNN principalmente, y los modelos lineales en general. Regularmente veo a los mejores clasificados en Kaggle usando miles de características en el conjunto de datos que apenas tiene 100k puntos...
A medida que profundizamos en la literatura sobre redes neuronales , podemos identificar otros métodos con topologías neuromórficas (arquitecturas similares a "redes neuronales"). Y no estoy hablando del teorema de aproximación universal . A continuación se dan ejemplos. Entonces, me hace...
Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Begnio, Goodfellow y Courtville: Adam incluye correcciones de sesgo a las estimaciones de los momentos de primer orden (el término de momento) y los momentos de segundo...
No he encontrado una respuesta satisfactoria a esto de google . Por supuesto, si los datos que tengo son del orden de millones, entonces el aprendizaje profundo es el camino. Y he leído que cuando no tengo grandes datos, tal vez sea mejor usar otros métodos en el aprendizaje automático. La razón...
Tensorflow tiene un tutorial de ejemplo sobre la clasificación de CIFAR-10 . En el tutorial, la pérdida de entropía cruzada promedio en todo el lote se minimiza. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits:...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
Durante el entrenamiento de un clasificador binario de red neuronal simple obtengo un alto valor de pérdida, usando entropía cruzada. A pesar de esto, el valor de precisión en el conjunto de validación es bastante bueno. ¿Tiene algún significado? ¿No hay una correlación estricta entre pérdida y...
Como seguimiento a Mi red neuronal ni siquiera puede aprender la distancia euclidiana , simplifiqué aún más y traté de entrenar una única ReLU (con peso aleatorio) en una sola ReLU. Esta es la red más simple que existe y, sin embargo, la mitad del tiempo no logra converger. Si la suposición...
Cuando implementé el mini lote de gradiente decente, solo promedié los gradientes de todos los ejemplos en el lote de capacitación. Sin embargo, me di cuenta de que ahora la tasa de aprendizaje óptima es mucho más alta que para el gradiente en línea decente. Mi intuición es que esto se debe a que...
¿En qué punto comenzamos a clasificar las redes neuronales de varias capas como redes neuronales profundas o para decirlo de otra manera? ¿Cuál es el número mínimo de capas en una red neuronal
En el entrenamiento de mini lotes de una red neuronal, escuché que una práctica importante es mezclar los datos de entrenamiento antes de cada época. ¿Alguien puede explicar por qué ayuda el arrastrar los pies en cada época? En la búsqueda de google, encontré las siguientes respuestas: ayuda a...
¿Cuál es la derivada de la función de activación ReLU definida como: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) ¿Qué pasa con el caso especial donde hay una discontinuidad en la función en
He construido algunas redes neuronales (MLP (completamente conectadas), Elman (recurrente)) para diferentes tareas, como jugar Pong, clasificar dígitos escritos a mano y otras cosas ... Además, intenté construir algunas primeras redes neuronales convolucionales, por ejemplo, para clasificar notas...
En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, cuando...
Estoy investigando el uso de una versión LSTM ( memoria a largo plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de la secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por saber qué...
Entiendo el razonamiento detrás de dividir los datos en un conjunto de prueba y un conjunto de validación. También entiendo que el tamaño de la división dependerá de la situación, pero generalmente variará de 50/50 a 90/10. Construí un RNN para corregir la ortografía y comenzar con un conjunto de...
Estoy tratando de aprender a usar las redes neuronales. Estaba leyendo este tutorial . Después de ajustar una red neuronal en una serie temporal utilizando el valor en para predecir el valor en el autor obtiene el siguiente gráfico, donde la línea azul es la serie temporal, el verde es la...
¿Alguien puede decirme cómo se supone que debo construir una red neuronal utilizando el método por lotes? He leído que, en el modo por lotes, para todas las muestras en el conjunto de entrenamiento, calculamos el error, los delta y, por lo tanto, los pesos delta para cada neurona en la red y...