Durante el entrenamiento de un clasificador binario de red neuronal simple obtengo un alto valor de pérdida, usando entropía cruzada. A pesar de esto, el valor de precisión en el conjunto de validación es bastante bueno. ¿Tiene algún significado? ¿No hay una correlación estricta entre pérdida y...
En el entrenamiento de mini lotes de una red neuronal, escuché que una práctica importante es mezclar los datos de entrenamiento antes de cada época. ¿Alguien puede explicar por qué ayuda el arrastrar los pies en cada época? En la búsqueda de google, encontré las siguientes respuestas: ayuda a...
He construido algunas redes neuronales (MLP (completamente conectadas), Elman (recurrente)) para diferentes tareas, como jugar Pong, clasificar dígitos escritos a mano y otras cosas ... Además, intenté construir algunas primeras redes neuronales convolucionales, por ejemplo, para clasificar notas...
En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, cuando...
Tensorflow tiene un tutorial de ejemplo sobre la clasificación de CIFAR-10 . En el tutorial, la pérdida de entropía cruzada promedio en todo el lote se minimiza. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits:...
Estoy investigando el uso de una versión LSTM ( memoria a largo plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de la secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por saber qué...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
Estoy tratando de aprender a usar las redes neuronales. Estaba leyendo este tutorial . Después de ajustar una red neuronal en una serie temporal utilizando el valor en para predecir el valor en el autor obtiene el siguiente gráfico, donde la línea azul es la serie temporal, el verde es la...
¿Alguien puede decirme cómo se supone que debo construir una red neuronal utilizando el método por lotes? He leído que, en el modo por lotes, para todas las muestras en el conjunto de entrenamiento, calculamos el error, los delta y, por lo tanto, los pesos delta para cada neurona en la red y...
Cuando implementé el mini lote de gradiente decente, solo promedié los gradientes de todos los ejemplos en el lote de capacitación. Sin embargo, me di cuenta de que ahora la tasa de aprendizaje óptima es mucho más alta que para el gradiente en línea decente. Mi intuición es que esto se debe a que...
Los lugares que he estado leyendo sobre la maldición de la dimensionalidad lo explican conjuntamente con kNN principalmente, y los modelos lineales en general. Regularmente veo a los mejores clasificados en Kaggle usando miles de características en el conjunto de datos que apenas tiene 100k puntos...
Estoy tratando de entender cómo funcionan las máquinas de Boltzmann, pero no estoy muy seguro de cómo se aprenden los pesos, y no he podido encontrar una descripción clara. ¿Es correcto lo siguiente? (Además, los consejos sobre cualquier buena explicación de la máquina Boltzmann también serían...
La estructura de esta pregunta es la siguiente: al principio, proporciono el concepto de aprendizaje en conjunto , luego proporciono una lista de tareas de reconocimiento de patrones , luego doy ejemplos de algoritmos de aprendizaje en conjunto y, finalmente, presento mi pregunta. Aquellos que no...
El teorema de aproximación universal es un resultado bastante famoso para las redes neuronales, básicamente afirmando que, bajo algunos supuestos, una función puede ser aproximada uniformemente por una red neuronal con cualquier precisión. ¿Hay algún resultado análogo que se aplique a las redes...
He visto una versión del término "invariante de permutación" de la tarea de reconocimiento de dígitos MNIST. Qué significa
He implementado Q-Learning como se describe en, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Para aprox. P (S, A) Uso una estructura de red neuronal como la siguiente, Activación sigmoidea Entradas, número de entradas + 1 para neuronas de acción (todas las entradas...
Si tengo una red neuronal convolucional (CNN), que tiene aproximadamente 1,000,000 de parámetros, ¿cuántos datos de entrenamiento se necesitan (supongo que estoy haciendo un descenso de gradiente estocástico)? ¿Hay alguna regla general? Notas adicionales: cuando realicé el descenso de gradiente...
Digamos que estoy escribiendo un algoritmo para construir un autoencoder apilado de 2 capas y una red neuronal de 2 capas. ¿Son las mismas cosas o diferencias? Lo que entiendo es que cuando construyo un codificador automático apilado, construiría capa por capa. Para la red neuronal, inicializaría...
Todos los ejemplos que encontré usando creencias profundas o redes neuronales convolucionales las usan para la clasificación de imágenes, detección de caracteres o reconocimiento de voz. ¿Las redes neuronales profundas también son útiles para las tareas de regresión clásicas, donde las...
En las redes neuronales convolucionales (CNN), la matriz de pesos en cada paso cambia sus filas y columnas para obtener la matriz del núcleo, antes de continuar con la convolución. Esto se explica en una serie de videos de Hugo Larochelle aquí : Calcular los mapas ocultos correspondería a hacer...