Úselo para preguntas sobre la retropropagación, que se usa comúnmente en el entrenamiento de redes neuronales junto con un método de optimización como el descenso de gradientes.
Esta es una pequeña pregunta conceptual que me ha estado molestando por un tiempo: ¿Cómo podemos propagarnos a través de una capa de agrupación máxima en una red neuronal? Me encontré con capas de agrupación máxima mientras revisaba este tutorial para la biblioteca nn de Torch 7. La biblioteca...
He estado usando redes neuronales por un tiempo ahora. Sin embargo, una cosa con la que lucho constantemente es la selección de un optimizador para entrenar la red (usando backprop). Lo que generalmente hago es comenzar con uno (por ejemplo, SGD estándar) y luego probar otros más de manera bastante...
Tengo algunas dificultades para derivar la propagación hacia atrás con ReLU, e hice algo de trabajo, pero no estoy seguro de si estoy en el camino correcto. Función de costo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2, dondeyyyes el valor real, y Y es un valor predicho. También suponga quex> 0...
Tengo la siguiente CNN: Comienzo con una imagen de entrada de tamaño 5x5 Luego aplico convolución usando kernel 2x2 y stride = 1, que produce un mapa de características de tamaño 4x4. Luego aplico 2x2 max-pooling con stride = 2, que reduce el mapa de características al tamaño 2x2. Luego aplico...
¿Prepararé mi LSTM si lo entreno a través del enfoque de ventana deslizante? ¿Por qué la gente no parece usarlo para LSTM? Para un ejemplo simplificado, suponga que tenemos que predecir la secuencia de caracteres: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z ¿Es malo (o mejor?) Si sigo...
Tengo una pequeña subpregunta a esta pregunta . Entiendo que cuando se propaga hacia atrás a través de una capa de agrupación máxima, el gradiente se enruta de manera que la neurona en la capa anterior que se seleccionó como máxima obtiene todo el gradiente. De lo que no estoy 100% seguro es de...
Estoy tratando de averiguar cuántos pesos y sesgos se necesitan para CNN. Digamos que tengo una imagen (3, 32, 32) y quiero aplicar un filtro (32, 5, 5). Para cada mapa de características tengo 5x5 pesos, por lo que debería tener 3 x (5x5) x 32 parámetros. Ahora necesito agregar el sesgo. Creo que...
Tengo dos tensor a:[batch_size, dim] b:[batch_size, dim]. Quiero hacer un producto interno para cada par en el lote, generando c:[batch_size, 1], dónde c[i,0]=a[i,:].T*b[i,:].
Supongamos que estamos utilizando un tamaño de lote de 100 muestras para el aprendizaje. Entonces, en cada lote, el peso de cada neurona (y sesgo, etc.) se actualiza agregando el menos de la tasa de aprendizaje * el valor de error promedio que encontramos usando las 100 muestras * la derivada de...
Es un hecho bien conocido que una red de 1 capa no puede predecir la función xor, ya que no es separable linealmente. Intenté crear una red de 2 capas, utilizando la función sigmoide logística y el backprop, para predecir xor. Mi red tiene 2 neuronas (y un sesgo) en la capa de entrada, 2 neuronas y...
Recientemente hice una tarea donde tuve que aprender un modelo para la clasificación de 10 dígitos del MNIST. El HW tenía un código de andamiaje y se suponía que debía trabajar en el contexto de este código. Mi tarea funciona / pasa las pruebas, pero ahora estoy tratando de hacerlo todo desde cero...
Puedo ver dos motivos para usar degradados sintéticos en RNN: Para acelerar el entrenamiento, corrigiendo inmediatamente cada capa con gradiente predicho Para poder aprender secuencias más largas Veo problemas con los dos. Tenga en cuenta que realmente me gustan los degradados sintéticos...