La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes...
Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Recientemente leí algunos artículos sobre la red neuronal bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que proporciona una relación de probabilidad entre la entrada y la salida en una red neuronal. La capacitación de una red neuronal de este tipo es a través de MCMC, que es diferente del algoritmo...
Entonces, al mirar las redes neuronales de la función de base radial, me di cuenta de que las personas solo recomiendan el uso de 1 capa oculta, mientras que con las redes neuronales de perceptrón multicapa, más capas se consideran mejores. Dado que las redes RBF se pueden entrenar con la versión...
Hasta donde yo sé, tanto los autoencoders como el t-SNE se usan para la reducción de dimensionalidad no lineal. ¿Cuáles son las diferencias entre ellos y por qué debería usar uno versus
Estoy estudiando e intentando implementar redes neuronales convolucionales, pero supongo que esta pregunta se aplica a los perceptrones multicapa en general. Las neuronas de salida en mi red representan la activación de cada clase: la neurona más activa corresponde a la clase predicha para una...
Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como de costumbre. En mi caso,...
En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente...
El LSTM en el siguiente código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) puede ser representado como Entiendo que cuando llamamos a model.predict(np.array([[[1],[2],[3],[4]]]))la (única) unidad LSTM,...
Si procesamos digamos 10 ejemplos en un lote, entiendo que podemos sumar la pérdida para cada ejemplo, pero ¿cómo funciona la propagación hacia atrás en relación con la actualización de los pesos para cada ejemplo? Por ejemplo: Ejemplo 1 -> pérdida = 2 Ejemplo 2 -> pérdida = -2 Esto da...
Lectura Profundizando en convoluciones Me encontré con una capa de DepthConcat , un bloque de construcción de los módulos de inicio propuestos , que combina la salida de múltiples tensores de diferentes tamaños. Los autores llaman a esto "Concatenación de filtro". Parece que hay una implementación...
¿Cómo codificar la fecha y hora de un evento para una red neuronal? No tengo una serie temporal continua, sino algunos eventos con fecha y hora, y analizo algún tipo de interés. Este interés difiere entre las mañanas y las tardes, y difiere entre los días de la semana, y entre el verano y el...
Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte del...
Después de analizar esta pregunta: Intentando emular la regresión lineal usando Keras , he intentado dar mi propio ejemplo, solo para estudiar y desarrollar mi intuición. Descargué un conjunto de datos simple y usé una columna para predecir otra. Los datos se ven así: Ahora acabo de crear un...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada
¿El análisis de componentes principales (PCA) elimina el ruido en el conjunto de datos? Si PCA no elimina el ruido en el conjunto de datos, ¿qué hace realmente PCA al conjunto de datos? ¿Alguien puede ayudarme con respecto a este
No creo que pueda haber una respuesta para todos los modelos de aprendizaje profundo. ¿Cuál de los modelos de aprendizaje profundo son paramétricos y cuáles no son paramétricos y por
Estoy usando feed-forward NN. Entiendo el concepto, pero mi pregunta es sobre los pesos. ¿Cómo puedes interpretarlos, es decir, qué representan o cómo pueden ser no desechables (dados solo coeficientes de función)? He encontrado algo llamado "espacio de pesas", pero no estoy muy seguro de lo que...
Recientemente, vimos la aparición de la Red Neural Residual, en la que cada capa consta de un módulo computacional y una conexión de acceso directo que preserva la entrada a la capa, como la salida de la capa i-ésima muestra: y i + 1 = c i + y i La red permite extraer características residuales y...