En casi todos los ejemplos de código que he visto de un VAE, las funciones de pérdida se definen de la siguiente manera (este es el código de tensorflow, pero he visto algo similar para theano, torch, etc.) También es para un convnet, pero eso tampoco es demasiado relevante , solo afecta a los ejes...
Leí aquí lo siguiente: Las salidas sigmoideas no están centradas en cero . Esto no es deseable ya que las neuronas en las capas posteriores de procesamiento en una red neuronal (más sobre esto pronto) recibirían datos que no están centrados en cero. Esto tiene implicaciones en la dinámica...
Estoy interesado en la regresión con redes neuronales. Las redes neuronales con cero nodos ocultos + conexiones de capa de salto son modelos lineales. ¿Qué pasa con las mismas redes neuronales pero con nodos ocultos? Me pregunto cuál sería el papel de las conexiones de salto de...
Quiero usar el aprendizaje profundo en mi proyecto. Revisé un par de artículos y se me ocurrió una pregunta: ¿hay alguna diferencia entre la red neuronal de convolución y el aprendizaje profundo? ¿Son estas cosas iguales o tienen diferencias importantes, y cuál es
Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 2 años . Problema...
¿Por qué las funciones de activación de unidades lineales rectificadas (ReLU) se consideran no lineales? F( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Son lineales cuando la entrada es positiva y, según tengo entendido, para desbloquear el poder representativo de las redes profundas, las...
¿Cuáles son las ventajas? ¿Por qué uno usaría múltiples LSTM, apilados uno al lado del otro, en una red profunda? Estoy usando un LSTM para representar una secuencia de entradas como una sola entrada. Entonces, una vez que tenga esa representación única, ¿por qué volvería a pasarla? Lo pregunto...
Estoy tratando de entender mejor las redes neuronales convolucionales escribiendo mejor el código de Python que no depende de las bibliotecas (como Convnet o TensorFlow), y me estoy atascando en la literatura sobre cómo elegir valores para la matriz del núcleo, cuando realizando una convolución en...
Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las...
En Alex Krizhevsky, et al. La clasificación de Imagenet con redes neuronales convolucionales profundas enumera el número de neuronas en cada capa (ver el diagrama a continuación). La entrada de la red es de 150,528 dimensiones, y el número de neuronas en las capas restantes de la red viene dado...
Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe...
Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de...
Así que estoy tratando de hacer un entrenamiento previo en imágenes de humanos usando redes convolucionales. Leí los documentos ( Paper1 y Paper2 ) y este enlace de stackoverflow , pero no estoy seguro de entender la estructura de las redes (no está bien definido en los
He estado trabajando con las redes neuronales convolucionales (CNN) durante algún tiempo, principalmente en datos de imágenes para la segmentación semántica / segmentación de instancias. A menudo he visualizado el softmax de la salida de la red como un "mapa de calor" para ver qué tan altas son las...
¿Hay algún buen documento que cubra algunas formas metódicas de elegir las dimensiones de los filtros, agrupar las unidades y determinar el número de capas
Soy consciente de que ha habido muchos avances con respecto al reconocimiento de imágenes, clasificación de imágenes, etc. con redes neuronales profundas y convolucionales. Pero si entreno una red en, por ejemplo, imágenes PNG, ¿ solo funcionará para imágenes tan codificadas? ¿Qué otras...
Estaba escuchando una charla y vi esta diapositiva: Que tan cierto
Definimos una arquitectura de cuello de botella como el tipo que se encuentra en el documento de ResNet donde [dos capas de conv 3x3] se reemplazan por [una 1x1 conv, una 3x3 conv, y otra 1x1 conv capa]. Entiendo que las capas conv 1x1 se usan como una forma de reducción de dimensión (y...
Fondo: Sí, la máquina de Boltzmann restringida (RBM) PUEDE usarse para iniciar los pesos de una red neuronal. También puede ser utilizado de una manera "capa por capa" para construir una red profunda creencia (es decir, para entrenar a un capa -ésima en la parte superior de ( n - 1 ) capa de...
Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para...