¿Qué transmite el número de filtros en una capa de convolución? ¿Cómo afecta este número el rendimiento o la calidad de la arquitectura? Quiero decir, ¿deberíamos optar siempre por un mayor número de filtros? ¿Qué hay de bueno de ellos? y ¿Cómo asigna la gente un número diferente de filtros para...
Antecedentes: gran parte de la investigación moderna en los últimos ~ 4 años (post alexnet ) parece haberse alejado del uso de preentrenamiento generativo para redes neuronales para lograr resultados de clasificación de vanguardia. Por ejemplo, los mejores resultados para mnist aquí incluyen solo...
He estado leyendo mucho sobre redes neuronales convolucionales y me preguntaba cómo evitan el problema del gradiente de fuga. Sé que las redes de creencias profundas apilan codificadores automáticos de un solo nivel u otras redes poco profundas previamente entrenadas y, por lo tanto, puedo evitar...
En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, cuando...
Estoy investigando el uso de una versión LSTM ( memoria a largo plazo ) de una red neuronal recurrente (RNN) para modelar datos de series temporales. A medida que aumenta la longitud de la secuencia de los datos, aumenta la complejidad de la red. Por lo tanto, tengo curiosidad por saber qué...
A medida que profundizamos en la literatura sobre redes neuronales , podemos identificar otros métodos con topologías neuromórficas (arquitecturas similares a "redes neuronales"). Y no estoy hablando del teorema de aproximación universal . A continuación se dan ejemplos. Entonces, me hace...
http://www.deeplearningbook.org/contents/ml.html La página 116 explica el error de bayes de la siguiente manera El modelo ideal es un oráculo que simplemente conoce la verdadera distribución de probabilidad que genera los datos. Incluso un modelo de este tipo aún incurrirá en algún error en...
Estoy tratando de aprender a usar las redes neuronales. Estaba leyendo este tutorial . Después de ajustar una red neuronal en una serie temporal utilizando el valor en para predecir el valor en el autor obtiene el siguiente gráfico, donde la línea azul es la serie temporal, el verde es la...
No he encontrado una respuesta satisfactoria a esto de google . Por supuesto, si los datos que tengo son del orden de millones, entonces el aprendizaje profundo es el camino. Y he leído que cuando no tengo grandes datos, tal vez sea mejor usar otros métodos en el aprendizaje automático. La razón...
Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la...
Estoy buscando hacer un proyecto de reconocimiento óptico de caracteres (OCR). Después de investigar un poco, me he encontrado con una arquitectura que parece interesante: CNN + RNN + CTC. Estoy familiarizado con las redes neuronales contorneadas (CNN) y las redes neuronales recurrentes (RNN), pero...
¿En qué punto comenzamos a clasificar las redes neuronales de varias capas como redes neuronales profundas o para decirlo de otra manera? ¿Cuál es el número mínimo de capas en una red neuronal
Si tengo una red neuronal convolucional (CNN), que tiene aproximadamente 1,000,000 de parámetros, ¿cuántos datos de entrenamiento se necesitan (supongo que estoy haciendo un descenso de gradiente estocástico)? ¿Hay alguna regla general? Notas adicionales: cuando realicé el descenso de gradiente...
Digamos que estoy escribiendo un algoritmo para construir un autoencoder apilado de 2 capas y una red neuronal de 2 capas. ¿Son las mismas cosas o diferencias? Lo que entiendo es que cuando construyo un codificador automático apilado, construiría capa por capa. Para la red neuronal, inicializaría...
Esto se refiere al documento Localización eficiente de objetos mediante redes convolucionales , y por lo que entiendo, el abandono se implementa en 2D. Después de leer el código de Keras sobre cómo se implementa el Dropout 2D espacial, básicamente se implementa una máscara binaria aleatoria de...
La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje...
Todos los ejemplos que encontré usando creencias profundas o redes neuronales convolucionales las usan para la clasificación de imágenes, detección de caracteres o reconocimiento de voz. ¿Las redes neuronales profundas también son útiles para las tareas de regresión clásicas, donde las...
Particularmente en el contexto de las competencias de kaggle, he notado que el rendimiento del modelo tiene que ver con la selección de características / ingeniería. Si bien puedo entender completamente por qué sucede esto cuando se trata de los algoritmos ML más convencionales / de la vieja...
¿Existe alguna literatura que examine la elección del tamaño del minibatch al realizar el descenso de gradiente estocástico? En mi experiencia, parece ser una opción empírica, que generalmente se encuentra a través de la validación cruzada o el uso de diferentes reglas generales. ¿Es una buena...
¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de