Tengo una duda sobre cómo se entrena exactamente la función de pérdida de una red Deep Q-Learning. Estoy usando una red de alimentación de 2 capas con capa de salida lineal y capas ocultas relu. Supongamos que tengo 4 acciones posibles. Por lo tanto, la salida de mi red para el estado actual es ....
No creo que pueda haber una respuesta para todos los modelos de aprendizaje profundo. ¿Cuál de los modelos de aprendizaje profundo son paramétricos y cuáles no son paramétricos y por
Aquí hay algo que leí en el libro de Ian Goodfellow Deep Learning . En el contexto de las redes neuronales, "la penalización de la norma del parámetro L2 se conoce comúnmente como pérdida de peso. Esta estrategia de regularización lleva los pesos más cerca del origen. [...] Más en general,...
En la tarea de visión por computadora, como la clasificación de objetos, con las redes neuronales convolucionales (CNN), la red proporciona un rendimiento atractivo. Pero no estoy seguro de cómo configurar los parámetros en capas convolucionales. Por ejemplo, una imagen en escala de grises (...
Tengo un conjunto de datos desequilibrado en una tarea de clasificación binaria, donde la cantidad de positivos versus la cantidad de negativos es 0.3% vs 99.7%. La brecha entre lo positivo y lo negativo es enorme. Cuando entreno un CNN con la estructura utilizada en el problema MNIST, el resultado...
¿Cuándo se querría realizar un recorte de gradiente al entrenar un RNN o CNN? Estoy especialmente interesado en lo último. ¿Cuál sería un buen valor inicial para el recorte? (por supuesto, se puede
¿Cuál es la diferencia entre la codificación automática Bayes variacional y la retropropagación estocástica para modelos generativos profundos ? ¿La inferencia en ambos métodos conduce a los mismos resultados? No conozco ninguna comparación explícita entre los dos métodos, a pesar de que ambos...
¿Es posible entrenar la red neuronal para dibujar en cierto estilo? (Por lo tanto, toma una imagen y la vuelve a dibujar en un estilo para el que fue entrenada). ¿Existe alguna tecnología aprobada para este tipo de cosas? Sé sobre el algoritmo DeepArt. Es bueno llenar la imagen principal con...
¿Existe alguna regla general entre la profundidad de una red neuronal y la tasa de aprendizaje? Me he dado cuenta de que cuanto más profunda es la red, más baja debe ser la tasa de aprendizaje. Si eso es correcto, ¿por qué es
En términos de la diferencia entre la red neuronal y el aprendizaje profundo, podemos enumerar varios elementos, como la inclusión de más capas, un conjunto de datos masivo, un hardware de computadora potente para hacer posible el entrenamiento del modelo complicado. Además de estos, ¿hay alguna...
Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo...
Tengo un conjunto de datos que contiene 34 columnas de entrada y 8 columnas de salida. Una forma de resolver el problema es tomar las 34 entradas y construir un modelo de regresión individual para cada columna de salida. Me pregunto si este problema puede resolverse usando solo un modelo,...
Leí sobre SVM y aprendí que están resolviendo un problema de optimización y que la idea de margen máximo era muy razonable. Ahora, usando núcleos pueden encontrar incluso límites de separación no lineales, lo cual fue genial. Hasta ahora, realmente no tengo idea de cómo se relacionan las SVM (una...
En el artículo de Faster RCNN cuando se habla de anclaje, ¿qué quieren decir con "pirámides de cuadros de referencia" y cómo se hace? ¿Significa esto que en cada uno de los puntos de anclaje W * H * k se genera un cuadro delimitador? Donde W = ancho, H = altura yk = número de relaciones de aspecto...
En el reciente artículo de WaveNet , los autores se refieren a su modelo como capas apiladas de convoluciones dilatadas. También producen los siguientes cuadros, que explican la diferencia entre convoluciones "regulares" y convoluciones dilatadas. Las convoluciones regulares se ven así. Esta es...
Estoy trabajando en el documento Cho 2014 que introdujo la arquitectura codificador-decodificador para el modelado seq2seq. En el documento, parecen usar la probabilidad de la entrada dada de salida (o es la probabilidad de registro negativa) como la función de pérdida para una entrada de longitud...
Estoy tratando de entender mejor los campos receptivos de CNN. Para hacerlo, me gustaría calcular el campo receptivo de cada neurona en LeNet. Para un MLP normal es bastante fácil (ver http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), pero es más difícil calcular el campo receptivo...
Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una...
Después de leer muchos documentos de aprendizaje profundo, una especie de sentimiento brusco es que existen muchos trucos en el entrenamiento de la red para obtener un rendimiento mejor de lo normal. Desde la perspectiva de la aplicación de la industria, es muy difícil desarrollar este tipo de...
Quiero calcular la importancia de cada característica de entrada usando el modelo profundo. Pero solo encontré un artículo sobre la selección de características mediante el aprendizaje profundo: la selección de características profundas . Insertan una capa de nodos conectados a cada entidad...