¿Qué es un estudio de ablación? ¿Y hay una forma sistemática de realizarlo? Por ejemplo, tengo predictores en una regresión lineal que llamaré como mi modelo.nortenorten ¿Cómo realizaré un estudio de ablación para esto? ¿Qué métricas debo usar? Se agradecería una fuente completa o un libro de...
Quiero usar el aprendizaje profundo en mi proyecto. Revisé un par de artículos y se me ocurrió una pregunta: ¿hay alguna diferencia entre la red neuronal de convolución y el aprendizaje profundo? ¿Son estas cosas iguales o tienen diferencias importantes, y cuál es
¿Por qué las funciones de activación de unidades lineales rectificadas (ReLU) se consideran no lineales? F( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Son lineales cuando la entrada es positiva y, según tengo entendido, para desbloquear el poder representativo de las redes profundas, las...
¿Cuál es la diferencia entre dropout y drop connect? AFAIK, el abandono abandona aleatoriamente los nodos ocultos durante el entrenamiento, pero los mantiene en las pruebas, y desconecta y desconecta las conexiones. Pero, ¿no es dejar caer conexiones equivalente a dejar caer los nodos ocultos?...
Estoy tratando de entender mejor las redes neuronales convolucionales escribiendo mejor el código de Python que no depende de las bibliotecas (como Convnet o TensorFlow), y me estoy atascando en la literatura sobre cómo elegir valores para la matriz del núcleo, cuando realizando una convolución en...
Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe...
Sé que mi pregunta / título no es muy específico, así que intentaré aclararlo: Las redes neuronales artificiales tienen diseños relativamente estrictos. Por supuesto, en general, están influenciados por la biología e intentan construir un modelo matemático de redes neuronales reales, pero nuestra...
Tengo 50,000 imágenes como estas dos: Representan gráficos de datos. Quería extraer características de estas imágenes, así que utilicé el código del codificador automático proporcionado por Theano (deeplearning.net). El problema es que estos autoencoders no parecen aprender ninguna...
En Alex Krizhevsky, et al. La clasificación de Imagenet con redes neuronales convolucionales profundas enumera el número de neuronas en cada capa (ver el diagrama a continuación). La entrada de la red es de 150,528 dimensiones, y el número de neuronas en las capas restantes de la red viene dado...
Así que estoy tratando de hacer un entrenamiento previo en imágenes de humanos usando redes convolucionales. Leí los documentos ( Paper1 y Paper2 ) y este enlace de stackoverflow , pero no estoy seguro de entender la estructura de las redes (no está bien definido en los
Recientemente estaba corriendo y aprendiendo el flujo del tensor y obtuve algunos histogramas que no sabía cómo interpretar. Por lo general, pienso en la altura de las barras como la frecuencia (o frecuencia / recuento relativo). Sin embargo, el hecho de que no haya barras como en un histograma...
Si nos fijamos en la documentación http://keras.io/optimizers/ hay un parámetro en el SGD para la descomposición. Sé que esto reduce la tasa de aprendizaje con el tiempo. Sin embargo, no puedo entender cómo funciona exactamente. ¿Es un valor que se multiplica por la tasa de aprendizaje como lr = lr...
Recién comencé a estudiar sobre estadísticas y modelos. Actualmente, entiendo que usamos MLE para estimar los mejores parámetros para un modelo. Sin embargo, cuando trato de entender cómo funcionan las redes neuronales, parece que comúnmente usan otro enfoque para estimar los parámetros. ¿Por qué...
Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma de costo de diferencia al...
Bueno, la pregunta lo dice todo. ¿Qué se entiende por "preentrenamiento de una red neuronal"? ¿Alguien puede explicar en inglés simple y puro? Parece que no puedo encontrar ningún recurso relacionado con él. Sería genial si alguien me puede señalar a
Al entrenar una red neuronal usando el algoritmo de propagación hacia atrás, el método de descenso de gradiente se usa para determinar las actualizaciones de peso. Mi pregunta es: en lugar de utilizar el método de descenso de gradiente para localizar lentamente el punto mínimo con respecto a un...
He estado queriendo experimentar con una red neuronal para un problema de clasificación que estoy enfrentando. Me encontré con documentos que hablan de RBM. Pero por lo que puedo entender, no son diferentes de tener una red neuronal multicapa. ¿Es esto exacto? Además, trabajo con R y no veo ningún...
Para ilustrar mi pregunta, suponga que tengo un conjunto de entrenamiento donde la entrada tiene un grado de ruido pero la salida no, por ejemplo; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] :...
Estaba escuchando una charla y vi esta diapositiva: Que tan cierto
Tengo curiosidad acerca de cómo los gradientes se propagan hacia atrás a través de una red neuronal utilizando módulos ResNet / conexiones de omisión. He visto un par de preguntas sobre ResNet (por ejemplo, red neuronal con conexiones de capa de salto ), pero esta pregunta específicamente sobre la...