He estado mirando las conferencias CS231N de Stanford y estoy tratando de entender algunos problemas en las arquitecturas de CNN. Lo que estoy tratando de entender es si hay algunas pautas generales para elegir el tamaño del filtro de convolución y cosas como avances o ¿es esto más un arte que una...
La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en...
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada
Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte del...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
Me preguntaba si en algunas circunstancias es posible que ANN tenga un mejor rendimiento si elimina algunas conexiones como, por ejemplo: ¿Construir un ANN tomando dos ANN's de múltiples capas A y B en paralelo (mismos nodos de entrada y salida) agregando algunas conexiones de "comunicación" entre...
Si tengo alguna topología fija no recurrente (DAG) (conjunto fijo de nodos y bordes, pero el algoritmo de aprendizaje puede variar el peso en los bordes) de las neuronas sigmoideas con neuronas de entrada que solo pueden tomar cadenas en como entrada y conduce a una salida (que genera un valor real...
Estoy luchando por hacer la conexión matemática entre una red neuronal y un modelo gráfico. En los modelos gráficos, la idea es simple: la distribución de probabilidad se factoriza de acuerdo con las camarillas en el gráfico, y los potenciales generalmente son de la familia exponencial. ¿Existe...
No estoy seguro de si esto es apropiado para este sitio, pero estoy comenzando mi MSE en ciencias de la computación (BS en matemáticas aplicadas) y quiero obtener una sólida formación en aprendizaje automático (lo más probable es que busque un doctorado). Uno de mis intereses secundarios son las...
Estoy tratando de usar el neuralnetpaquete de R (documentación aquí ) para la predicción. Aquí lo que estoy tratando de hacer: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <-...
Aquí hay algo que leí en el libro de Ian Goodfellow Deep Learning . En el contexto de las redes neuronales, "la penalización de la norma del parámetro L2 se conoce comúnmente como pérdida de peso. Esta estrategia de regularización lleva los pesos más cerca del origen. [...] Más en general,...
Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la misma...
Al implementar un codificador automático con red neuronal, la mayoría de las personas usará sigmoide como la función de activación. ¿Podemos usar ReLU en su lugar? (Dado que ReLU no tiene límite en el límite superior, básicamente significa que la imagen de entrada puede tener píxeles mayores que...
Por ejemplo, supongamos que estamos construyendo un estimador de edad, basado en la imagen de una persona. A continuación tenemos dos personas en trajes, pero la primera es claramente más joven que la segunda. (fuente: tinytux.com ) Hay muchas características que implican esto, por ejemplo,...
Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de...
Estoy tratando de usar una red neuronal para aproximar el valor Q en Q-learning como en Preguntas sobre Q-Learning usando redes neuronales . Como se sugiere en la primera respuesta, estoy usando una función de activación lineal para la capa de salida, mientras sigo usando la función de activación...
La idea detrás de Recurrent Neural Network (RNN) es clara para mí. Lo entiendo de la siguiente manera: tenemos una secuencia de observaciones ( ) (o, en otras palabras, series de tiempo multivariadas). Cada observación individual es un vector numérico dimensional. Dentro del modelo RNN suponemos...
Estoy usando feed-forward NN. Entiendo el concepto, pero mi pregunta es sobre los pesos. ¿Cómo puedes interpretarlos, es decir, qué representan o cómo pueden ser no desechables (dados solo coeficientes de función)? He encontrado algo llamado "espacio de pesas", pero no estoy muy seguro de lo que...
Recientemente, vimos la aparición de la Red Neural Residual, en la que cada capa consta de un módulo computacional y una conexión de acceso directo que preserva la entrada a la capa, como la salida de la capa i-ésima muestra: y i + 1 = c i + y i La red permite extraer características residuales y...
Estaba leyendo el documento de normalización por lotes [1] y tenía una sección donde se muestra un ejemplo, tratando de mostrar por qué la normalización debe hacerse con cuidado. Honestamente, no puedo entender cómo funciona el ejemplo y estoy realmente muy curioso por entender que se escriben...