Recientemente, vimos la aparición de la Red Neural Residual, en la que cada capa consta de un módulo computacional y una conexión de acceso directo que preserva la entrada a la capa, como la salida de la capa i-ésima muestra: y i + 1 = c i + y i La red permite extraer características residuales y...
Estaba leyendo el documento de normalización por lotes [1] y tenía una sección donde se muestra un ejemplo, tratando de mostrar por qué la normalización debe hacerse con cuidado. Honestamente, no puedo entender cómo funciona el ejemplo y estoy realmente muy curioso por entender que se escriben...
Basado en lo que he aprendido, utilizamos múltiples filtros en una capa de convección de una CNN para aprender diferentes detectores de características. Pero dado que estos filtros se aplican de manera similar (es decir, deslizados y multiplicados a las regiones de la entrada), ¿no aprenderían los...
Estaba implementando un documento bastante popular " EXPLICANDO Y APROVECHANDO EJEMPLOS ADVERSARIALES " y en el documento, entrena una función objetiva adversaria J '' (θ) = αJ (θ) + (1 - α) J '(θ). Trata a α como un hiperparámetro. α puede ser 0.1, 0.2, 0.3, etc. Independientemente de este...
Según tengo entendido, las CNN consisten en dos partes. La primera parte (capas conv / pool) que realiza la extracción de características y la segunda parte (capas fc) que realiza la clasificación de las características. Dado que las redes neuronales completamente conectadas no son los mejores...
¿El análisis de componentes principales (PCA) elimina el ruido en el conjunto de datos? Si PCA no elimina el ruido en el conjunto de datos, ¿qué hace realmente PCA al conjunto de datos? ¿Alguien puede ayudarme con respecto a este
Tanto la función logística como la desviación estándar generalmente se denotan como σσ\sigma . Voy a usar σ(x)=1/(1+exp(−x))σ(x)=1/(1+exp(−x))\sigma(x) = 1/(1+\exp(-x)) y sss para la desviación estándar. Tengo una neurona logística con una entrada aleatoria cuya media μμ\mu y desviación estándar...
He escuchado un poco sobre el uso de redes neuronales para pronosticar series temporales. ¿Cómo puedo comparar qué método para pronosticar mi serie temporal (datos minoristas diarios) es mejor: auto.arima (x), ets (x) o nnetar (x). Puedo comparar auto.arima con ets por AIC o BIC. ¿Pero cómo...
De este video de Andrew Ng alrededor de las 5:00 ¿Cómo se y ? De hecho, ¿qué significa ? se obtiene al comparar con y, no es posible tal comparación para la salida de una capa oculta,
En los documentos AlphaGo Zero y AlphaZero de DeepMind , describen la adición de ruido Dirichlet a las probabilidades previas de acciones desde el nodo raíz (estado del tablero) en Monte Carlo Tree Search: Se logra una exploración adicional al agregar ruido de Dirichlet a las probabilidades...
En la tarea de visión por computadora, como la clasificación de objetos, con las redes neuronales convolucionales (CNN), la red proporciona un rendimiento atractivo. Pero no estoy seguro de cómo configurar los parámetros en capas convolucionales. Por ejemplo, una imagen en escala de grises (...
Tengo un conjunto de datos desequilibrado en una tarea de clasificación binaria, donde la cantidad de positivos versus la cantidad de negativos es 0.3% vs 99.7%. La brecha entre lo positivo y lo negativo es enorme. Cuando entreno un CNN con la estructura utilizada en el problema MNIST, el resultado...
Entiendo que las redes neuronales (NN) pueden considerarse aproximadores universales a ambas funciones y sus derivadas, bajo ciertos supuestos (tanto en la red como en la función para aproximar). De hecho, he realizado una serie de pruebas en funciones simples pero no triviales (p. Ej.,...
Estoy viendo la función de costo de entropía cruzada que se encuentra en este tutorial : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] ¿Qué estamos resumiendo exactamente? Por supuesto, está sobre xxx , pero yyy y aaa no cambian con xxx ....
Una red de mundo pequeño es un tipo de gráfico matemático en el que la mayoría de los nodos no son vecinos entre sí, pero se puede llegar a la mayoría de los nodos entre sí mediante un pequeño número de saltos o pasos. Específicamente, una red de mundo pequeño se define como una red donde la...
Los problemas de clasificación con límites no lineales no se pueden resolver con un simple perceptrón . El siguiente código R tiene fines ilustrativos y se basa en este ejemplo en Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1,...
Estoy comenzando con el aprendizaje profundo, y tengo una pregunta cuya respuesta no pude encontrar, tal vez no he buscado correctamente. He visto esta respuesta , pero aún no está claro cuál es la pérdida de pérdida de peso y cómo se relaciona con la función de
En el reciente artículo de WaveNet , los autores se refieren a su modelo como capas apiladas de convoluciones dilatadas. También producen los siguientes cuadros, que explican la diferencia entre convoluciones "regulares" y convoluciones dilatadas. Las convoluciones regulares se ven así. Esta es...
Supongamos que tengo una red neuronal simple de una sola capa, con n entradas y una única salida (tarea de clasificación binaria). Si configuro la función de activación en el nodo de salida como una función sigmoidea, entonces el resultado es un clasificador de Regresión logística. En este mismo...
Estoy tratando de entrenar una red neuronal profunda para la clasificación, utilizando la propagación inversa. Específicamente, estoy usando una red neuronal convolucional para la clasificación de imágenes, usando la biblioteca Tensor Flow. Durante el entrenamiento, estoy experimentando un...