Tengo un conjunto de datos desequilibrado en una tarea de clasificación binaria, donde la cantidad de positivos versus la cantidad de negativos es 0.3% vs 99.7%. La brecha entre lo positivo y lo negativo es enorme. Cuando entreno un CNN con la estructura utilizada en el problema MNIST, el resultado...
En el reciente artículo de WaveNet , los autores se refieren a su modelo como capas apiladas de convoluciones dilatadas. También producen los siguientes cuadros, que explican la diferencia entre convoluciones "regulares" y convoluciones dilatadas. Las convoluciones regulares se ven así. Esta es...
Entiendo que el entrenamiento previo se usa para evitar algunos de los problemas con la capacitación convencional. Si uso la retropropagación con, por ejemplo, un codificador automático, sé que voy a encontrar problemas de tiempo porque la retropropagación es lenta, y también que puedo quedar...
Entiendo que las redes neuronales (NN) pueden considerarse aproximadores universales a ambas funciones y sus derivadas, bajo ciertos supuestos (tanto en la red como en la función para aproximar). De hecho, he realizado una serie de pruebas en funciones simples pero no triviales (p. Ej.,...
Me preguntaba si era posible entrenar un SVM (digamos uno lineal, para facilitar las cosas) usando la propagación hacia atrás. Actualmente, estoy en un obstáculo, porque solo puedo pensar en escribir la salida del clasificador
Estoy viendo la función de costo de entropía cruzada que se encuentra en este tutorial : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] ¿Qué estamos resumiendo exactamente? Por supuesto, está sobre xxx , pero yyy y aaa no cambian con xxx ....
Los problemas de clasificación con límites no lineales no se pueden resolver con un simple perceptrón . El siguiente código R tiene fines ilustrativos y se basa en este ejemplo en Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1,...
Supongamos que tengo una red neuronal simple de una sola capa, con n entradas y una única salida (tarea de clasificación binaria). Si configuro la función de activación en el nodo de salida como una función sigmoidea, entonces el resultado es un clasificador de Regresión logística. En este mismo...
Estoy tratando de entrenar una red neuronal profunda para la clasificación, utilizando la propagación inversa. Específicamente, estoy usando una red neuronal convolucional para la clasificación de imágenes, usando la biblioteca Tensor Flow. Durante el entrenamiento, estoy experimentando un...
¿Es posible entrenar la red neuronal para dibujar en cierto estilo? (Por lo tanto, toma una imagen y la vuelve a dibujar en un estilo para el que fue entrenada). ¿Existe alguna tecnología aprobada para este tipo de cosas? Sé sobre el algoritmo DeepArt. Es bueno llenar la imagen principal con...
Soy nuevo en Keras y necesito tu ayuda. Estoy entrenando una red neuronal en Keras y mi función de pérdida es la salida cuadrada b / n de la red y el valor objetivo. Quiero optimizar esto usando Gradient Descent. Después de pasar por algunos enlaces en la red, he llegado a saber que generalmente...
Me preguntaba cuál es la mejor manera de inicializar el estado para LSTM. Actualmente solo lo inicializo a todos ceros. Realmente no puedo encontrar nada en línea sobre cómo inicializarlo. Una cosa que estaba pensando hacer es hacer que el estado inicial sea un parámetro entrenable. ¿Algún...
¿Existe alguna regla general entre la profundidad de una red neuronal y la tasa de aprendizaje? Me he dado cuenta de que cuanto más profunda es la red, más baja debe ser la tasa de aprendizaje. Si eso es correcto, ¿por qué es
Si bien he hecho algo de programación con máquinas Boltzmann en una clase de física, no estoy familiarizado con su caracterización teórica. Por el contrario, sé una cantidad modesta sobre la teoría de los modelos gráficos (sobre los primeros capítulos del libro Graphical Models de Lauritzen...
En términos de la diferencia entre la red neuronal y el aprendizaje profundo, podemos enumerar varios elementos, como la inclusión de más capas, un conjunto de datos masivo, un hardware de computadora potente para hacer posible el entrenamiento del modelo complicado. Además de estos, ¿hay alguna...
En los documentos AlphaGo Zero y AlphaZero de DeepMind , describen la adición de ruido Dirichlet a las probabilidades previas de acciones desde el nodo raíz (estado del tablero) en Monte Carlo Tree Search: Se logra una exploración adicional al agregar ruido de Dirichlet a las probabilidades...
Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo...
Estoy trabajando en una red de convolución para el reconocimiento de imágenes, y me preguntaba si podría ingresar imágenes de diferentes tamaños (aunque no muy diferentes). En este proyecto: https://github.com/harvardnlp/im2markup Ellos dicen: and group images of similar sizes to facilitate...
Tengo un conjunto de datos que contiene 34 columnas de entrada y 8 columnas de salida. Una forma de resolver el problema es tomar las 34 entradas y construir un modelo de regresión individual para cada columna de salida. Me pregunto si este problema puede resolverse usando solo un modelo,...
Leí sobre SVM y aprendí que están resolviendo un problema de optimización y que la idea de margen máximo era muy razonable. Ahora, usando núcleos pueden encontrar incluso límites de separación no lineales, lo cual fue genial. Hasta ahora, realmente no tengo idea de cómo se relacionan las SVM (una...