He estado usando theano para experimentar con LSTM y me preguntaba qué métodos de optimización (SGD, Adagrad, Adadelta, RMSprop, Adam, etc.) funcionan mejor para LSTM. ¿Hay trabajos de investigación sobre este tema? Además, ¿la respuesta depende del tipo de aplicación para la que estoy usando el...
Con todos los medios de comunicación y exageraciones sobre el aprendizaje profundo en estos días, leí algunas cosas elementales al respecto. Acabo de descubrir que es solo otro método de aprendizaje automático para aprender patrones a partir de datos. Pero mi pregunta es: ¿dónde brilla y por qué...
Estoy trabajando en la clasificación de la etapa del sueño. Leí algunos artículos de investigación sobre este tema, muchos de ellos usaron SVM o método de conjunto. ¿Es una buena idea usar una red neuronal convolucional para clasificar la señal EEG unidimensional? Soy nuevo en este tipo de...
Estoy tratando con un modelo lineal jerárquico bayesiano , aquí la red que lo describe. YYY representa las ventas diarias de un producto en un supermercado (observado). XXX es una matriz conocida de regresores, que incluye precios, promociones, día de la semana, clima, días festivos. SSS es el...
Tengo una red neuronal configurada para predecir algo donde la variable de salida es ordinal. Describiré a continuación usando tres salidas posibles A <B <C. Es bastante obvio cómo usar una red neuronal para generar datos categóricos: la salida es solo un softmax de la última capa...
Estoy tratando de entender las diferentes arquitecturas de redes neuronales recurrentes (RNN) que se aplicarán a los datos de series temporales y me estoy confundiendo un poco con los diferentes nombres que se usan con frecuencia al describir los RNN. ¿Es la estructura de la memoria a corto plazo...
En aplicación de la Tensorflow ResNet , encuentro que utilizan la variación de escala inicializador, también encuentro Xavier inicializador es popular. No tengo mucha experiencia en esto, ¿qué es mejor en la
Tengo un modelo de red neuronal profunda y necesito entrenarlo en mi conjunto de datos que consta de aproximadamente 100,000 ejemplos, mis datos de validación contienen aproximadamente 1000 ejemplos. Debido a que lleva tiempo entrenar cada ejemplo (alrededor de 0.5s para cada ejemplo) y para evitar...
Tengo una ligera confusión sobre el algoritmo de retropropagación utilizado en el perceptrón multicapa (MLP). El error se ajusta mediante la función de costo. En la retropropagación, estamos tratando de ajustar el peso de las capas ocultas. El error de salida que puedo entender, es decir, e = d -...
Tengo un problema muy simple pero no puedo encontrar una herramienta adecuada para resolverlo. Tengo una secuencia de vectores de la misma longitud. Ahora me gustaría entrenar LSTM RNN en la muestra de tren de estas secuencias y luego hacer que prediga una nueva secuencia de vectores de longitud...
Estaba revisando los documentos de convolución de Keras y he encontrado dos tipos de convulsiones Conv1D y Conv2D. Hice una búsqueda en la web y esto es lo que entiendo sobre Conv1D y Conv2D; Conv1D se usa para secuencias y Conv2D usa para imágenes. Siempre pensé que las redes de convolución...
Entiendo las capas convolucionales y de agrupación, pero no puedo ver la razón de una capa totalmente conectada en las CNN. ¿Por qué la capa anterior no está directamente conectada a la capa de
La pregunta puede sonar un poco extraña porque soy nuevo en la inferencia estadística y las redes neuronales. Cuando en problemas de clasificación usando redes neuronales decimos que queremos aprender una función que mapea el espacio de las entradas , al espacio de las salidas...
A menudo escucho a personas hablando de redes neuronales como algo así como una caja negra que no entiendes lo que hace o lo que significan. ¡En realidad no puedo entender lo que quieren decir con eso! Si comprende cómo funciona la retropropagación, ¿cómo es una caja negra? ¿Significan que no...
Al trabajar en el problema de regresión, comencé a pensar en la representación de la función "día de la semana". Me pregunto qué enfoque funcionaría mejor: una característica valor 1/7 para el lunes; 2/7 para el martes ... 7 características: (1, 0, 0, 0, 0, 0, 0) para el lunes; (0, 1, 0, 0, 0, 0,...
RNN se puede utilizar para la predicción, o el mapeo secuencia a secuencia. Pero, ¿cómo se puede usar RNN para la clasificación? Quiero decir, le damos a una secuencia completa una
Para usar SVM o red neuronal, necesita transformar (codificar) variables categóricas en variables numéricas, el método normal en este caso es usar valores binarios 0-1 con el k-ésimo valor categórico transformado para ser (0,0, .. ., 1,0, ... 0) (1 está en la posición k-ésima). ¿Hay otros métodos...
Tengo curiosidad por saber qué tan importante es el nodo de sesgo para la efectividad de las redes neuronales modernas. Puedo entender fácilmente que puede ser importante en una red poco profunda con solo unas pocas variables de entrada. Sin embargo, las redes neuronales modernas, como en el...
Definimos una época como haber pasado por la totalidad de todas las muestras de entrenamiento disponibles, y el tamaño del mini lote como el número de muestras sobre el que promediamos para encontrar las actualizaciones de pesos / sesgos necesarios para descender el gradiente. Mi pregunta es si...
Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea