En los documentos AlphaGo Zero y AlphaZero de DeepMind , describen la adición de ruido Dirichlet a las probabilidades previas de acciones desde el nodo raíz (estado del tablero) en Monte Carlo Tree Search: Se logra una exploración adicional al agregar ruido de Dirichlet a las probabilidades...
Estoy entrenando una red neuronal artificial (retropropagación, retroalimentación) con datos distribuidos no normales. Además de la raíz del error cuadrático medio, la literatura a menudo sugiere el coeficiente de correlación de Pearson para evaluar la calidad de la red entrenada. Pero, ¿es...
Estoy comenzando mi viaje de doctorado, y el objetivo final que me propuse es desarrollar ANN que supervisen el entorno en el que trabajan y ajusten dinámicamente su arquitectura al problema en cuestión. La implicación obvia es la temporalidad de los datos: si el conjunto de datos no es continuo y...
Estoy usando un clasificador basado en redes neuronales para ejecutar una clasificación para mis datos en n-dimensional. Entonces pensé que podría ser una buena idea ejecutar la reducción de dimensiones como PCA para mis datos al principio, y luego poner los resultados de PCA en el clasificador...
Cuando usamos el algoritmo de aprendizaje de CD persistente para máquinas Bolzmann restringidas, comenzamos nuestra cadena de muestreo de Gibbs en la primera iteración en un punto de datos, pero a diferencia del CD normal, en las siguientes iteraciones no comenzamos sobre nuestra cadena. En cambio,...
Tengo entradas extremadamente escasas, por ejemplo, ubicaciones de ciertas características en una imagen de entrada. Además, cada característica puede tener múltiples detecciones (no estoy seguro si esto tendrá una relación con el diseño del sistema). Esta se presentará como una 'imagen binaria' de...
Aprendí que se puede detectar el sobreajuste trazando el error de entrenamiento y el error de prueba en comparación con las épocas. Como en: He estado leyendo esta publicación de blog donde dicen que la red neuronal, net5 es demasiado adecuada y proporcionan esta cifra: Lo cual es extraño...
Quiero entrenar una red neuronal con una secuencia de caracteres como un vector de entrada. Los ejemplos de aprendizaje tienen una longitud diferente y por esta razón no sé cómo representarlos. Digamos que tengo dos ejemplos de secuencias, aquí los nombres: john doe maurice delanoe El primer...
En CNN, aprenderemos los filtros para producir el mapa de características en la capa convolucional. En Autoencoder, la única unidad oculta de cada capa se puede considerar como filtro. ¿Cuál es la diferencia entre los filtros aprendidos en estas dos
Mi maestro demostró que la segunda derivada de la entropía cruzada siempre es positiva, por lo que la función de costo de las redes neuronales que usan entropía cruzada es convexa. ¿Es esto cierto? Estoy bastante confundido acerca de esto porque siempre he aprendido que la función de costo de ANN...
Estoy tratando con un problema relacionado con encontrar el gradiente de la función de pérdida de entropía cruzada wrt el parámetro donde:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Donde, y es una entrada...
Me gustaría utilizar una red neuronal para predecir series de tiempo financieras. Vengo de un entorno de TI y tengo algunos conocimientos de redes neuronales y he estado leyendo sobre estos: TDNN RNN He estado buscando paquetes R para ellos y solo encontré uno para RNN, el paquete RSNNS que...
Las redes de autoencoder parecen ser mucho más difíciles que las redes MLP clasificadoras normales. Después de varios intentos de usar Lasagne, todo lo que obtengo en la salida reconstruida es algo que se asemeja en su mejor momento a un promedio borroso de todas las imágenes de la base de datos...
En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras
Estoy tratando de entender la arquitectura de los RNN. He encontrado este tutorial que ha sido muy útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagen: ¿Cómo encaja esto en una red de retroalimentación? ¿Es esta imagen solo otro nodo en cada...
Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una...
De acuerdo con "Efficient Backprop" de LeCun et al (1998) , es una buena práctica normalizar todas las entradas para que estén centradas alrededor de 0 y se encuentren dentro del rango de la segunda derivada máxima. Entonces, por ejemplo, usaríamos [-0.5,0.5] para la función "Tanh". Esto es para...
El problema es: Derive el gradiente con respecto a la capa de entrada para una sola red neuronal de capa oculta usando sigmoide para entrada -> oculto, softmax para oculto -> salida, con una pérdida de entropía cruzada. Puedo pasar la mayor parte de la derivación usando la regla de la...
Supongamos que quiero entrenar una red neuronal profunda para realizar una clasificación o regresión, pero quiero saber qué tan segura será la predicción. ¿Cómo podría lograr esto? Mi idea es calcular la entropía cruzada para cada dato de entrenamiento, en función de su rendimiento de predicción...
Estoy aprendiendo sobre el aprendizaje profundo (específicamente CNN) y cómo normalmente requiere una gran cantidad de datos para evitar el sobreajuste. Sin embargo, también me han dicho que cuanto mayor capacidad / más parámetros tiene un modelo, más datos se requieren para evitar el sobreajuste....