Cuando usamos el algoritmo de aprendizaje de CD persistente para máquinas Bolzmann restringidas, comenzamos nuestra cadena de muestreo de Gibbs en la primera iteración en un punto de datos, pero a diferencia del CD normal, en las siguientes iteraciones no comenzamos sobre nuestra cadena. En cambio,...
Tengo entradas extremadamente escasas, por ejemplo, ubicaciones de ciertas características en una imagen de entrada. Además, cada característica puede tener múltiples detecciones (no estoy seguro si esto tendrá una relación con el diseño del sistema). Esta se presentará como una 'imagen binaria' de...
Aprendí que se puede detectar el sobreajuste trazando el error de entrenamiento y el error de prueba en comparación con las épocas. Como en: He estado leyendo esta publicación de blog donde dicen que la red neuronal, net5 es demasiado adecuada y proporcionan esta cifra: Lo cual es extraño...
Quiero entrenar una red neuronal con una secuencia de caracteres como un vector de entrada. Los ejemplos de aprendizaje tienen una longitud diferente y por esta razón no sé cómo representarlos. Digamos que tengo dos ejemplos de secuencias, aquí los nombres: john doe maurice delanoe El primer...
En CNN, aprenderemos los filtros para producir el mapa de características en la capa convolucional. En Autoencoder, la única unidad oculta de cada capa se puede considerar como filtro. ¿Cuál es la diferencia entre los filtros aprendidos en estas dos
Mi maestro demostró que la segunda derivada de la entropía cruzada siempre es positiva, por lo que la función de costo de las redes neuronales que usan entropía cruzada es convexa. ¿Es esto cierto? Estoy bastante confundido acerca de esto porque siempre he aprendido que la función de costo de ANN...
Estoy tratando con un problema relacionado con encontrar el gradiente de la función de pérdida de entropía cruzada wrt el parámetro donde:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Donde, y es una entrada...
Me gustaría utilizar una red neuronal para predecir series de tiempo financieras. Vengo de un entorno de TI y tengo algunos conocimientos de redes neuronales y he estado leyendo sobre estos: TDNN RNN He estado buscando paquetes R para ellos y solo encontré uno para RNN, el paquete RSNNS que...
Las redes de autoencoder parecen ser mucho más difíciles que las redes MLP clasificadoras normales. Después de varios intentos de usar Lasagne, todo lo que obtengo en la salida reconstruida es algo que se asemeja en su mejor momento a un promedio borroso de todas las imágenes de la base de datos...
En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras
Estoy tratando de entender la arquitectura de los RNN. He encontrado este tutorial que ha sido muy útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagen: ¿Cómo encaja esto en una red de retroalimentación? ¿Es esta imagen solo otro nodo en cada...
Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una...
Después de leer muchos documentos de aprendizaje profundo, una especie de sentimiento brusco es que existen muchos trucos en el entrenamiento de la red para obtener un rendimiento mejor de lo normal. Desde la perspectiva de la aplicación de la industria, es muy difícil desarrollar este tipo de...
De acuerdo con "Efficient Backprop" de LeCun et al (1998) , es una buena práctica normalizar todas las entradas para que estén centradas alrededor de 0 y se encuentren dentro del rango de la segunda derivada máxima. Entonces, por ejemplo, usaríamos [-0.5,0.5] para la función "Tanh". Esto es para...
El problema es: Derive el gradiente con respecto a la capa de entrada para una sola red neuronal de capa oculta usando sigmoide para entrada -> oculto, softmax para oculto -> salida, con una pérdida de entropía cruzada. Puedo pasar la mayor parte de la derivación usando la regla de la...
Supongamos que quiero entrenar una red neuronal profunda para realizar una clasificación o regresión, pero quiero saber qué tan segura será la predicción. ¿Cómo podría lograr esto? Mi idea es calcular la entropía cruzada para cada dato de entrenamiento, en función de su rendimiento de predicción...
Estoy aprendiendo sobre el aprendizaje profundo (específicamente CNN) y cómo normalmente requiere una gran cantidad de datos para evitar el sobreajuste. Sin embargo, también me han dicho que cuanto mayor capacidad / más parámetros tiene un modelo, más datos se requieren para evitar el sobreajuste....
Cuando se aplica el abandono en redes neuronales artificiales, uno debe compensar el hecho de que en el momento del entrenamiento una parte de las neuronas se desactivaron. Para hacerlo, existen dos estrategias comunes: escalar la activación en el momento de la prueba invertir el abandono durante...
Mi pregunta se refiere a la relación entre la hipótesis de codificación eficiente que se describe en la página de Wikipedia sobre codificación eficiente y algoritmos de aprendizaje de redes neuronales. ¿Cuál es la relación entre la hipótesis de codificación eficiente y las redes neuronales? ¿Hay...
Antecedentes: estoy usando la aproximación del valor Q de la red neuronal en mi tarea de aprendizaje de refuerzo. El enfoque es exactamente el mismo que el descrito en esta pregunta , sin embargo, la pregunta en sí es diferente. En este enfoque, el número de resultados es el número de acciones...