Estructura de red inspirada en modelos simplificados de neuronas biológicas (células cerebrales). Las redes neuronales están entrenadas para "aprender" mediante técnicas supervisadas y no supervisadas, y pueden usarse para resolver problemas de optimización, problemas de aproximación, clasificar patrones y combinaciones de los mismos.
Las redes backprop totalmente conectadas (al menos capa a capa con más de 2 capas ocultas) son aprendices universales. Desafortunadamente, a menudo son lentos para aprender y tienden a ajustarse demasiado o tienen generalizaciones incómodas. Al perder el tiempo con estas redes, he observado que...
Uno de los hiperparámetros para las redes LSTM es la temperatura. ¿Qué
¿Cuál es la diferencia entre una red neuronal, un sistema de aprendizaje profundo y una red de creencias profundas? Como recuerdo, su red neuronal básica es una especie de 3 capas, y he descrito a Deep Belief Systems como redes neuronales apiladas una encima de la otra. Hasta hace poco no había...
Mi objetivo es resolver el siguiente problema, que he descrito por su entrada y salida: Entrada: Un gráfico acíclico dirigido con nodos, fuentes y sumidero ( ).solsolGmetrometromnortenorten111m > n ≥ 1metro>norte≥1m > n \geq 1 Salida: El VC-dimensión (o una aproximación de la misma) para...
Hace poco me enteré de la existencia de esta memoria temporal jerárquica (HTM) . Ya leí el documento Memoria temporal jerárquica: conceptos, teoría y terminología (por Jeff Hawkins y Dileep George), que parece bastante fácil de entender, pero una señal de alerta es que el documento no es revisado...
Introducción Paso uno Escribí una red neuronal de propagación hacia atrás estándar, y para probarla, decidí que mapeara XOR. Es una red 2-2-1 (con función de activación de tanh) X1 M1 O1 X2 M2 B1 B2 Para fines de prueba, configuré manualmente la neurona media superior (M1) para que sea una...
¿Cuándo decimos que una red neuronal artificial es un perceptrón multicapa ? ¿Y cuándo decimos que una red neuronal artificial es una multicapa ? ¿El término perceptrón está relacionado con la regla de aprendizaje para actualizar los pesos? ¿O está relacionado con las unidades...
He visto algunas preguntas en este sitio sobre Deep Dream, sin embargo, ninguna de ellas parece hablar realmente de lo que está haciendo DeepDream, específicamente. Por lo que he deducido, parecen haber cambiado la función objetivo, y también han cambiado la propagación hacia atrás para que, en...
Estoy usando redes neuronales para predecir una serie temporal. La pregunta que estoy enfrentando ahora es cómo codifico la fecha / hora / número de serie. de cada conjunto de entrada como entrada a la red neuronal? ¿Debo usar 1 de la codificación C (utilizada para codificar categorías) como se...
Está comprobado que las redes neuronales con pesos racionales tienen el poder computacional de la máquina universal de Turing Computabilidad de Turing con redes neuronales . De lo que obtengo, parece que el uso de pesos con valor real produce aún más poder computacional, aunque no estoy seguro de...
¿Hay alguna ventaja de tener más de 2 capas ocultas en una red neuronal? He visto algunos lugares que lo recomiendan, otros demuestran que no hay ninguna ventaja. ¿Cuál es la
Después de leer los logros de google deepmind en los juegos de Atari , estoy tratando de entender el q-learning y q-networks, pero estoy un poco confundido. La confusión surge en el concepto del factor de descuento. Breve resumen de lo que entiendo. Se utiliza una red neuronal convolucional...
Hace poco leí una entrada de blog realmente interesante del Blog de Google Research sobre redes neuronales. Básicamente usan estas redes neuronales para resolver varios problemas como el reconocimiento de imágenes. Utilizan algoritmos genéticos para "evolucionar" los pesos de los...
¿Podría un algoritmo de red neuronal artificial expresarse en términos de operaciones de reducción de mapas? También estoy interesado de manera más general en los métodos de paralelización aplicados a los ANN y su aplicación a la computación en la nube. Creo que un enfoque implicaría ejecutar un...
He implementado una red neuronal (usando CUDA) con 2 capas. (2 neuronas por capa). Estoy tratando de hacer que aprenda 2 funciones polinómicas cuadráticas simples usando la propagación hacia atrás . Pero en lugar de converger, es divergente (la salida se está convirtiendo en infinito) Aquí hay...
¿Por qué los pesos iniciales de las redes neuronales se inicializan como números aleatorios? Había leído en alguna parte que esto se hace para "romper la simetría" y esto hace que la red neuronal aprenda más rápido. ¿Cómo la ruptura de la simetría hace que aprenda más rápido? ¿No sería una mejor...
He estado aprendiendo sobre redes neuronales y SVM. Los tutoriales que he leído han enfatizado la importancia de la kernelización para SVM. Sin una función de kernel, los SVM son solo un clasificador lineal. Con la kernelización, los SVM también pueden incorporar características no lineales, lo que...
Para muchos proyectos de aprendizaje automático que hacemos, comenzamos con el clasificador k Nearest Neighbour. Este es un clasificador de inicio ideal, ya que generalmente tenemos tiempo suficiente para calcular todas las distancias y el número de parámetros es limitado (k, métrica de distancia y...
Al actualizar los pesos de una red neuronal utilizando el algoritmo de retropropagación con un término de impulso, ¿debería aplicarse también la tasa de aprendizaje al término de impulso? La mayor parte de la información que pude encontrar sobre el uso del momento tiene las ecuaciones que se...
He estado estudiando Spiking Neural Networks en línea de varios artículos, principalmente Maass (1997) . No estoy completamente seguro de entender qué hace que el código de pulso de SNN contrasta con los ANN 's anteriores que se consideran código de frecuencia. Tengo experiencia en neurociencia,...