¿En qué se diferencia una red neuronal profunda de otras redes neuronales?

Respuestas:

28

La diferencia está principalmente en el número de capas.

Durante mucho tiempo, se creía que "1-2 capas ocultas son suficientes para la mayoría de las tareas" y no era práctico usar más que eso, porque el entrenamiento de redes neuronales puede ser muy exigente desde el punto de vista computacional.

Hoy en día, las computadoras son capaces de mucho más, por lo que las personas comenzaron a usar redes con más capas y descubrieron que funcionan muy bien para algunas tareas.

La palabra "profundo" existe simplemente para distinguir estas redes de las tradicionales, "más superficiales".

Acechador desencantado
fuente
Si entendí correctamente el "aprendizaje profundo", hay algunos parámetros (pesos) que están unidos, lo que reduce el espacio de parámetros. Los NN normales no pueden hacer eso.
Raphael
@Raphael, re: some parameters (weights) that are tied together, thus reducing the parameter space¿te refieres a redes neuronales convolucionales?
publicgk
@publicgk Eso es lo que vi, sí.
Raphael
Siempre he escuchado que el "aprendizaje profundo" es cuando usas conjuntos de datos muy grandes. ¿Es esto un error y el tamaño de los datos no importa, o la gente asocia el aprendizaje profundo con grandes conjuntos de datos porque eso es lo que se requiere para la capacitación?
Steven Sagona
Me gustaría señalar que esta "creencia" de que una red neuronal con solo 1 capa oculta puede calcular cualquier función está realmente demostrada (ver, por ejemplo, neuralnetworksanddeeplearning.com/chap4.html ). Creo que debería haber explicado un poco más por qué más de 1 capa oculta es "conveniente".
nbro
9

Una red neuronal profunda es solo una red neuronal (de avance) con muchas capas.

Sin embargo, las redes de creencias profundas, las redes de Deep Boltzman, etc., no se consideran redes neuronales profundas (discutibles), ya que su topología es diferente (tienen redes no dirigidas en su topología).

Vea también esto: /stats//a/59854/84191 .

Dawny33
fuente