Conceptos básicos de aprendizaje profundo

Estoy buscando un documento que detalle los conceptos básicos del aprendizaje profundo. Idealmente como el curso Andrew Ng para aprendizaje profundo. ¿Sabes dónde puedo encontrar esto?

Este enlace contiene una increíble cantidad de literatura de aprendizaje profundo. Resumiéndolo aquí (yendo en el orden que un principiante idealmente debería) - NOTA: Todos estos recursos usan principalmente python.

1) En primer lugar, se requiere un conocimiento básico del aprendizaje automático. Encontré que Aprendizaje de datos de Caltech es ideal para todos los cursos de aprendizaje automático disponibles en la red.

El curso Coursera de Andrew Ng también es bastante bueno.

2) Para las redes neuronales, nadie lo explica mejor que el Dr.Patrick Winston . Las tareas deben probarse para una mejor comprensión. Están en python.

3) Para una mejor comprensión de las redes neuronales, se debe hacer el curso de Michael Nielsen (como lo sugiere Alexey). Es bastante básico pero funciona.

4) Para redes neuronales profundas, e implementarlas más rápido en GPU, hay múltiples marcos disponibles, como Theano , Caffe , Pybrain , Torch , etc. De estos, Theano proporciona una mejor funcionalidad de bajo nivel que permite a sus usuarios crear NN personalizados. Es una biblioteca de Python, por lo que poder usar numpy, scikit-learn, matplotlib, scipy junto con ella es una gran ventaja. El tutorial de aprendizaje profundo escrito por Lisa Lab debe probarse para una mejor comprensión de theano.

5) Para Redes neuronales convolucionales, siga el tutorial de andrej karpathy .

6) Para el aprendizaje no supervisado, siga aquí y aquí .

7) Para una intersección de aprendizaje profundo y PNL, siga la clase de Richard Socher .

8) Para LSTM, lea Hochreiter, S. y Schmidhuber, J. (1997). Memoria a largo plazo a largo plazo. Cálculo neuronal, 9 (8), 1735-1780 y Graves, Alex. Etiquetado secuenciado supervisado con redes neuronales recurrentes. Vol. 385. Springer, 2012 .

Aquí está el código Theano de LSTM .

El tema es nuevo, por lo que la mayor parte de la sabiduría está dispersa en documentos, pero aquí hay dos libros recientes:

• Aprendizaje profundo , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Aprendizaje profundo: métodos y aplicaciones , Li Deng y Dong Yu.

Y algo de material práctico: http://deeplearning.net/tutorial/

• Tutorial de ACL 2012 + NAACL 2013: aprendizaje profundo para PNL (sin magia)

Redes neuronales y aprendizaje profundo por Michael Nielsen. El libro todavía está en progreso, pero parece bastante interesante y prometedor. ¡Y es gratis! Aquí está el enlace: http://neuralnetworksanddeeplearning.com/

Hasta ahora solo hay 5 capítulos, y la mayoría de ellos hablan de redes neuronales habituales, pero aún vale la pena echarle un vistazo.

Actualización: el libro ha sido terminado!

Referencias principales:

Cursos sobre aprendizaje profundo:

• El curso de Andrew Ng sobre aprendizaje automático tiene una buena sección introductoria sobre redes neuronales.
• Curso de Geoffrey Hinton: Redes neuronales de Coursera para el aprendizaje automático (otoño de 2012)
• Libro gratuito de Michael Nielsen Redes neuronales y aprendizaje profundo
• Yoshua Bengio, Ian Goodfellow y Aaron Courville escribieron un libro sobre aprendizaje profundo
• Curso de Hugo Larochelle (videos + diapositivas) en la Universidad de Sherbrooke
• Tutorial de Stanford (Andrew Ng et al.) Sobre aprendizaje de características no supervisadas y aprendizaje profundo
• Curso de Oxford ML 2014-2015
• Curso de aprendizaje profundo de NVIDIA (verano de 2015)
• Curso de aprendizaje profundo de Google sobre Udacity (enero de 2016)

Orientado a PNL:

• Stanford CS224d: Aprendizaje profundo para el procesamiento del lenguaje natural (primavera de 2015) por Richard Socher
• Tutorial impartido en NAACL HLT 2013: Aprendizaje profundo para el procesamiento del lenguaje natural (sin magia) (videos + diapositivas)

Orientado a la visión:

• CS231n Redes neuronales convolucionales para el reconocimiento visual por Andrej Karpathy (una versión anterior, más corta y menos pulida: la guía del pirata informático a las redes neuronales ).

Tutoriales específicos del kit de herramientas:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Aprendizaje automático con Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Curso de aprendizaje profundo de Nervana

También está la reciente tesis doctoral de Richard Socher sobre la intersección de la PNL y el aprendizaje profundo: aprendizaje profundo recursivo para el procesamiento del lenguaje natural y la visión por computadora

Para comprender la derivación del algoritmo de propagación hacia atrás, sugiero el video de YouTube Ryan Harris que es menos desalentador. También puede encontrar el segundo video.