¿Libro de texto sobre la * teoría * de las redes neuronales / algoritmos ML?

Todos los libros de texto que he visto hasta ahora describen algoritmos de ML y cómo implementarlos.

¿Existe también un libro de texto que construya teoremas y pruebas del comportamiento de esos algoritmos? por ejemplo, que indica que bajo condiciones , de descenso de gradiente siempre dará lugar a ?$x,y,z$$A,B,C$

Fundamentos del aprendizaje automático , de Mehryar Mohri, Afshin Rostamizadeh y Ameet Talwalkar, es un libro de 2012 sobre teoría del aprendizaje automático.

Understanding Machine Learning: From Theory to Algorithms , de Shai Shalev-Shwartz y Shai Ben-David, es un libro similar de 2014 que es bastante conocido y tiene un objetivo un poco más introductorio que Mohri / Rostamizadeh / Talwalkar, pero aún tiene mucha teoría en eso. Está disponible gratuitamente en línea.

Aprendizaje de redes neuronales: fundamentos teóricos , de Martin Anthony y Peter Bartlett, es un libro de 1999 sobre la teoría de ML redactado como sobre redes neuronales, pero (para mi impresión no haberlo leído) se trata principalmente de la teoría de ML en general.

Estos tres libros toman principalmente el punto de vista predominante de la teoría del aprendizaje estadístico. También hay un punto de vista interesante llamado teoría del aprendizaje computacional , inspirado más en la teoría de la informática. Creo que el libro introductorio estándar en esta área es Una Introducción a la Teoría del Aprendizaje Computacional , un libro de 1994 de Michael Kearns y Umesh Vazirani.

Otro excelente y frecuentemente recomendado libro de libre acceso es Trevor Hastie, Robert Tibshirani y Jerome Friedman, la segunda edición de 2009 de The Elements of Statistical Learning . Es quizás un poco menos teórico que los otros, y más desde el punto de vista del estadístico que del aprendiz automático, pero aún tiene mucho interés.

Además, si le importa el descenso de gradiente en particular, la referencia estándar es la optimización convexa de Stephen Boyd y Lieven Vandenberghe. Este libro de 2004 está disponible gratuitamente en línea.

Ninguno de estos libros contiene mucho sobre la teoría moderna de las redes profundas, si eso es lo que te importa. (Por ejemplo, la mayor parte de la teoría de optimización tratará sobre casos convexos, que las redes profundas definitivamente no lo son). Esto se debe a que esta teoría es muy nueva; La mayoría de los resultados han llegado solo en los últimos años, y todavía se está resolviendo mucho. Pero, como una visión general de la comprensión básica del campo hasta el momento, cualquiera de ellos lo preparará bien para comprender los documentos en los que se realiza ese trabajo (excepto quizás Kearns / Vazirani, que se centra en diferentes aspectos del análisis que yo '' No estoy seguro de haber sido aplicado con éxito a redes profundas, todavía).

Aprendizaje automático: una perspectiva probabilística de Kevin P. Murphy explica mucha teoría desde una perspectiva bayesiana (solo la he usado para la regresión logística, pero pensé que era bastante buena). Todo el libro está disponible en línea como PDF al buscar en Google.

• Aprendizaje profundo (serie de computación adaptativa y aprendizaje automático) . Esto está escrito por Ian Goodfellow, Yoshua Bengio, Aaron Courville . Según el acuerdo del autor con MIT Press, puede leer la copia legalmente gratuita disponible en el navegador de este sitio web. www.deeplearningbook.org Esto es bueno para las matemáticas puras y la teoría de la red neuronal y sus diferentes subramas.

Además de esto,

• Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción también es un buen libro para construir bases teóricas y matemáticas en el aprendizaje automático tradicional. Esto está escrito por Trevor Hastie, Robert Tibshirani y Jerome Friedman y disponible de forma gratuita por los autores en https://web.stanford.edu/~hastie/ElemStatLearn/

Neural Network Design (Martin T. Hagan, Howard B. Demuth, Mark Hudson Beale, Orlando De Jesús) tiene una buena discusión sobre la optimización en el contexto de las redes neuronales.