Introducción al aprendizaje automático para matemáticos.

23

En cierto sentido, esta es una publicación cruzada mía de math.stackexchange , y tengo la sensación de que este sitio podría proporcionar una amplia audiencia.

Estoy buscando una introducción matemática al aprendizaje automático. Particularmente, mucha literatura que se puede encontrar es relativamente imprecisa y se gastan muchas páginas sin ningún contenido.

Sin embargo, a partir de dicha literatura, descubrí los cursos de Coursera de Andrew Ng, el libro de Bishop sobre reconocimiento de patrones y finalmente un libro de Smola. Desafortunadamente, el libro de Smola solo está en borrador. En el libro de Smola, incluso se pueden encontrar pruebas, lo que me atrae. El libro de Bishop ya es bastante bueno, pero falta una cierta cantidad de rigor.

En resumen: estoy buscando un libro como el de Smola, es decir, lo más preciso y riguroso posible y utiliza antecedentes matemáticos (aunque las presentaciones breves son, por supuesto, correctas).

¿Alguna recomendación?

machine-learning references pac-learning Quickbeam2k1
fuente
1
En el futuro, por favor no haga crosspost.
Momo
Parece que la pregunta no está terminada, se interrumpe después de "y".
JW
lo siento, de alguna manera mi edición desapareció.
Quickbeam2k1
1
es posible que desee explicar por qué un matemático quiere aprender sobre el aprendizaje automático (para encontrar un trabajo como científico de datos / para hacer investigaciones / etc.) que ayudará a las personas a
orientarlo
1
para la ciencia de datos, diría que necesita una comprensión estadística básica (por ejemplo, regresión lineal / logística), diseño experimental, por ejemplo, pruebas de ab, etc., y además una comprensión de las técnicas del sistema de recomendación
seanv507

Respuestas:

9

Por lo que describe, le recomiendo "Fundamentos del aprendizaje automático" de Mohri et.al. Es un texto de pregrado, pero es para muy buenos estudiantes de pregrado. Es legible y es el único lugar donde he encontrado lo que llamaría una definición matemática de aprendizaje automático (pac y pac débil). Vale la pena leer solo por esa razón. También tengo un doctorado en matemáticas. Conozco y me gustan muchos de los libros mencionados anteriormente. Soy particularmente aficionado a ESL por un amplio espectro de técnicas e ideas, pero es un libro de estadísticas con muchas matemáticas.

meh
fuente
1
Por cierto, me dijeron que Schapire, en su tesis demostró que el PAC débil implica PAC. Su prueba equivale a la técnica de refuerzo, por lo que es un buen ejemplo de cómo una pregunta teórica condujo a un resultado muy práctico.
meh
Gracias por sus comentarios. Creo que trabajaré con ESL más tarde después de trabajar con los libros de Mohri y Shalev-Shwartz
Quickbeam2k1
12

Recomendaría Elementos de aprendizaje estadístico (archivo PDF gratuito). Tiene suficientes matemáticas y una buena introducción a todas las técnicas relevantes, junto con algunas ideas sobre por qué funcionan las técnicas (y cuándo no).

También Introducción al aprendizaje estadístico (que es más práctico: cómo hacerlo en R ). Tiene un curso de aprendizaje estadístico ; Puede encontrar las conferencias en YouTube (y nuevamente en PDF gratuito).

seanv507
fuente
3
Esa es una muy buena recomendación. Además de esto, sugiero "Aprender de los datos" de Yaser S. Abu-Mostafa. Es muy teórico pero explica muy claramente temas como la viabilidad del aprendizaje y la dimensión de CV. Hay videos y diapositivas disponibles en línea .
tiagotvv
Secundo la sugerencia "Aprendiendo de los datos" de Yaser S. Abu-Mostafa. El libro es muy corto pero está lleno de información valiosa. De hecho, se pone mucho énfasis en la viabilidad del aprendizaje y la complejidad.
Vladislavs Dovgalecs
7

Probablemente te gustará Learning With Kernels de Schölkopf y Smola. La mayor parte del trabajo de Schölkopf es matemáticamente riguroso.

Dicho esto, probablemente sea mejor leer trabajos de investigación en lugar de libros de texto. Los trabajos de investigación contienen derivaciones completas y pruebas de convergencia, límites en el rendimiento, etc. que a menudo no se incluyen en los libros de texto. Un buen lugar para comenzar es el Journal of Machine Learning , que es muy apreciado y tiene un acceso totalmente abierto. También recomiendo las actas de conferencias como ICML , NIPS , COLT e IJCNN .

Peter Mortensen
fuente
Gracias por las pistas con el diario. Sin embargo, me temo que las revistas son, hasta ahora, demasiado avanzadas para mí. Sin embargo, esta migración será una fuente valiosa para el futuro.
Quickbeam2k1