Recurso / libro para avances recientes en la teoría del aprendizaje estadístico

Estoy bastante familiarizado con la teoría detrás de VC-Dimension, pero ahora estoy mirando los avances recientes (últimos 10 años) en la teoría del aprendizaje estadístico: promedios (locales) Rademacher, Lema de clase finita de Massart, Números de cobertura, Encadenamiento, Dudley Teorema, pseudodimensión, dimensión de rotura de grasa, números de embalaje, composición de Rademacher, y posiblemente otros resultados / herramientas que no conozco.

¿Existe un sitio web, una encuesta, una colección de artículos o, lo mejor de todo, un libro que cubra estos temas?

Alternativamente, estoy viendo ejemplos de cómo vincular el promedio de Rademacher para clases simples, de la misma manera que las personas usan rectángulos alineados por eje para mostrar cómo vincular la dimensión VC.

Gracias por adelantado.

Creo que disfrutarías de la Teoría de la clasificación: una encuesta de avances recientespor Boucheron, Bousquet y Lugosi. En particular, comienza construyendo la teoría básica de generalización a través de las complejidades de Rademacher, presenta algunas herramientas útiles (como el principio de contracción, cuya prueba puede rastrear en las notas de Shai y Shai a las que Ashwinkumar hace referencia en la respuesta, pero (¿creo?) Se origina en el Libro de probabilidad de Ledoux & Talagrand, que no es gratuito), y los aplica a los métodos de clasificación estándar (se discuten las máquinas de refuerzo y de vectores de soporte, tanto por su popularidad como por su capacitación a través de ERM). Este texto data de 2005, por lo que también tiene algunos de los otros temas recientes que mencionó, por ejemplo, las complejidades locales de Rademacher, e incluso hay un pequeño tapón para encadenar. Por último, si bien el manuscrito es bastante corto,

Algunos de los otros temas que menciona son lo suficientemente antiguos como para estar en "Una teoría probabilística del reconocimiento de patrones" de Devroye, Györfi y Lugosi (en particular, tiene más información sobre el embalaje que cualquier otro texto que conozca). Aunque carece de algunos de los temas más nuevos que menciona, este es un libro estándar que todos los que he conocido en la teoría del aprendizaje han llevado a sus estantes. Tal vez intente ubicar una tabla de contenido e índice para el libro y hojearlo.

Algunos de los otros temas que menciona no los he visto tratados exhaustivamente en un libro, pero han aparecido en varias notas del curso. Por ejemplo, si va a la página de Sham Kakade en UPenn , encontrará enlaces a dos cursos de teoría del aprendizaje (uno fue en TTI-C, con Ambuj Tewari), y verá que los enlaces de temas coinciden con algunas de las cosas que ha discutido , y no he aparecido en mis respuestas ni en ningún otro lado. Hay muchos buenos cursos en varias escuelas; Avrim Blum tiene notas excelentes y extremadamente legibles para su curso de teoría de aprendizaje (¡su análisis de winnow es el más corto, limpio e intuitivo que he visto!).

Sin embargo, algunos de estos son quizás demasiado nuevos, y tendrá que ir al material de origen. Pero si realmente solo está tratando de adquirir una gran cantidad de técnicas, creo que la encuesta en la parte superior y las conferencias a un par de clases de teoría de aprendizaje le ayudarán mucho.

Además, parece que está buscando textos avanzados, pero también me gustaría conectar dos textos introductorios que la gente disfruta mucho. Una es "una introducción a la teoría del aprendizaje computacional", de Kearns y (U.) Vazirani, que aunque antigua (por ejemplo, el refuerzo se presenta solo a través de la construcción original de Robert Schapire, y el énfasis está en el PAC en lugar del aprendizaje agnóstico), es Se presenta bien y tiene buena intuición. Personalmente, obtuve mis conceptos básicos en Introducción a la teoría del aprendizaje estadístico , por los mismos autores que en la encuesta anterior (pero que aparecen en el orden Bousquet, Boucheron, Lugosi?); tiene una buena exposición y fue la primera vez que la teoría de la generalización realmente comenzó a hacer clic para mí.

Este fue un curso recientemente enseñado. http://www.cs.huji.ac.il/~shais/Handouts.pdf . No lo he leído cuidadosamente, pero el capítulo 7 tiene material sobre las complejidades de Rademacher. Espero eso ayude.

El libro de Cesa-Bianchi y Lugosi tiene muchos de los aspectos modernos de los límites de generalización y la teoría del aprendizaje.