Estadísticas para el aprendizaje automático, documentos para comenzar?

10

Tengo experiencia en programación de computadoras y teoría elemental de números, pero no tengo entrenamiento en estadísticas reales, y recientemente he "descubierto" que el asombroso mundo de toda una gama de técnicas es en realidad un mundo estadístico. Parece que las factorizaciones de matrices, la terminación de matrices, los tensores de alta dimensión, las incrustaciones, la estimación de densidad, la inferencia bayesiana, las particiones de Markov, el cálculo de vectores propios, el PageRank son técnicas altamente estadísticas, y que los algoritmos de aprendizaje automático que usan tales cosas, usan muchas estadísticas .

Mi objetivo es poder leer documentos que discutan tales cosas e implementar o crear los algoritmos, al tiempo que entiendo la notación, las "pruebas" y los argumentos estadísticos utilizados. Supongo que lo más difícil es seguir todas las pruebas que involucran matrices.

¿Qué documentos básicos pueden ayudarme a comenzar? ¿O un buen libro de texto con ejercicios por los que valga la pena trabajar?

Específicamente, algunos documentos que me gustaría entender completamente son:

  1. Finalización exacta de la matriz a través de la optimización convexa, Candes, Recht, 2008
  2. La transformación rápida de Cauchy y la regresión lineal más rápida y robusta, Clarkson et al, 2013
  3. Proyecciones aleatorias para máquinas de vectores de soporte, Paul et al, 2013
  4. Estimación de probabilidad de alta dimensión con modelos de densidad profunda, Rippel, Adams, 2013
  5. Obtención de estimaciones de minimización de errores y límites universales de errores de entrada sabios para la finalización de la matriz de bajo rango, Király, Theran, 2013
machine-learning estimation Cris Stringfellow
fuente
1
¿Ya está familiarizado con las matrices, por ejemplo, a través de un curso de álgebra lineal aplicada, o es eso parte de lo que está buscando aprender? Diría que la primera mitad de la lista que dio son temas que son importantes en estadística más que una técnica altamente estadística (lo que me parece que va en la dirección opuesta). Aquí hay varias preguntas sobre libros recomendados para aprender el aprendizaje automático estadístico. Le sugiero que proporcione un ejemplo o dos de documentos específicos que haya encontrado y que le gustaría entender; eso ayudará a enfocar mejor las respuestas que recibe.
cardenal
2
Sí, estoy familiarizado con las matrices, a través del álgebra lineal y con los conceptos de espacio vectorial, base, normas, pero no entiendo completamente cosas como la factorización LU, aunque tengo bastante claro acerca de la ortogonalización de Gram-Schmidt y el algoritmo QR no optimizado. no está completamente claro por qué funcionan. Además, no entiendo cómo las personas pueden derivar los vectores propios de una matriz aleatoria sin realizar un algoritmo de vector propio en ella.
Cris Stringfellow

Respuestas:

2

Recomendaría el curso Andrew Ngs Machine Learning en Coursera, tiene una cobertura brillante en todos los aspectos básicos. Si está estudiando algo que ver con modelos gráficos probabilísticos, el curso de Daphne Kollers también sería bueno.

Este es un tesoro para los recursos de autoaprendizaje también http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Las conferencias de Herb Grossman son increíbles.

También me recomendaron este libro https://www.openintro.org/stat/textbook.php ya que siempre estoy aprendiendo y las estadísticas no son mi fondo.

Sin embargo, mis dos centavos se refieren al lado matemático de las cosas y los papeles, no es que te pongas demasiado atrapado en las matemáticas de fondo. Aprenda los conceptos básicos y haga referencia a los documentos en los que se basan esos documentos que mencionó y vea si son más fáciles (tal vez tendrá que retroceder algunos documentos para obtener algo que pueda entender, es lo que hago yo mismo). diferentes elementos de matemáticas en ML y es fácil dejarse atrapar por una madriguera de conejo (¡otra vez, algo que he hecho más de una vez!).

¡Mucha suerte, es un campo realmente interesante!

Jim
fuente