Antecedentes matemáticos para redes neuronales.

11

No estoy seguro de si esto es apropiado para este sitio, pero estoy comenzando mi MSE en ciencias de la computación (BS en matemáticas aplicadas) y quiero obtener una sólida formación en aprendizaje automático (lo más probable es que busque un doctorado). Uno de mis intereses secundarios son las redes neuronales.

¿Cuál es un buen fondo matemático para los ANN? Al igual que en otras áreas del aprendizaje automático, supongo que el álgebra lineal es importante, pero ¿qué otras áreas de las matemáticas son importantes?

Planeo leer Redes neuronales: una introducción sistemática o Redes neuronales para el reconocimiento de patrones . ¿Alguien tiene alguna entrada o recomendaciones alternativas?

Steve P.
fuente

Respuestas:

10

La segunda referencia que da es, en mi opinión, sigue siendo el mejor libro sobre NN, a pesar de que puede estar un poco desactualizado y no trata con desarrollos más recientes como arquitecturas profundas. Obtendrá los conceptos básicos correctos y se familiarizará con todos los conceptos básicos relacionados con el aprendizaje automático.

Si revisa el libro, necesitará álgebra lineal, cálculo multivariado y nociones básicas de estadística (probabilidades condicionales, teorema de Bayes y estar familiarizado con las distribuciones binomiales). En algunos puntos se trata de cálculos de variaciones. Sin embargo, el apéndice sobre el cálculo de las variaciones debería ser suficiente.

jpmuc
fuente
Eso es lo que terminé siguiendo después de un montón de recomendaciones, estaba muy indeciso porque el libro de Bishop sobre aprendizaje automático, aunque anunciado por algunos, se supone que es un libro muy difícil de aprender si aún no lo sabes .
Steve P.
5

El componente matemático probablemente incluiría álgebra avanzada, trigonometría, álgebra lineal y cálculo como mínimo.

Pero también piense fuera de la caja. También son necesarias buenas habilidades de programación, incluidas bases sólidas en algoritmos (Coursera tiene dos cursos sobre algoritmos) y dominio de MatLab, Octave o R (y con un lenguaje de programación flexible como Java, C / C ++ o Python). Menciono esto en respuesta a su pregunta porque en mi opinión son más habilidades de "matemática aplicada" y son fundamentales para traducir entre la teoría y las implementaciones aplicadas.

He tomado varios cursos de Coursera relacionados con el aprendizaje automático (y estoy de acuerdo con otro póster de que el aprendizaje automático del profesor Ng es fantástico) y NN. Hace unos meses, Coursera organizó un curso de redes neuronales (no estoy seguro si todavía está disponible) a través de la Universidad de Toronto y Geoffrey Hinton. Un curso excelente y exigente: conocimiento de cálculo, dominio de Octave (un clon de código abierto similar a MatLab), buen diseño algorítmico (para escalabilidad) y álgebra lineal.

También puede (aunque no sea matemática per se), pensar en temas como el procesamiento del lenguaje natural (para extracción de características, etc.), recuperación de información, estadística / teoría de la probabilidad, así como otras áreas del aprendizaje automático (para obtener más teoría). Los textos recientes como Fundamentos del aprendizaje automático (Mohri) o Introducción al aprendizaje automático (Alpaydin) pueden serle útiles para reducir la complejidad de la teoría a la implementación (solo en mi opinión, esto puede ser un gran salto), y ambos los textos son muy pesados ​​en matemáticas, especialmente los fundamentos.

Una vez más, creo que todo se relaciona con las matemáticas y NN, pero en un sentido más amplio.

SaB
fuente
Gracias. Me especialicé en matemática aplicada como estudiante universitario (y tengo una amplia experiencia en programación), así que tengo todo eso, excepto un curso riguroso de álgebra abstracta, que me estoy enseñando ... Terminé con Neural Networks for Pattern Reconocimiento, por parte de Bishop. Para cualquiera que esté interesado, lo recomiendo encarecidamente ...
Steve P.
2

Un libro muy bueno (no realmente introductorio, pero no supone un conocimiento previo en redes neuronales) es Brian Ripley: "Reconocimiento de patrones y redes neuronales", que diría que contiene gran parte de sus preliminares. Con una licenciatura en matemáticas aplicadas, debe estar preparado.

kjetil b halvorsen
fuente
2

El tema PRINCIPAL es estadística

cálculo multivariable

álgebra lineal numérica (matrices dispersas, etc.) optimización numérica (descenso de gradiente, etc., programación cuadrática)

es posible que desee leer sobre los procesos gaussianos y las matemáticas requeridas allí, intente hacer algunas clases de procesamiento de imágenes / procesamiento de lenguaje natural

seanv507
fuente
Realmente estoy tomando un curso de PNL en el otoño.
Steve P.