¿GLM es un modelo estadístico o de aprendizaje automático?

Pensé que el modelo lineal generalizado (GLM) se consideraría un modelo estadístico, pero un amigo me dijo que algunos documentos lo clasifican como una técnica de aprendizaje automático. ¿Cuál es verdadero (o más preciso)? Cualquier explicación sería apreciada.

Un GLM es absolutamente un modelo estadístico, pero los modelos estadísticos y las técnicas de aprendizaje automático no son mutuamente excluyentes. En general, la estadística se preocupa más por inferir parámetros, mientras que en el aprendizaje automático, la predicción es el objetivo final.

Con respecto a la predicción, las estadísticas y las ciencias del aprendizaje automático comenzaron a resolver principalmente el mismo problema desde diferentes perspectivas.

Básicamente, la estadística supone que los datos fueron producidos por un modelo estocástico dado. Entonces, desde una perspectiva estadística, se asume un modelo y, dado varios supuestos, se tratan los errores y se infieren los parámetros del modelo y otras preguntas.

El aprendizaje automático proviene de una perspectiva informática. Los modelos son algorítmicos y generalmente se requieren muy pocas suposiciones con respecto a los datos. Trabajamos con hipótesis de espacio y sesgo de aprendizaje. La mejor exposición del aprendizaje automático que encontré está contenida en el libro de Tom Mitchell llamado Machine Learning .

Para una idea más exhaustiva y completa sobre las dos culturas, puede leer el documento de Leo Breiman llamado Modelización estadística: las dos culturas

Sin embargo, lo que debe agregarse es que incluso si las dos ciencias comenzaron con perspectivas diferentes, ahora ambas comparten una buena cantidad de conocimientos y técnicas comunes. Por qué, porque los problemas eran los mismos, pero las herramientas eran diferentes. Así que ahora el aprendizaje automático se trata principalmente desde una perspectiva estadística (consulte el libro de Hastie, Tibshirani, Friedman Los elementos del aprendizaje estadístico desde el punto de vista del aprendizaje automático con un tratamiento estadístico, y quizás el libro de Kevin P. Murphy Machine Learning: A perspectiva probabilística , por nombrar solo algunos de los mejores libros disponibles en la actualidad).

Incluso la historia del desarrollo de este campo muestra los beneficios de esta fusión de perspectivas. Describiré dos eventos.

El primero es la creación de árboles CART, que fue creado por Breiman con una sólida base estadística. Aproximadamente al mismo tiempo, Quinlan desarrolló ID3, C45, See5, y así sucesivamente, un conjunto de árbol de decisiones con más experiencia en informática. Ahora, tanto estas familias de árboles como los métodos de conjunto como el embolsado y los bosques se vuelven bastante similares.

La segunda historia es sobre impulsar. Inicialmente fueron desarrollados por Freund y Shapire cuando descubrieron AdaBoost. Las opciones para diseñar AdaBoost se realizaron principalmente desde una perspectiva computacional. Incluso los autores no entendieron bien por qué funciona. Solo 5 años después, Breiman (¡otra vez!) Describió el modelo adaboost desde una perspectiva estadística y dio una explicación de por qué funciona. Desde entonces, varios científicos eminentes, con ambos tipos de antecedentes, desarrollaron aún más esas ideas que condujeron a una gran cantidad de algoritmos de refuerzo, como el aumento logístico, el aumento de gradiente, el aumento suave, etc. Ahora es difícil pensar en impulsar sin un fondo estadístico sólido.

Modelos lineales generalizados es un desarrollo estadístico. Sin embargo, los nuevos tratamientos bayesianos ponen este algoritmo también en el patio de juegos de aprendizaje automático. Así que creo que ambas afirmaciones podrían ser correctas, ya que la interpretación y el tratamiento de cómo funciona podrían ser diferentes.

Además de la respuesta de Ben, la distinción sutil entre los modelos estadísticos y los modelos de aprendizaje automático es que, en los modelos estadísticos, usted decide explícitamente la estructura de la ecuación de salida antes de construir el modelo. El modelo está construido para calcular los parámetros / coeficientes.

Tome el modelo lineal o GLM por ejemplo,

y = a1x1 + a2x2 + a3x3

Sus variables independientes son x1, x2, x3 y los coeficientes a determinar son a1, a2, a3. Defina su estructura de ecuaciones de esta manera antes de construir el modelo y calcule a1, a2, a3. Si crees que y de alguna manera está correlacionado con x2 de una manera no lineal, podrías intentar algo como esto.

y = a1x1 + a2(x2)^2 + a3x3.

Por lo tanto, coloca una restricción en términos de la estructura de salida. Los modelos estadísticamente inherentes son modelos lineales a menos que aplique explícitamente transformaciones como sigmoide o kernel para hacerlos no lineales (GLM y SVM).

En el caso de los modelos de aprendizaje automático, rara vez se especifica la estructura de salida y los algoritmos, como los árboles de decisión, son inherentemente no lineales y funcionan de manera eficiente.

Contrariamente a lo que señaló Ben, los modelos de aprendizaje automático no son solo de predicción, sino que también clasifican, regresan, etc., los cuales pueden usarse para hacer predicciones que también se realizan mediante varios modelos estadísticos.

GLM es absolutamente un modelo estadístico, mientras que más y más métodos estadísticos se han aplicado en la producción industrial como trucos de aprendizaje automático . El metanálisis que más leí durante estos días es un buen ejemplo en el campo estadístico.

Una aplicación industrial perfecta con GLM puede explicar por qué su amigo le dijo que GLM se consideraba como una técnica de aprendizaje automático . Puede consultar el documento fuente http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf sobre eso.

Implementé uno simplificado que se trató como el marco principal para mi sistema de recomendaciones en el escenario de producción hace unas semanas. Aprecio mucho si me das algunos consejos, y puedes consultar el código fuente: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Espero que esto te ayude, buen día!