¿De dónde viene el término "aprender un modelo"?

10

A menudo escuché que los mineros de datos aquí usan este término. Como estadístico que ha trabajado en problemas de clasificación, estoy familiarizado con el término "entrenar a un clasificador" y supongo que "aprender un modelo" significa lo mismo. No me importa el término "entrenar a un clasificador". Eso parece representar la idea de ajustar un modelo a medida que los datos de entrenamiento se utilizan para obtener estimaciones buenas o "mejoradas" de los parámetros del modelo. Pero el aprender significa ganar conocimiento. En inglés simple "aprender un modelo" significaría saber qué es. Pero, de hecho, nunca "conocemos" el modelo. Los modelos se aproximan a la realidad pero ningún modelo es correcto. Es como Box dijo "Ningún modelo es correcto pero algunos son útiles".

Me interesaría escuchar la respuesta de los mineros de datos. ¿Cómo se originó el término? Si lo usas, ¿por qué te gusta?

Michael R. Chernick
fuente
La parte divertida es que "aprender un modelo" significa a lo sumo "memorizar todos sus parámetros" más o menos, por lo tanto, es incorrecto incluso si no discutirá si "aprender" es una buena palabra aquí. En mi lenguaje (pl), la nomenclatura oficial es "enseñar un modelo", aunque "aprendizaje automático" se llama "aprendizaje automático" en lugar de "enseñanza automática".
Barra lateral: ¿Tiene una referencia para la cita de Box?
entropía el

Respuestas:

8

Sospecho que sus orígenes se encuentran en la comunidad de investigación de redes neuronales artificiales, donde se puede pensar que la red neuronal aprende un modelo de los datos mediante la modificación de pesos sinápticos de una manera similar a la que ocurre en el cerebro humano a medida que nosotros mismos aprendemos de experiencia. Mi carrera investigadora comenzó en redes neuronales artificiales, así que a veces uso la frase.

Quizás tenga más sentido si piensa que el modelo está codificado en los parámetros del modelo, en lugar de la ecuación, de la misma manera que un modelo mental no es un componente físico identificable del cerebro tanto como un conjunto de parámetros ajustes para algunas de nuestras neuronas.

¡Tenga en cuenta que tampoco hay implicación de que un modelo mental sea necesariamente correcto!

Dikran Marsupial
fuente
1
Mi líder de estudio y yo tuvimos esta discusión, y publiqué una pregunta relacionada con esta discusión aquí stats.stackexchange.com/questions/43559/… . Llegué a comprender que el ajuste del modelo, la capacitación, la estimación y el aprendizaje solo significan la aplicación de algún método de optimización para encontrar los mejores parámetros que definen un modelo de una forma específica.
entropía el
6

El término es bastante antiguo en inteligencia artificial. Turing dedicó una larga sección sobre "Máquinas de aprendizaje" en su artículo de 1950 Mecánica informática e inteligencia en mente , y esboza cualitativamente el aprendizaje supervisado. El artículo original de Rosenblatt: The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain , de 1958, habla ampliamente sobre un "Modelo matemático de aprendizaje". Aquí el perceptrón era un "modelo de aprendizaje"; los modelos no fueron "aprendidos".

El artículo de Pitts y McCullough de 1943, el documento original de "redes neuronales", no estaba realmente preocupado por el aprendizaje, más cómo se podía construir un cálculo lógico (como un sistema Hilbert o Gentzen, pero creo que se refieren a Russell / Whitehead) que podría realizar inferencia. Creo que fue el documento "Perceptrons" el que introdujo una noción numérica, en lugar de simbólica, de aprendizaje en esta tradición.

¿Es posible que una máquina aprenda a jugar ajedrez solo con ejemplos? Si. ¿Tiene un modelo para jugar ajedrez? Si. ¿Es el modelo óptimo (suponiendo que haya uno)? Casi seguro que no. En inglés simple, he "aprendido ajedrez" si puedo jugar al ajedrez bien, o tal vez bastante bien. No significa que soy el jugador de ajedrez óptimo. Este es el sentido en el que Turing describía el "aprendizaje" cuando hablaba de aprender ajedrez en su artículo.

Soy muy inconsistente con el término que uso. Entonces (por ejemplo) para aprender en el límite diría "identificar", para aprender SVM diría "entrenar", pero para MCMC- "aprender" diría "optimizar". Y, por ejemplo, simplemente llamo regresión "regresión".

Patrick Caldon
fuente
Mi pregunta no era sobre el uso del término aprendizaje en la clasificación, sino más bien la frase "aprender un modelo". El aprendizaje automático es muy familiar, pero "aprender un modelo" es una frase que escuché por primera vez aquí en este sitio.
Michael R. Chernick
He añadido un pequeño comentario allí, pero tienes razón, esta no es una gran respuesta, he apuntado a aprender sin mucha discusión sobre "modelo". Veré si puedo recordar algo hoy, pero podría eliminarlo esta noche si no se me ocurre nada.
Patrick Caldon
Iba a eliminar esta respuesta, ¡pero claramente a algunas personas les gusta! Supongo que es una pequeña sinopsis razonable de dónde proviene el término "aprendizaje" en este contexto.
Patrick Caldon el
+1 Estoy dando un voto positivo porque, aunque un poco fuera del punto de la pregunta, está relacionado e interesante y obtuve 3 votos positivos. Mantenlo adentro.
Michael R. Chernick
2

Como investigador en Bioplausible Machine Learning, estoy totalmente de acuerdo en que "ningún modelo es correcto pero algunos son útiles", y de hecho, los modelos y formalismos tienen el gran defecto que usan los autores que hablan sobre la optimización del problema, cuando lo que están haciendo está optimizando un modelo, es decir, explorando su espacio de parámetros y encontrando un óptimo local o con suerte global. Esto no es en general un óptimo para el problema real . Mientras que el creador de un modelo normalmente usa la terminología correcta y expone todos los supuestos, la mayoría de los usuarios pasan por alto los supuestos, que a menudo se sabe que no son válidos, y también usan un lenguaje menos preciso sobre "aprendizaje" y "optimización" y " parametrización ".

Creo que esta parametrización óptima de un modelo es lo que la gente quiere decir en Machine Learning, particularmente en Machine Learning supervisado, aunque no puedo decir que he escuchado mucho "aprender un modelo", pero ocurre, y mientras que la persona entrena el modelo, la computadora aprende los parámetros del modelo. Incluso en el aprendizaje no supervisado, el "aprendizaje" a menudo es simplemente la parametrización de un modelo, y es de esperar que "aprender un modelo" sea, por lo tanto, la parametrización óptima de un modelo (aunque a menudo las diferentes formas de buscar en el espacio de parámetros encuentran diferentes soluciones aunque puedan probarse para optimizar lo mismo). Prefiero usar "entrenar a un modelo"

De hecho, la mayor parte de mi investigación se trata de aprender el modelo en términos de descubrir un modelo mejor, o un modelo más computacional y cognitivo / biológico / ecológicamente plausible.

David MW Powers
fuente