¿Cuándo está un modelo poco equipado?

La lógica a menudo establece que al equipar un modelo de manera insuficiente, aumenta su capacidad de generalizar. Dicho esto, claramente en algún momento la falta de adecuación de un modelo hace que los modelos empeoren independientemente de la complejidad de los datos.

¿Cómo sabe cuándo su modelo ha alcanzado el equilibrio correcto y no está ajustando los datos que busca modelar?

Nota: Esta es una continuación de mi pregunta, " ¿Por qué es malo el sobreajuste? "

Un modelo se adapta cuando es demasiado simple con respecto a los datos que está tratando de modelar.

Una forma de detectar tal situación es usar el enfoque de sesgo-varianza , que puede representarse así:

Su modelo no está equipado cuando tiene un alto sesgo.

Para saber si tiene un sesgo demasiado alto o una varianza demasiado alta, puede ver el fenómeno en términos de errores de entrenamiento y prueba:

Alto sesgo: esta curva de aprendizaje muestra un alto error tanto en el entrenamiento como en los conjuntos de prueba, por lo que el algoritmo sufre un alto sesgo:

Gran varianza: esta curva de aprendizaje muestra una gran brecha entre los errores de entrenamiento y de conjunto de pruebas, por lo que el algoritmo sufre una gran varianza.

Si un algoritmo sufre una gran varianza:

• probablemente más datos ayudarán
• de lo contrario, reducir la complejidad del modelo

Si un algoritmo sufre un alto sesgo:

• aumentar la complejidad del modelo

Aconsejaría ver el curso Coursera 'Machine Learning , sección "10: Consejos para aplicar Machine Learning", del cual tomé los gráficos anteriores.

Para responder a su pregunta, es importante comprender el marco de referencia que está buscando, si está buscando lo que filosóficamente está tratando de lograr en el ajuste del modelo, consulte la respuesta de Rubens, que hace un buen trabajo al explicar ese contexto.

Sin embargo, en la práctica, su pregunta está casi completamente definida por los objetivos comerciales.

Para dar un ejemplo concreto, digamos que usted es un oficial de préstamos, emitió préstamos que son de $ 3,000 y cuando la gente le devuelve el dinero, usted gana $ 50. Naturalmente, está tratando de construir un modelo que prediga cómo si una persona no cumple con sus obligaciones. préstamo. Mantengamos esto simple y digamos que los resultados son pago completo o incumplimiento.

Desde una perspectiva empresarial, puede resumir el rendimiento de un modelo con una matriz de contingencia:

Cuando el modelo predice que alguien va a fallar, ¿verdad? Para determinar las desventajas de un ajuste excesivo o insuficiente, considero útil considerarlo como un problema de optimización, porque en cada sección transversal de los versos predichos, el rendimiento real del modelo tiene un costo o una ganancia:

En este ejemplo, predecir un incumplimiento que es un incumplimiento significa evitar cualquier riesgo, y predecir un incumplimiento que no lo hará generará $ 50 por préstamo emitido. Cuando las cosas se ponen difíciles es cuando estás equivocado, si fallas cuando predices no incumplimiento, pierdes todo el capital del préstamo y si predices incumplimiento cuando un cliente realmente no te haría sufrir $ 50 de oportunidad perdida. Los números aquí no son importantes, solo el enfoque.

Con este marco, ahora podemos comenzar a comprender las dificultades asociadas con el sobre y el bajo ajuste.

El ajuste excesivo en este caso significaría que su modelo funciona mucho mejor en sus datos de desarrollo / prueba que en la producción. O para decirlo de otra manera, su modelo en producción tendrá un rendimiento muy inferior al que vio en el desarrollo, esta falsa confianza probablemente le hará tomar préstamos mucho más riesgosos de lo que lo haría de otro modo y lo dejaría muy vulnerable a perder dinero.

Por otro lado, la falta de adecuación en este contexto te dejará con un modelo que simplemente hace un mal trabajo para igualar la realidad. Si bien los resultados de esto pueden ser muy impredecibles (la palabra opuesta a la que desea describir sus modelos predictivos), comúnmente lo que sucede es que los estándares se ajustan para compensar esto, lo que lleva a menos clientes en general que conducen a la pérdida de buenos clientes.

El ajuste insuficiente sufre una especie de dificultad opuesta que el ajuste excesivo, que está debajo del ajuste le da menos confianza. Insidiosamente, la falta de previsibilidad aún lo lleva a asumir riesgos inesperados, lo cual es una mala noticia.

En mi experiencia, la mejor manera de evitar ambas situaciones es validar su modelo en datos que están completamente fuera del alcance de sus datos de entrenamiento, para que pueda tener la confianza de que tiene una muestra representativa de lo que verá 'en la naturaleza '.

Además, siempre es una buena práctica revalidar sus modelos periódicamente, para determinar qué tan rápido se degrada su modelo y si todavía está logrando sus objetivos.

Solo para algunas cosas, su modelo está mal ajustado cuando hace un mal trabajo al predecir los datos de desarrollo y producción.

Los modelos no son más que abstracciones de lo que se ve en la vida real. Están diseñados para abstraer los detalles del sistema real en observación, mientras se mantiene la información suficiente para respaldar el análisis deseado.

Si un modelo está sobreajustado, tiene en cuenta demasiados detalles sobre lo que se está observando, y pequeños cambios en dicho objeto pueden hacer que el modelo pierda precisión. Por otro lado, si un modelo no está equipado, evalúa tan pocos atributos que se pueden ignorar los cambios notables en el objeto.

Tenga en cuenta también que el underfit puede verse como un overfit , dependiendo del conjunto de datos. Si su entrada puede clasificarse correctamente al 99% con un solo atributo, sobreajustará el modelo a los datos simplificando la abstracción a una sola característica. Y, en este caso, estaría generalizando demasiado el 1% de la base en la clase del 99%, o también especificando el modelo tanto que solo puede ver una clase.

Una forma razonable de decir que un modelo no se ha terminado o no está ajustado es mediante la validación cruzada. Divide su conjunto de datos en k partes y, por ejemplo, elija una de ellas para realizar su análisis, mientras usa las otras k - 1 partes para entrenar su modelo. Teniendo en cuenta que la entrada en sí no está sesgada, debería poder tener tanta variación de datos para entrenar y evaluar como la que tendría al usar el modelo en el procesamiento de la vida real.

Simplemente, un enfoque común es aumentar la complejidad del modelo, haciéndolo simple, y muy probablemente con un ajuste insuficiente al principio, y aumentando la complejidad del modelo hasta que se observen los primeros signos de sobreajuste utilizando una técnica de remuestreo como validación cruzada, bootstrap, etc.

Aumenta la complejidad ya sea agregando parámetros (número de neuronas ocultas para redes neuronales artificiales, número de árboles en un bosque aleatorio) o relajando el término de regularización (a menudo llamado lambda o C para máquinas de vectores de soporte) en su modelo.

CAPM (Modelo de fijación de precios de activos de capital) en Finanzas es un ejemplo clásico de un modelo de falta de equipamiento. Se basó en la hermosa teoría de que "los inversores solo pagan por el riesgo que no pueden diversificar", por lo que el exceso de rentabilidad esperado es igual a la correlación con la rentabilidad del mercado.

Como una fórmula [0] Ra = Rf + B (Rm - Rf) donde Ra es el rendimiento esperado del activo, Rf es la tasa libre de riesgo, Rm es la tasa de rendimiento del mercado y Beta es la correlación con la prima de Equity (Rm - Rf)

Esto es hermoso, elegante e incorrecto. Los inversores parecen requerir una tasa más alta de acciones pequeñas y valores (definidos por el libro al mercado, o el rendimiento de dividendos).

Fama y French [1] presentaron una actualización del modelo, que agrega Betas adicionales para Tamaño y Valor.

Entonces, ¿cómo lo sabes en un sentido general? Cuando las predicciones que está haciendo son incorrectas, y otra variable con una explicación lógica aumenta la calidad de la predicción. Es fácil entender por qué alguien podría pensar que las acciones pequeñas son riesgosas, independientes del riesgo no diversificable. Es una buena historia, respaldada por los datos.

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model