¿Evaluar el rendimiento de un modelo de regresión utilizando conjuntos de entrenamiento y prueba?

10

A menudo escucho sobre la evaluación del desempeño de un modelo de clasificación extendiendo el conjunto de prueba y entrenando un modelo en el conjunto de entrenamiento. Luego crea 2 vectores, uno para los valores predichos y otro para los valores verdaderos. Obviamente, hacer una comparación le permite a uno juzgar el rendimiento del modelo por su poder predictivo utilizando cosas como F-Score, Kappa Statistic, Precision & Recall, curvas ROC, etc.

¿Cómo se compara esto con la evaluación de predicciones numéricas como la regresión? Supongo que podría entrenar el modelo de regresión en el conjunto de entrenamiento, usarlo para predecir valores, luego comparar estos valores pronosticados con los valores reales que se encuentran en el conjunto de prueba. Obviamente, las medidas de rendimiento tendrían que ser diferentes ya que esta no es una tarea de clasificación. Los residuales habituales y las estadísticas son medidas obvias, pero ¿hay más / mejores formas de evaluar el rendimiento de los modelos de regresión? Parece que la clasificación tiene muchas opciones, pero la regresión se deja a y residuales.R2R2

StatTime
fuente
1
No estoy seguro exactamente qué pregunta está haciendo, pero una métrica de error obvia para un modelo de regresión con un resultado continuo es el error cuadrático medio (MSE) entre el resultado del modelo y la variable de resultado.
BGreene
Entonces, solo una medida de error entre lo real y lo previsto.
StatTime
Sí, optimizado en el conjunto de entrenamiento y validado con el conjunto de prueba.
BGreene

Respuestas:

2

Como se dijo, típicamente, se usa el error cuadrático medio. Calcula su modelo de regresión en función de su conjunto de entrenamiento y evalúa su rendimiento utilizando un conjunto de prueba separado (un conjunto de entradas xy salidas pronosticadas conocidas y) calculando el MSE entre las salidas del conjunto de prueba (y) y las salidas dadas por el modelo (f (x)) para las mismas entradas dadas (x).

Alternativamente, puede utilizar las siguientes métricas: error cuadrático medio, error cuadrático relativo, error absoluto medio, error absoluto relativo ... (solicite definiciones en google)

Merima Kulin
fuente
Buena respuesta. Todos estos están asociados con el segundo momento de la distribución. También puede ver la suma de las diferencias si está tratando de eliminar el sesgo, o usar cualquier combinación que desee. Por ejemplo, donde A y B son los pesos elegidos para cada método de puntuación. Realmente dependerá de qué factores son importantes para su problema específico. err=A(xxi)+B(xxi)2
Greg Petersen