¿Qué es el error estándar residual?

Cuando se ejecuta un modelo de regresión múltiple en R, una de las salidas es un error estándar residual de 0.0589 en 95,161 grados de libertad. Sé que los 95,161 grados de libertad están dados por la diferencia entre el número de observaciones en mi muestra y el número de variables en mi modelo. ¿Cuál es el error estándar residual?

Un modelo de regresión ajustado utiliza los parámetros para generar predicciones de estimación puntual, que son el medio de las respuestas observadas si tuviera que replicar el estudio con los mismos valores de un número infinito de veces (y cuando el modelo lineal es verdadero). La diferencia entre estos valores pronosticados y los utilizados para ajustar el modelo se denominan "residuos" que, al replicar el proceso de recopilación de datos, tienen propiedades de variables aleatorias con 0 medias.$X$

Los residuos observados se utilizan para estimar posteriormente la variabilidad en estos valores y para estimar la distribución de muestreo de los parámetros. Cuando el error estándar residual es exactamente 0, el modelo se ajusta perfectamente a los datos (probablemente debido al sobreajuste). Si no se puede demostrar que el error estándar residual sea significativamente diferente de la variabilidad en la respuesta incondicional, entonces hay poca evidencia que sugiera que el modelo lineal tenga alguna capacidad predictiva.

Digamos que tenemos la siguiente tabla ANOVA (adaptada del example(aov)comando de R ):

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57               

Si divide la suma de cuadrados de cualquier fuente de variación (modelo o residuos) por sus respectivos grados de libertad, obtendrá el cuadrado medio. Particularmente para los residuos:

Entonces 76.57 es el cuadrado medio de los residuos, es decir, la cantidad de variación residual (después de aplicar el modelo) en su variable de respuesta.

El error estándar residual que ha preguntado no es más que la raíz cuadrada positiva del error cuadrado medio . En mi ejemplo, el error estándar residual sería igual a , o aproximadamente 8.75. R generaría esta información como "8.75 en 4 grados de libertad".$\sqrt{76.57}$

$\beta_{0}$$\beta_{1}$$\epsilon$$\epsilon$

RSE se explica con bastante claridad en "Introducción al aprendizaje estadístico".