¿Cómo interpretar el error cuadrático medio (RMSE) frente a la desviación estándar?

Digamos que tengo un modelo que me da valores proyectados. Calculo RMSE de esos valores. Y luego la desviación estándar de los valores reales.

¿Tiene algún sentido comparar esos dos valores (varianzas)? Lo que creo es que si RMSE y la desviación estándar son similares / iguales, entonces el error / varianza de mi modelo es el mismo que realmente está sucediendo. Pero si ni siquiera tiene sentido comparar esos valores, entonces esta conclusión podría estar equivocada. Si mi pensamiento es cierto, ¿significa eso que el modelo es tan bueno como puede ser porque no puede atribuir lo que está causando la variación? Creo que la última parte es probablemente incorrecta o al menos necesita más información para responder.

Digamos que nuestras respuestas son y nuestros valores predichos son .y 1 , ... , y$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

La varianza muestral (usando lugar de por simplicidad) es mientras que el MSE es . Por lo tanto, la varianza muestra muestra cuánto varían las respuestas en torno a la media, mientras que el MSE indica cuánto varían las respuestas en torno a nuestras predicciones. Si pensamos en la media global como el predictor más simple que jamás consideraríamos, al comparar el MSE con la varianza muestral de las respuestas podemos ver cuánta más variación hemos explicado con nuestro modelo. Esto es exactamente lo que hace el valor en regresión lineal.n - 1 $n$$n-1$$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ ˉ y R$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

Considere la siguiente imagen: La varianza muestral de es la variabilidad alrededor de la línea horizontal. Si proyectamos todos los datos en el eje , podemos ver esto. El MSE es la distancia cuadrática media a la línea de regresión, es decir, la variabilidad alrededor de la línea de regresión (es decir, ). Entonces, la variabilidad medida por la varianza de la muestra es la distancia cuadrática promedio a la línea horizontal, que podemos ver que es sustancialmente mayor que la distancia cuadrada promedio a la línea de regresión. Y y$y_i$$Y$$\hat y_i$

En caso de que esté hablando del error cuadrático medio de predicción, aquí puede ser: dependiendo de cuántos ( p ) parámetros se estimen para la predicción, es decir, la pérdida del grado de libertad (DF).

La varianza muestral puede ser: donde es simplemente un estimador de la media de .

Por lo tanto, puede considerar la última fórmula (varianza muestral) como un caso especial de la primera (MSE), donde y la pérdida de DF es 1 desde el cálculo medio es una estimación.$\hat{y}_i = \bar{y}$$\bar{y}$

O, si no le importa mucho cómo se predice , pero desea obtener un MSE de gran tamaño en su modelo, aún puede usar la siguiente fórmula para estimarlo, $\hat{y}_i$

cuál es el más fácil de calcular.

En ausencia de una mejor información, el valor medio de la variable objetivo puede considerarse una simple estimación de los valores de la variable objetivo, ya sea al intentar modelar los datos existentes o al predecir valores futuros. Este cálculo simple de la variable objetivo (es decir, los valores pronosticados son todos iguales a la media de la variable objetivo) se desactivará por un cierto error. Una forma estándar de medir el error promedio es la desviación estándar (SD) , , ya que la SD tiene la buena propiedad de ajustar una distribución en forma de campana (gaussiana) si la variable objetivo se distribuye normalmente. Por lo tanto, la SD puede considerarse la cantidad de error que ocurre naturalmente en las estimaciones de la variable objetivo.$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$Esto lo convierte en el punto de referencia que cualquier modelo necesita tratar de superar.

Hay varias formas de medir el error de una estimación del modelo ; entre ellos, el error cuadrático medio (RMSE) que mencionó, , es uno de los más popular. Conceptualmente es bastante similar a la SD: en lugar de medir qué tan lejos está un valor real de la media, utiliza esencialmente la misma fórmula para medir qué tan lejos está un valor real de la predicción del modelo para ese valor. Un buen modelo debería, en promedio, tener mejores predicciones que la estimación ingenua de la media para todas las predicciones. Por lo tanto, la medida de variación (RMSE) debería reducir la aleatoriedad mejor que la DE.$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Este argumento se aplica a otras medidas de error, no solo a RMSE, sino que el RMSE es particularmente atractivo para la comparación directa con el SD porque sus fórmulas matemáticas son análogas.