Error cuadrado medio versus error mínimo cuadrado, ¿cuál comparar conjuntos de datos?

Tengo 3 conjuntos de datos del mismo sistema. Pero para el primero, tengo 21 medidas. Para el segundo y el tercero solo tengo 9 medidas. Ahora hice un modelo usando estos 3 conjuntos de datos (3 modelos, 1 por conjunto de datos). Cuando quiero comparar el error entre estos dos conjuntos de datos. ¿Existe una clara ventaja al usar el MSE en lugar de la LSE (error de mínimos cuadrados). En internet no encuentro una respuesta clara para esto. ¿Cuáles son las principales ventajas?

Creo que está confundiendo cómo construir un modelo a partir de datos y cómo cuantificar la precisión de un modelo una vez que se construye.

Cuando desee construir un modelo (¿supongo que regresión lineal en su caso?), Generalmente usaría el método de error de mínimos cuadrados que minimiza la distancia euclidiana "total" entre una línea y los puntos de datos. Teóricamente, los coeficientes de esta línea se pueden encontrar usando cálculo, pero en la práctica, un algoritmo realizará un descenso de gradiente que es más rápido.

Una vez que tenga su modelo, desea evaluar sus rendimientos. Por lo tanto, en el caso de la regresión, puede ser bueno calcular una métrica que evalúe "qué tan lejos" está su modelo de los puntos de datos reales (o datos del conjunto de prueba si tiene uno) en promedio. ¡El MSE es una buena estimación que quizás quieras usar!

En resumen, tenga en cuenta que LSE es un método que crea un modelo y MSE es una métrica que evalúa el rendimiento de su modelo.

MSE (error cuadrático medio) es la media del error cuadrático, es decir, la diferencia entre el estimador y el estimado. MMSE (Minumum Mean Square Error) es un estimador que minimiza MSE. Por lo tanto, LSE y MMSE son comparables, ya que ambos son estimadores.LSE y MSE no son comparables como lo señala Anil. Existen algunas diferencias importantes entre MMSE y LSE, teóricamente.
MMSE es óptimo para todas las realizaciones del proceso, mientras que LSE es óptimo para los datos en sí. Esto se debe a que MMSE usa promedios de conjunto (expectativa) mientras que LSE usa promedio de tiempo.

Lo que significa prácticamente es: 1. Para MMSE, necesita conocer las propiedades estadísticas de segundo orden de los datos (correlación cruzada y autocorrelación), mientras que para LSE solo necesita los datos. La autocorrelación y la correlación cruzada es computacionalmente costosa y un cálculo preciso necesita muchos puntos de datos / experimentos. 2. Los coeficientes MMSE son óptimos para el proceso, por lo que es óptimo para todos los conjuntos de datos del proceso, mientras que LSE es óptimo solo para el conjunto de datos en particular. Los coeficientes LSE no seguirán siendo óptimos si cambia el conjunto de datos.

También tenga en cuenta que MMSE se acerca a LSE si el proceso es ergódico y el número de puntos de datos se aproxima al infinito.

Creo que la primera respuesta actual de Anil Narassiguin es engañosa. En la parte inferior dice: "LSE es un método que crea un modelo y MSE es una métrica que evalúa el rendimiento de su modelo".

Esto simplemente no es cierto. Básicamente, ambas son funciones de pérdida / costo . Ambos calculan el error de las predicciones actuales mientras iteran para que los pesos puedan optimizarse.

Sin embargo, LSE se usa para problemas de clasificación, mientras que MSE se usa para problemas de regresión. Creo que esta es la principal diferencia entre estos dos, por lo que debe averiguar qué tipo de problema tiene, la regresión de la clasificación.