Me gustaría obtener una comprensión conceptual del error cuadrático medio (RMSE) y la desviación media del sesgo (MBD). Después de calcular estas medidas para mis propias comparaciones de datos, a menudo me he quedado perplejo al descubrir que el RMSE es alto (por ejemplo, 100 kg), mientras que el MBD es bajo (por ejemplo, menos del 1%).
Más específicamente, estoy buscando una referencia (no en línea) que enumere y discuta las matemáticas de estas medidas. ¿Cuál es la forma normalmente aceptada de calcular estas dos medidas y cómo debo informarlas en un artículo de revista?
Sería realmente útil en el contexto de esta publicación tener un conjunto de datos de "juguete" que pueda usarse para describir el cálculo de estas dos medidas.
Por ejemplo, supongamos que debo encontrar la masa (en kg) de 200 widgets producidos por una línea de ensamblaje. También tengo un modelo matemático que intentará predecir la masa de estos widgets. El modelo no tiene que ser empírico, y puede estar basado físicamente. Calculo el RMSE y el MBD entre las mediciones reales y el modelo, encontrando que el RMSE es de 100 kg y el MBD es del 1%. ¿Qué significa esto conceptualmente y cómo interpretaría este resultado?
Ahora suponga que, a partir del resultado de este experimento, encuentro que el RMSE es de 10 kg y el MBD es del 80%. ¿Qué significa esto y qué puedo decir sobre este experimento?
¿Cuál es el significado de estas medidas y qué implican las dos (en conjunto)? ¿Qué información adicional proporciona el MBD cuando se considera con el RMSE?
fuente
Respuestas:
Creo que estos conceptos son fáciles de explicar. Prefiero describirlo aquí. Estoy seguro de que muchos libros de estadísticas elementales cubren esto, incluido mi libro "Los fundamentos de la bioestadística para médicos, enfermeras y médicos".
Piense en un objetivo con una diana en el medio. El error cuadrático medio representa la distancia cuadrática promedio desde una flecha disparada al objetivo y al centro. Ahora, si sus flechas se dispersan uniformemente alrededor del centro, entonces el tirador no tiene sesgo de puntería y el error cuadrado medio es el mismo que la varianza.
Pero, en general, las flechas pueden dispersarse alrededor de un punto lejos del objetivo. La distancia cuadrada promedio de las flechas desde el centro de las flechas es la varianza. Este centro podría verse como el punto de puntería de los tiradores. La distancia desde este centro de tiro o punto de puntería al centro del objetivo es el valor absoluto del sesgo.
Pensando en un triángulo rectángulo donde el cuadrado de la hipotenusa es la suma de los cuadrados de los dos lados. Entonces, una distancia al cuadrado desde la flecha hasta el objetivo es el cuadrado de la distancia desde la flecha hasta el punto objetivo y el cuadrado de la distancia entre el centro del objetivo y el punto objetivo. Al promediar todas estas distancias cuadradas se obtiene el error cuadrático medio como la suma del sesgo al cuadrado y la varianza.
fuente
RMSE es una forma de medir qué tan bueno es nuestro modelo predictivo sobre los datos reales, mientras que el RMSE más pequeño es la mejor forma de comportamiento del modelo, es decir, si lo probamos en un nuevo conjunto de datos (no en nuestro conjunto de entrenamiento) pero luego nuevamente un RMSE de 0.37 en un rango de 0 a 1, explica muchos errores en comparación con tener un RMSE de 0.01 como un mejor modelo. BIAS es para sobreestimar o subestimar.
fuente
Hasta donde puedo entender, un RMSE da un valor más preciso del error entre el modelo y el observado, sin embargo, el BIAS, además de dar un valor del error (menos preciso que el RMSE), también puede determinar si el modelo es sesgo positivo o sesgo negativo, si el modelo está subestimando o sobreestimando los valores observados.
fuente