Cálculo de probabilidad de RMSE

Tengo un modelo para predecir una trayectoria (x en función del tiempo) con varios parámetros. Por el momento, calculo el error cuadrático medio (RMSE) entre la trayectoria prevista y la trayectoria registrada experimentalmente. Actualmente, minimizo esta diferencia (el RMSE) usando simplex (fminsearch en matlab). Si bien este método funciona para dar buenos ajustes, me gustaría comparar varios modelos diferentes, por lo que creo que necesito calcular la probabilidad para poder usar la estimación de máxima probabilidad en lugar de minimizar el RMSE (y luego comparar los modelos usando AIC o BIC ) ¿Hay alguna forma estándar de hacer esto?

maximum-likelihood curve-fitting Jason
fuente

La raíz del error cuadrático medio y la probabilidad en realidad están estrechamente relacionados. Supongamos que tiene un conjunto de datos de pares y desea modelar su relación utilizando el modelo . Decide minimizar el error cuadrático. $\lbrace x_i, z_i \rbrace$ $f$

\sum_{yo} {(F (X_{yo}) - z_{yo})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

¿No es esta elección totalmente arbitraria? Claro, desea penalizar las estimaciones que están completamente equivocadas más que las que son correctas. Pero hay una muy buena razón para usar el error al cuadrado.

Recuerde la densidad gaussiana: donde es la constante de normalización que no nos importa por ahora. Supongamos que sus datos de destino se distribuyen de acuerdo con un gaussiano. Entonces podemos escribir la probabilidad de los datos. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{yo} \frac{1}{Z} Exp \frac{- (F (X_{yo}) - z_{yo})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Ahora, si tomas el logaritmo de esto ...

Iniciar sesión L = \sum_{yo} \frac{- (F (X_{yo}) - z_{yo})^{2}}{2 σ^{2}} - Iniciar sesión Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... resulta que está muy relacionado con el rms: las únicas diferencias son algunos términos constantes, una raíz cuadrada y una multiplicación.

Larga historia corta: minimizar el error cuadrático medio es equivalente a maximizar la probabilidad logarítmica de los datos.

bayerj
fuente

Gracias por la explicación clara. Entonces, si quiero comparar dos modelos (no integrados) usando BIC, ¿puedo simplemente soltar los términos sigma ^ 2 y Z (suponiendo que sean iguales en todos los modelos) al calcular la probabilidad?

Jason

σ

$\sigma$

σ

$\sigma$

Iniciar sesión L = \sum_{yo} \frac{(F (X_{yo}) - z_{yo})^{2}}{2 σ^{2}} - Iniciar sesión Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

¿Falta un signo negativo en la distribución gaussiana?

Manoj

σ

$\sigma$

Cálculo de probabilidad de RMSE

Respuestas: