¿Cómo se interpreta RMSLE (error logarítmico cuadrado medio raíz)?

He estado haciendo una competencia de aprendizaje automático en la que usan RMSLE (error logarítmico medio cuadrático medio) para evaluar el rendimiento que predice el precio de venta de una categoría de equipo. El problema es que no estoy seguro de cómo interpretar el éxito de mi resultado final.

Por ejemplo, si logré un RMSLE de podría elevar la potencia exponencial e interpretarlo como rmse? (es decir, e 1.052 = 2.863 = R M S E )?$1.052$$e$$e^{1.052}=2.863=RMSE$

¿Podría decir que mis predicciones fueron de en promedio de los precios reales? ¿O hay una mejor manera de interpretar la métrica? ¿O puede la métrica incluso interpretarse en absoluto con la excepción de compararla con los otros RMSLE de otros modelos? $\pm \$2.863$

No he visto RMSLE antes, pero supongo que es .$\sqrt{ \frac{1}{N} \sum_{i=1}^N (\log(x_i) - \log(y_i))^2 }$

Por lo tanto, exponerlo no te dará RMSE, te dará

$e^\sqrt{ \frac{1}{N} \sum_{i=1}^N (\log(x_i) - \log(y_i))^2 } \ne \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - y_i)^2}$ .

$\frac{1}{2} \log \left( \frac{1}{N} \sum_{i=1}^N (x_i - y_i)^2 \right)$ , que claramente no es lo mismo.

Desafortunadamente, no hay una buena relación fácil en general (aunque alguien más inteligente que yo / que lo piense más que yo probablemente podría usar la desigualdad de Jensen para descubrir alguna relación entre los dos).

$2.86$

No sé si hay una interpretación genérica directa, incluso analizando un caso particular.

Por ejemplo, puede estar interesado en evaluar cuál sería el error si predice todos los casos con el valor medio y lo compara con su enfoque.

De todos modos, creo que RMSLE se usa generalmente cuando no quieres penalizar grandes diferencias en los valores predichos y verdaderos cuando los valores predichos y verdaderos son números enormes. En estos casos, solo importan las diferencias porcentuales, ya que puede reescribir

$\log{P_i + 1} - \log{A_i +1} = \log{\frac{P_i + 1}{A_i +1}}$

Por ejemplo, para P = 1000 y A = 500 le daría aproximadamente el mismo error que cuando P = 100000 y A = 50000.

$\log{x+1}$

$y=\log{x+1}$

Hay una forma indirecta de medir el rendimiento de una función de pérdida en términos de algo más fácilmente comprensible, aunque no convertirá los valores directamente como esperaba.

Una vez que el modelo ha sido entrenado y probado usando RMSLE, simplemente tome una nueva métrica. El hecho de que el modelo haya sido entrenado en RMSLE no significa que no pueda tomar otras funciones de pérdida más comprensibles como métricas.

En Keras, por ejemplo, puede especificar funciones de pérdida adicionales en una categoría de métricas en el compilador del modelo. En la parte inferior, el MSLE se usa para entrenar el modelo (equivalente al RMSLE), pero el MAE y el MSE también se registran:

model.compile(loss='mean_squared_logarithmic_error', optimizer='adam', metrics=['mean_absolute_error','mean_squared_error'])