Intervalo de confianza de RMSE

He tomado una muestra de puntos de datos de una población. Cada uno de estos puntos tiene un valor verdadero (conocido por la verdad básica) y un valor estimado. Luego calculo el error para cada punto muestreado y luego calculo el RMSE de la muestra.$n$

¿Cómo puedo inferir algún tipo de intervalo de confianza alrededor de este RMSE, basado en el tamaño de muestra ?$n$

Si estuviera usando la media, en lugar de la RMSE, entonces no tendría problemas para hacerlo, ya que puedo usar la ecuación estándar

$m = \frac{Z \sigma}{\sqrt{n}}$

pero no sé si esto es válido para RMSE en lugar de la media. ¿Hay alguna manera de que pueda adaptar esto?

(He visto esta pregunta , pero no tengo problemas con la distribución normal de mi población, que es de lo que trata la respuesta)

Con un razonamiento similar al de aquí , podría dar una respuesta a su pregunta bajo ciertas condiciones.

Vamos ser tu verdadero valor para el i t h punto de datos y x i el valor estimado. Si suponemos que las diferencias entre los valores estimados y verdaderos tienen$x_{i}$$i^{th}$$\hat{x}_{i}$

1. media cero (es decir, el x i se distribuyen alrededor de x i )$\hat{x}_{i}$$x_{i}$

2. seguir una distribución normal

3. y todos tienen la misma desviación estándar $\sigma$

en breve:

$$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$$

entonces realmente quieres un intervalo de confianza para .$\sigma$

Si las suposiciones anteriores son verdaderas sigue unadistribuciónχ 2 n conn(non-1) grados de libertad. Esto significa

$$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$$ $\chi_{n}^{2}$$n$$n-1$

$$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$$

Por lo tanto, es su intervalo de confianza.

$$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$$

Aquí hay un programa de Python que simula su situación.

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Espero que ayude.

Si no está seguro de si se aplican los supuestos o si desea comparar lo que escribí con un método diferente, siempre puede intentar el arranque .

El razonamiento en la respuesta de fabee parece correcto si se aplica al STDE (desviación estándar del error), no al RMSE. Usando una nomenclatura similar,$i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$, BIAS, MSE (mean squared error) and RMSE are given by:

$$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$, but MSE is not the biased sample variance. Instead:

$$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$$ or, if both BIAS and RMSE were computed, $$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$, STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$) and $\left.\text{STDE}\middle/\sqrt{n}\right.$.

Following Faaber 1999, the uncertainty of RMSE is given as

$$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$$ where $n$ is the number of datapoints.