Residuos de bootstrapping: ¿lo estoy haciendo bien?

En primer lugar: por lo que entendí, los residuos de arranque funcionan de la siguiente manera:

1. Ajustar modelo a datos
2. Calcular los residuos
3. Vuelva a muestrear los residuos y agréguelos a 1.
4. Ajustar modelo al nuevo conjunto de datos de 3.
5. Repita los ntiempos, pero siempre agregue los residuos muestreados al ajuste desde 1.

¿Es eso correcto hasta ahora?

Lo que quiero hacer es algo ligeramente diferente:

Quiero estimar la incertidumbre de parámetros y predicciones para un algoritmo que estima alguna variable ambiental.

Lo que tengo es una serie de tiempo libre de errores (de una simulación) de esa variable x_true, a la que agrego algo de ruido, x_noisepara generar un conjunto de datos sintético x. Luego trato de encontrar parámetros óptimos ajustando mi algoritmo con la suma de cuadrados sum((x_estimate - x_true)^2)(! No x_estimate - x!) Como una función objetivo. Para ver cómo funciona mi algoritmo y crear muestras de las distribuciones de mis parámetros, quiero volver a muestrear x_noise, agregarlo x_true, ajustar mi modelo nuevamente, enjuagar y repetir. ¿Es ese un enfoque válido para evaluar la incertidumbre de los parámetros? ¿Puedo interpretar los ajustes a los conjuntos de datos de bootstrap como incertidumbre de predicción, o tengo que seguir el procedimiento que publiqué anteriormente?

/ edit: Creo que realmente no he dejado claro lo que hace mi modelo. Piense en ello esencialmente como un método de eliminación de ruido. No es un modelo predictivo, es un algoritmo que intenta extraer la señal subyacente de una serie temporal ruidosa de datos ambientales.

/ edit ^ 2: Para los usuarios de MATLAB , escribí un ejemplo de regresión lineal rápido y sucio de lo que quiero decir.

Esto es lo que creo que es el arranque "ordinario" de residuos (corríjame si me equivoco): http://pastebin.com/C0CJp3d1

Esto es lo que quiero hacer: http://pastebin.com/mbapsz4c

Aquí está el algoritmo general (semi-paramétrico-bootstrap) con más detalle:

$\text{B}$ = número de bootstraps

el modelo:
$y = x\beta + \epsilon$

deja que sean los residuos$\hat{\epsilon}$

1. Ejecute la regresión y obtenga los estimadores y resids . $\hat\beta$$\hat\epsilon$
2. Vuelva a muestrear los residuos con reemplazo y obtenga el vector residual bootstrapped .$\hat\epsilon_\text{B}$
3. Obtenga la variable dependiente bootstrapped multiplicando los estimadores de (1) con los regresores originales y agregando el residual bootstrapped: .$y_\text{B} = x\hat\beta + \hat\epsilon_\text{B}$
4. Ejecute la regresión con las variables dependientes bootstrapped y los regresores originales, esto proporciona el estimador bootstrapped, es decir, en , esto da . x β$y_B$$x$$\hat\beta_\text{B}$
5. Repita el procedimiento -veces volviendo a (2).$\text{B}$

No estoy seguro de que mi comprensión sea correcta. Pero aquí está mi sugerencia para modificar su código ("arranque ordinario de residuos", líneas 28-34) en:

for i = 2:n_boot  
x_res_boot = x_residuals( randi(n_data,n_data,1) );  
x_boot = x_res_boot+ x_best_fit;  
p_est(:, i) = polyfit( t, x_boot, 1 );  
x_best_fit2 = polyval( p_est(:, i), t );  
x_residuals = x_best_fit2 - x_boot;
x_best_fit=x_best_fit2;
end  

La idea es que cada vez que use residuos no de la primera ejecución, sino del ajuste previo de arranque. En cuanto a mí, todo lo demás parece ser válido.

Esta es una versión revisada que se ha verificado en MATLAB. Se han corregido dos errores.

Para ver cómo funciona un algoritmo en términos de precisión predictiva / error cuadrático medio, es probable que necesite el arranque de "optimismo" de Efron-Gong. Esto se implementa para facilitar su uso en el rmspaquete R. Ver sus funciones ols, validate.ols, calibrate.