Error sistemático / de medición en una regresión lineal

Supongamos que tengo un conjunto de datos en el que la incertidumbre en las mediciones (que provienen de la propagación de errores sistemáticos del aparato de medición) es diferente para cada punto. Si hago una regresión lineal en el conjunto de datos, ¿cómo calculo la incertidumbre en la pendiente? Me gustaría un procedimiento o fórmula explícita.${(x_i,y_i)}$${(\Delta x_i,\Delta y_i)}$

Podemos modelar el experimento como donde denotar valores verdaderos, son errores de medición, son sus componentes "fijos" independientes de la observación (que podría surgir de una calibración incorrecta de los sensores) y varían de una observación a otra. observación y corresponden a muchos factores posibles que tratamos como aleatorios.

$$x_i=x_i^*+\tilde u_i$$ $$y_i=y_i^*+\tilde v_i$$ $$\tilde u_i=\bar u + v_i$$ $$\tilde v_i=\bar v + u_i$$ $x_i^*, y_i^*$$\tilde u_i,\tilde v_i$$\bar u,\bar v$$u,v$

La regresión lineal simple es y la estimación OLS de la pendiente es Sin embargo, lo que obtenemos es

$$y_i^*=\alpha+\beta x_i^*+e_i$$ $$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$$ $$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$$

Ahora supongamos que no están correlacionadas con y entre sí (una suposición bastante sólida que puede mejorarse si tenemos más inferencias sobre la naturaleza de los errores). Entonces nuestra estimación es Podemos estimar como una variación de muestra de . También necesitamos estimar . Si tenemos un experimento en el que podemos observar varias veces, entonces un enfoque simple es estimar ].$v,u$$x^*,y^*$

$$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$$ $\hat\sigma^2_x$$x_i$$\sigma^2_u$$x^*_i$$\sigma^2_u=E[\sigma^2_x|x^*_i$

Ahora podemos usar nuestro calculado con, por ejemplo, el método bootstrap, y corregirlo para para que .$\hat\sigma^2_{\tilde\beta}$$\hat\beta =\tilde\beta /\hat\lambda$

$$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$$

Creo que la respuesta dada por @yshilov es definitivamente increíble al considerar el error de medición en el término de error y significativamente, deduce el resultado

$$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$$

Para elaborar, esta beta tiene propiedades especiales de que es un estimador sesgado, pero sesgado hacia 0. Específicamente, para regresión lineal,$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

La prueba es la siguiente: en regresión lineal simple, recordar En el caso de error de medición, tenemos , , y , entonces obtenemos Suponiendo que , , y la varianza del valor predictor verdadero

$$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$$ $x_i^O=x_i^A=\delta_i$$y_i^O=y_i^A+\epsilon_i$$y_i^A=\beta_0 +\beta_1 x_i^A$ $$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$$ $E(\epsilon_i)=E(\delta_i)=0$$var(\epsilon_i)=\sigma_{\epsilon}^2$$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$y correlación del verdadero predictor y error , luego$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

$$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$$ $$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$$ Entonces, mediante y la propiedad de bilinealidad en covarianza, la expectativa de es $\bar x = E(x_i)$$\hat \beta_1$ $$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$$ $$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$$ $$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$$ , según se desee. Por lo tanto, el resultado está bien establecido.$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

Tengo un problema similar, publicado aquí , y todavía no tengo una respuesta segura. Lo que hice por el momento es simplemente reunir un conjunto de X muy similares y verificar si hay una gran variación para Y dentro de esas líneas. Otro tipo de enfoque podría ser una simulación: utiliza una sola X de su conjunto de datos, pero replica las líneas siguiendo el error sistemático de los predictores (algo así como rnorm (..., 0,0.3)). El intervalo de confianza para la pendiente puede ser algo similar al intervalo de error sistemático.

Recomendaría un bootstrap paramétrico en los datos. Eso significa generar nuevos conjuntos de datos que son similares al conjunto de datos real, pero son diferentes en la medida que implica su incertidumbre en cada observación.

Aquí hay un pseudocódigo para eso. Tenga en cuenta que estoy usando entradas de vector para rnorm, como es normal en el lenguaje R. También supongo que lo que está llamando son errores estándar.$\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Luego mira la distribución de los valores en r.