Cómo derivar la matriz de coeficientes de varianza-covarianza en regresión lineal

Estoy leyendo un libro sobre regresión lineal y tengo algunos problemas para comprender la matriz de varianza-covarianza de $\mathbf{b}$ :

Los elementos diagonales son bastante fáciles, pero los no diagonales son un poco más difíciles, lo que me desconcierta es que

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

pero no hay rastro de y aquí.β $\beta_0$$\beta_1$

Esta es realmente una buena pregunta que desafía su comprensión básica de una regresión.

Primero elimine cualquier confusión inicial sobre la notación. Estamos viendo la regresión:

$$y=b_0+b_1x+\hat{u}$$

donde y son los estimadores de los verdaderos y , y son los residuos de la regresión. Tenga en cuenta que la regresión subyacente verdadera y no observada se denota así como:$b_0$$b_1$$\beta_0$$\beta_1$u$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

Con la expectativa de y la varianza . Algunos libros denotan como y adaptamos esta convención aquí. También utilizamos la notación matricial, donde b es el vector 2x1 que contiene los estimadores de , es decir, . (También en aras de la claridad, trato X como fijo en los siguientes cálculos).$E[u]=0$$E[u^2]=\sigma^2$$b$β β = [ β 0 , ß 1 ] ' b = [ b 0 , b 1 ] '$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Ahora a tu pregunta. Su fórmula para la covarianza es correcta, es decir:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Creo que quiere saber cómo es que tenemos los verdaderos coeficientes no observados en esta fórmula. De hecho, se cancelan si damos un paso más allá al expandir la fórmula. Para ver esto, tenga en cuenta que la varianza poblacional del estimador viene dada por:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Esta matriz contiene las variaciones en los elementos diagonales y las covarianzas en los elementos fuera de la diagonal.

Para llegar a la fórmula anterior, generalicemos su reclamo utilizando la notación matricial. Por lo tanto, denotemos la varianza con y la expectativa con .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

Esencialmente tenemos la fórmula de varianza general, simplemente usando la notación matricial. La ecuación se resuelve al sustituir en la expresión estándar el estimador . También suponga que es un estimador imparcial. Por lo tanto, obtenemos:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Tenga en cuenta que tenemos en el lado derecho - matriz 2x2, a saber , pero en este punto ya puede adivinar qué sucederá con este término en breve.$\beta^2$$bb'$

Reemplazando con nuestra expresión para el verdadero proceso subyacente de generación de datos subyacente, tenemos:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

ya que . Además, el término cuadrático se cancela según lo previsto.$E[u]=0$$\beta^2$

Así tenemos:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

Por linealidad de expectativas. Tenga en cuenta que por suposición y ya que es una matriz simétrica y, por lo tanto, es lo mismo que su transposición. Finalmente llegamos a$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Ahora que nos hemos deshecho de todos los términos . Intuitivamente, la varianza del estimador es independiente del valor del coeficiente subyacente verdadero, ya que esta no es una variable aleatoria per se. El resultado es válido para todos los elementos individuales en la matriz de covarianza de la varianza como se muestra en el libro, por lo tanto, también es válido para los elementos fuera de la diagonal y con para cancelar, respectivamente. El único problema era que había aplicado la fórmula general para la variación que no refleja esta cancelación al principio.$\beta$$\beta_0\beta_1$

En última instancia, la varianza de los coeficientes se reduce a e independiente de . Pero ¿qué significa esto? (Creo que también solicitó una comprensión más general de la matriz de covarianza general)$\sigma^2(X'X)^{-1}$$\beta$

Mira la fórmula en el libro. Simplemente afirma que la varianza del estimador aumenta cuando el verdadero término de error subyacente es más ruidoso ( aumenta), pero disminuye cuando aumenta la propagación de X. Debido a que tener más observaciones distribuidas alrededor del valor verdadero, en general le permite construir un estimador que sea más preciso y, por lo tanto, más cercano al verdadero . Por otro lado, los términos de covarianza en fuera de diagonal se vuelven prácticamente relevantes en la prueba de hipótesis de hipótesis conjuntas como . Aparte de eso, son un poco falsos, de verdad. Espero que esto aclare todas las preguntas.$\sigma^2$ β b 0 = b 1 = 0$\beta$$b_0=b_1=0$

En tu caso tenemos

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Invierta esta matriz y obtendrá el resultado deseado.

Parece que son los valores pronosticados (valores esperados). Hacen el cambio entre y .$\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$