Fondo

Supongamos que tenemos un modelo de mínimos cuadrados ordinarios donde tenemos coeficientes en nuestro modelo de regresión, $k$

$$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$$

donde es un vector de coeficientes , es la matriz de diseño definida por$\mathbf{\beta}$$(k\times1)$$\mathbf{X}$

$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$$ y los errores son IID normal, $$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$$

Minimizamos la suma de los errores al cuadrado al establecer nuestras estimaciones para en $\mathbf{\beta}$

$$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$$

Un estimador imparcial de es donde \ mathbf {\ hat {y}} \ equiv \ mathbf {X} \ mathbf {\ hat {\ beta}} ( ref ).$\sigma^2$

$$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$$ $\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

La covarianza de $\mathbf{\hat{\beta}}$ viene dada por

$$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$$ donde $\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( ref ).

Pregunta

¿Cómo puedo probar que para $\hat\beta_i$ ,

$$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$$ donde $t_{n-k}$ es un Distribución t con $(n-k)$ grados de libertad, y el error estándar de $\hat{\beta}_i$ se estima mediante $s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$ .

---

Mis intentos

Sé que para variables aleatorias muestreadas de , puede mostrar que reescribiendo el LHS como y darse cuenta de que el numertor es una distribución normal estándar, y el denominador es la raíz cuadrada de una distribución Chi-cuadrado con df = (n-1) y dividido por (n- 1) ( ref .) Y, por lo tanto, sigue una distribución t con df = (n-1) ( ref ).$n$$x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

$$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$$ $$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$$

No pude extender esta prueba a mi pregunta ...

¿Algunas ideas? Soy consciente de esta pregunta , pero no lo prueban explícitamente, solo dan una regla general, diciendo que "cada predictor le cuesta un grado de libertad".

Desde sabemos que y así sabemos que para cada componente de , donde es el elemento diagonal de . Por lo tanto, sabemos que

$$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$$ $$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$$ $k$$\hat\beta$ $$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$$ $S_{kk}$$k^\text{th}$$(X^TX)^{-1}$ $$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$$

Tome nota de la declaración del Teorema para la distribución de una forma cuadrática idempotente en un vector normal estándar (Teorema B.8 en Greene):

Si y es simétrica y idempotente, entonces se distribuye donde es el rango de .$x\sim\mathcal{N}(0,I)$$A$$x^TAx$$\chi^2_{\nu}$$\nu$$A$

Deje que denote el vector residual de regresión y deje que que es la matriz del fabricante residual (es decir, ) . Es fácil verificar que es simétrica e idempotente .$\hat\varepsilon$

$$M=I_n - X(X^TX)^{-1}X^T \text{,}$$ $My=\hat\varepsilon$$M$

Sea un estimador de .

$$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$$ $\sigma^2$

Entonces necesitamos hacer algo de álgebra lineal. Tenga en cuenta estas tres propiedades de álgebra lineal:

• El rango de una matriz idempotente es su rastro.
• $\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
• $\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ si se y es ( esta propiedad es fundamental para la continuación del trabajo )$A_1$$n_1 \times n_2$$A_2$$n_2 \times n_1$

Entonces

$$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$$

Entonces

$$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$$

Aplicando el teorema para la distribución de una forma cuadrática idempotente en un vector normal estándar (mencionado anteriormente), sabemos que .$V \sim \chi^2_{n-p}$

Como supuso que se distribuye normalmente, entonces es independiente de , y dado que es una función de , entonces también es independiente de . Por lo tanto, y son independientes entre sí.$\varepsilon$$\hat\beta$$\hat\varepsilon$$s^2$$\hat\varepsilon$$s^2$$\hat\beta$$z_k$$V$

Entonces, es la relación de una distribución Normal estándar con la raíz cuadrada de una distribución Chi-cuadrado con los mismos grados de libertad (es decir, ), que es una caracterización de la distribución . Por lo tanto, la estadística tiene una distribución con grados de libertad.

$$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$$ $n-p$$t$$t_k$$t$$n-p$

Entonces puede ser manipulado algebraicamente en una forma más familiar.

$$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$$