Uso de la descomposición del valor singular para calcular la matriz de covarianza de la varianza del modelo de regresión lineal

Tengo una matriz de diseño de regresores p, n observaciones, y estoy tratando de calcular la matriz de varianza-covarianza de la muestra de los parámetros. Estoy tratando de calcularlo directamente usando svd.

Estoy usando R, cuando tomo svd de la matriz de diseño, obtengo tres componentes: una matriz que es , una matriz que es (presumiblemente valores propios) y una matriz que es . Diagonalice , convirtiéndola en una matriz con ceros en las diagonales.n × p D 1 × 3 V 3 × 3 D 3 × $U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

Supuestamente, la fórmula para la covarianza es: , sin embargo, la matriz no coincide, ni es ni siquiera cerca de R incorporado en la función, . ¿Alguien tiene algún consejo / referencias? Admito que soy un poco inexperto en esta área.$V D^2 V'$vcov

Primero, recuerde que bajo supuestos de normalidad multivariada del modelo de regresión lineal, tenemos que

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Ahora bien, si en el que el lado derecho es la SVD de X, entonces tenemos que . Por lo tanto, $X = U D V^T$$X^T X = V D U^T U D V = V D^2 V^T$

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Todavía nos falta la estimación de la varianza, que es

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Aunque no lo he comprobado, es de esperar vcov retornos .$\hat{\sigma}^2 V D^{-2} V^T$

Nota: Usted escribió , que es , pero necesitamos lo inverso para la matriz de varianza-covarianza. También tenga en cuenta que en , para hacer este cálculo, debe hacerX T X $V D^2 V^T$$X^T X$$R$

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

observando que para la multiplicación de matrices usamos en %*%lugar de solo *. var.estarriba está la estimación de la varianza del ruido.

$X$$n \geq p$