Calcular errores estándar para problemas de regresión lineal sin calcular inversa

¿Existe una forma más rápida de calcular errores estándar para problemas de regresión lineal, que invirtiendo ? Aquí supongo que tenemos regresión: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

donde es matriz e es vector. $X$ $n\times k$ $y$ $n\times 1$

Para encontrar la solución del problema de mínimos cuadrados no es práctico hacer nada con , puede usar descomposiciones QR o SVD en la matriz directamente. O, alternativamente, puede utilizar métodos de gradiente. ¿Pero qué pasa con los errores estándar? Realmente solo necesitamos la diagonal de (y, naturalmente, la solución LS para calcular la estimación del error estándar de ). ¿Existen métodos específicos para el cálculo de errores estándar? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization mpiktas
fuente

Respuestas:

Supongamos que resolvió su problema de mínimos cuadrados utilizando la descomposición de valor singular (SVD) de , dada por $X$

X = U Σ V^{'},

$X = U\Sigma V',$

donde y son unitarios, y es diagonal. $U$ $V$ $\Sigma$

Entonces

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Vea una respuesta que le di a una pregunta relacionada en Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

Geoff Oxberry
fuente

+1, me olvidé de esa bonita propiedad SVD. Si no hay otras respuestas, aceptaré esta respuesta, ya que es bastante cercana a la que quería obtener (y ciertamente magnitudes mejores de las que esperaba obtener :))

mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ignora el último comentario, hay un error allí. Sin embargo, obtuve la fórmula correcta.

mpiktas