Sandwich estimador intuición

Wikipedia y la viñeta del paquete sándwich R brindan buena información sobre los supuestos que respaldan los errores estándar del coeficiente MCO y los antecedentes matemáticos de los estimadores sándwich. Sin embargo, todavía no estoy claro cómo se aborda el problema de la heteroscedasticidad residual, probablemente porque en primer lugar no entiendo completamente la estimación de la varianza de los coeficientes MCO estándar.

¿Cuál es la intuición detrás del estimador sandwich?

multiple-regression residuals heteroscedasticity robust-standard-error Robert Kubrick
fuente

Necesita aprender más sobre la estimación

(o la estimación extrema, como a veces se le llama en econometría). El estimador sándwich para la regresión es solo un caso especial de una fórmula de método delta muy general, y si comprende la última, no tendrá problemas con la primera. No existe la intuición de que el estimador sándwich no intente modelar la heterocedasticidad ni haga nada específico al respecto; es solo un estimador de varianza diferente que funciona bajo un conjunto de supuestos más general que el estimador OLS estándar.

M

$M$

StasK

@StasK ¡Gracias! ¿Conoces algún recurso bueno en particular sobre la estimación M y las fórmulas del método delta?

Robert Kubrick

Vale la pena echarle un vistazo a la monografía de @Robert Huber "Robust Statistics".

Momo

Respuestas:

Para OLS, puede imaginar que está utilizando la varianza estimada de los residuos (bajo el supuesto de independencia y homocedasticidad) como una estimación de la varianza condicional de los s. En el estimador basado en sándwich, está utilizando los residuos cuadrados observados como un complemento de la misma varianza que puede variar entre las observaciones. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

En la estimación del error estándar de mínimos cuadrados ordinarios para la estimación del coeficiente de regresión, la varianza condicional del resultado se trata como constante e independiente, de modo que puede estimarse de manera consistente.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Para el sándwich, evitamos la estimación consistente de la varianza condicional y, en su lugar, usamos una estimación de complemento de la varianza de cada componente utilizando el residual al cuadrado

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Al utilizar el plug-in de estimación de la varianza, obtenemos estimaciones consistentes de la varianza de por el teorema del límite central de Lyapunov. $\hat{\beta}$

Intuitivamente, estos residuos al cuadrado observados eliminarán cualquier error inexplicable debido a la heterocedasticidad que de otro modo habría sido inesperada bajo el supuesto de una varianza constante.

AdamO
fuente

Es tu último párrafo el que me cuesta entender. ¿Puedes ilustrar?

Robert Kubrick

No es SE en tus fórmulas, AdamO, es SE ^ 2 ... en cualquier forma de matriz que quieras decir.

StasK

@StasK Buen punto. Tal vez un sombrero de varianza es mejor. Estaba confundiendo terminología multivariada y univariada.

AdamO

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

Editar: Dije que las estimaciones de OLS var implican "estimaciones consistentes de residuos", cuando quise decir "estimación consistente de la varianza de los residuos".

AdamO