Es OLS asintóticamente eficiente bajo heterocedasticidad

Sé que OLS es imparcial pero no eficiente bajo heteroscedasticidad en una configuración de regresión lineal.

En Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

El estimador MMSE es asintóticamente imparcial y converge en distribución a la distribución normal: , donde I (x) es la información de Fisher de x. Por lo tanto, el estimador MMSE es asintóticamente eficiente. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

Se afirma que MMSE es asintóticamente eficiente. Estoy un poco confundido aquí.

¿Significa esto que OLS no es eficiente en muestras finitas, sino eficiente asintóticamente bajo heteroscedasticidad?

Crítica de las respuestas actuales: hasta ahora, las respuestas propuestas no abordan la distribución limitante.

Gracias por adelantado

least-squares heteroscedasticity efficiency Cagdas Ozgenc
fuente

Ese es un artículo de Wikipedia bastante largo. Dado que, además, están sujetos a cambios, ¿le importaría citar el pasaje que causa confusión?

hejseb 01 de

La información de Fisher se deriva de la función de probabilidad. Por lo tanto, implica implícitamente que la probabilidad se especificó correctamente. es decir, la afirmación a la que se refiere supone que, si hay alguna heterocedasticidad, la regresión se ponderó de tal manera que la heterocedasticidad se especificó correctamente. Ver en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . En la práctica, a menudo no conocemos la forma de la heterocedasticidad, por lo que a veces aceptamos la ineficiencia en lugar de arriesgarnos a sesgar la regresión al no especificar esquemas de ponderación.

Zachary Blumenfeld

@ZacharyBlumenfeld No hubo suposición sobre la distribución de x en el artículo. ¿Cómo terminamos con la información de Fisher?

Cagdas Ozgenc

Ver en.wikipedia.org/wiki/Fisher_information. El artículo implica una distribución en y cuando toma expectativas en la sección de definición. Tenga en cuenta que la homocedasticidad nunca se supuso allí. En el contexto de OLS, la homocedacticidad asumió , la matriz de identidad. La heterocedacticidad permite , cualquier diagonal Positiva semi-definida. El uso de daría como resultado una información de Fisher diferente de lo que sería el uso de .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

Zachary Blumenfeld

¿Dónde puedo ver una prueba de este hecho de que "MMSE converge en distribución a la distribución normal?"

Hajir

Respuestas:

El artículo nunca asumió homoskadasticity en la definición. Para ponerlo en el contexto del artículo, la homoscedasticidad sería decir Donde es la matriz de identidad y es un número escalar positivo La heteroscadasticidad permite

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Cualquier diaganol positivo definido. El artículo define la matriz de covarianza de la manera más general posible, como el segundo momento centrado de alguna distribución multivaria implícita. debemos conocer la distribución multivariada de para obtener una estimación asintóticamente eficiente y consistente de . Esto vendrá de una función de probabilidad (que es un componente obligatorio de la parte posterior). Por ejemplo, suponga (es decir, . Entonces la función de probabilidad implícita es Donde es el pdf normal multivariado. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

La matriz de información del pescador se puede escribir como vea en.wikipedia.org/wiki/Fisher_information para más información. Es a partir de aquí que podemos derivar Lo anterior está usando una función de pérdida cuadrática pero no supone Homocedasticidad.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

En el contexto de OLS, donde retrocedemos en asumimos La probabilidad implícita es que puede reescribirse convenientemente como el pdf normal univariante. La información del pescador es entonces $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Si no se cumple la homocedasticidad, entonces la información de Fisher como se indica es erróneamente especificada (pero la función de expectativa condicional sigue siendo correcta), por lo que las estimaciones de serán consistentes pero ineficientes. Podríamos reescribir la probabilidad de tener en cuenta la heteroskacticidad y la regresión es eficiente, es decir, podemos escribir Esto es equivalente a ciertas formas de mínimos cuadrados generalizados , como mínimos cuadrados ponderados. Sin embargo, esto lo hará $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ cambiar la matriz de información de Fisher. En la práctica, a menudo no conocemos la forma de la heterocedasticidad, por lo que a veces preferimos aceptar la ineficiencia en lugar de sesgar la regresión por error al especificar esquemas de ponderación. En tales casos, la covarianza asintótica de no es como se especificó anteriormente.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

Zachary Blumenfeld
fuente

Gracias por todo el tiempo que pasaste. Sin embargo, creo que esa entrada wiki es una mierda total. MMSE no dará eficiencia, y en ninguna parte se especifica que las muestras se ponderan adecuadamente. Además, incluso si suponemos que las muestras están ponderadas, todavía no es un estimador eficiente a menos que la distribución sea gaussiana, que tampoco se especifica.

Cagdas Ozgenc

@CagdasOzgenc Estoy respetuosamente en desacuerdo. El artículo está redactado en una forma bayesiana general que puede incluir regresión, pero también muchos otros modelos (parece estar dirigido más hacia el filtro de Kalman). La probabilidad es el estimador más eficiente cuando se conoce, esta es una propiedad básica de probabilidad. Lo que dice se aplica estrictamente a un subconjunto de modelos de regresión (aunque entre los modelos más ampliamente aplicados) donde se asume la normalidad al derivar condiciones de primer orden.

Zachary Blumenfeld

Lo dijiste tú mismo. Lamentablemente, el artículo no trata sobre el estimador de probabilidad. Es el Estimador de mínimos cuadrados mínimos, que es eficiente cuando se cumplen ciertas condiciones.

Cagdas Ozgenc 01 de

Muy bien, estoy de acuerdo en no estar de acuerdo :) Quizás haya un conflicto con la definición de MMSE entre cómo se usa en la regresión más frecuente y cómo se aplica aquí en un entorno más bayesiano. Quizás deberían inventar un nuevo nombre para ello. Sin embargo, las probabilidades (o tal vez otras estimaciones no paramétricas) están implícitas cuando se toman expectativas independientes sobre cada residuo al cuadrado. especialmente en un entorno bayesiano (de lo contrario, ¿cómo lo estimaríamos?). Después de buscar en Google, encontré muchos resultados similares a los de Wikipedia. De todos modos, estoy de acuerdo en que se está abusando de la terminología.

Zachary Blumenfeld

No, OLS no es eficiente bajo heteroscedasticidad. La eficiencia de un estimador se obtiene si el estimador tiene la menor varianza entre otros estimadores posibles. Las declaraciones sobre la eficiencia en OLS se hacen independientemente de la distribución limitante de un estimador.

chico al azar
fuente