¿Un ejemplo de un estimador consistente y sesgado?

13

Realmente perplejo en este caso. Realmente me gustaría un ejemplo o una situación en la que un estimador B sea a la vez consistente y sesgado.

mathematical-statistics estimation econometrics Jimmy menea
fuente

3

Esto es para una clase?

Glen_b -Reinstate Monica

55

Creo que la especificación tardía de que está buscando un ejemplo de serie temporal transforma esto en una pregunta diferente, ya que invalidaría las excelentes respuestas ya proporcionadas. Pero esto está bien: puedes hacer una nueva pregunta.

Sycorax dice Reinstate Monica

66

Veo que has cambiado tu pregunta. Dado que varias respuestas ya abordaron su pregunta anterior, le aconsejo que la cambie y publique una nueva pregunta específicamente para los modelos de series temporales.

JohnK

3

Es sorprendente que aunque solicite un estimador relacionado con series de tiempo, nadie ha mencionado OLS para un AR (1). El estimador está sesgado, pero es consistente, y es bastante fácil de mostrar (y buscar en Google le dará mucho material sobre esto). Editar: parece que la solicitud de la serie temporal fue una adición tardía, lo que explicaría la falta de tales respuestas ...

hejseb

2

Aquí hay un ejemplo bastante trivial: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

dsaxton

23

El ejemplo más simple que se me ocurre es la varianza muestral que nos llega de forma intuitiva a la mayoría de nosotros, es decir, la suma de las desviaciones cuadradas divididas por lugar de : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Es fácil mostrar que y, por lo tanto, el estimador está sesgado. Pero suponiendo una varianza finita , observe que el sesgo va a cero como porque $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

También se puede demostrar que la varianza del estimador tiende a cero y, por lo tanto, el estimador converge en media cuadrática . Por lo tanto, también es convergente en probabilidad .

JohnK
fuente

1

Este es un ejemplo útil, aunque puede aplicar una interpretación bastante débil de "sesgado" aquí (que se usa de manera algo ambigua en la pregunta misma). También se podría pedir algo más fuerte, por ejemplo, una secuencia de estimador que sea consistente, pero con un sesgo que no desaparezca ni siquiera asintóticamente.

cardenal

@cardinal El sesgo debe desaparecer asintóticamente para que el estimador sea consistente, ¿no?

JohnK

3

No (Vea la secuencia de comentarios para más detalles.)

cardenal

Creo que sería útil llamar a su estimador lugar de , ya que generalmente se refiere al estimador imparcial, mientras que menudo se refiere al MLE.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

Cliff AB

@CliffAB Sí, esto es lo que denota el índice , la suma de las desviaciones al cuadrado se divide por , en lugar de la convencional .

n

$n$

n

$n$

n - 1

$n-1$

JohnK

9

Un ejemplo simple sería estimar el parámetro dado iid observaciones . $\theta > 0$ $n$ $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

Deja que . Para cualquier finito tenemos (por lo que el estimador está sesgado), pero en el límite será igual a con probabilidad uno (por lo que es consistente). $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

Adrian
fuente

6

Considere cualquier estimador imparcial y consistente y una secuencia converja a 1 ( no necesita ser aleatoria) y forme . Es parcial, pero consistente ya que converge a 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

De wikipedia:

Hablando en términos generales, se dice que un estimador del parámetro es consistente, si converge en probabilidad al valor verdadero del parámetro: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Ahora recuerde que el sesgo de un estimador se define como:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

El sesgo es de hecho distinto de cero, y la convergencia en la probabilidad sigue siendo cierta.

RUser4512
fuente

Agradezco la respuesta y explicación. Tengo una mejor comprensión ahora. Gracias

Jimmy Wiggles

Esta respuesta necesita una reparación menor al principio para dejar en claro que no servirá ninguna imparcial . La secuencia del estimador original en sí misma debe ser consistente.

T_{n}

$T_n$

cardenal

2

En una configuración de series de tiempo con una variable dependiente retrasada incluida como un regresor, el estimador OLS será consistente pero sesgado. La razón de esto es que para mostrar la imparcialidad del estimador OLS necesitamos una exogeneidad estricta, , es decir, que el término de error, , en el período no está correlacionado con todos los regresores en todos los períodos de tiempo. Sin embargo, para mostrar la consistencia del estimador OLS solo necesitamos exogeneidad contemporánea, , es decir que el término de error, , en el período no está correlacionado con los regresores, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ en el período . Considere el modelo AR (1): con de ahora en adelante. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Primero muestro que la exogeneidad estricta no se cumple en un modelo con una variable dependiente retrasada incluida como un regresor. Veamos la correlación entre y $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Si suponemos una exogeneidad secuencial, , es decir que el término de error, , en el período no está correlacionado con todos los regresores en períodos de tiempo anteriores y el actual, entonces el primer término anterior, , desaparecerá. Lo que está claro desde arriba es que a menos que tengamos una exogeneidad estricta, la expectativa . Sin embargo, debe quedar claro que la exogeneidad contemporánea, , se mantiene. $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Ahora veamos el sesgo del estimador OLS al estimar el modelo AR (1) especificado anteriormente. El estimador OLS de , se da como: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Luego tome la expectativa condicional en todos los valores anteriores, contemporáneos y futuros, , de la : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Sin embargo, sabemos por la que tal que significa que y, por lo tanto, pero está sesgado: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Todo lo que supongo que muestra la consistencia del estimador OLS en el modelo AR (1) es exogeneidad contemporánea, que conduce a la condición de momento, con . Como antes, tenemos que el estimador OLS de , se da como: $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Ahora suponga que y es positivo y finito, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Entonces, como y mientras se aplique una ley de números grandes (LLN), tenemos que . Usando este resultado tenemos: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

De este modo, se ha demostrado que el estimador OLS de , en el modelo AR (1) está sesgado pero es consistente. Tenga en cuenta que este resultado es válido para todas las regresiones donde la variable dependiente rezagada se incluye como un regresor. $p$ $\hat{\rho}$

Plissken
fuente

¿Un ejemplo de un estimador consistente y sesgado?

Respuestas: