Contraejemplo para la condición suficiente requerida para la consistencia

Sabemos que si un estimador es un estimador imparcial de theta y si su varianza tiende a 0 cuando n tiende al infinito, entonces es un estimador consistente para theta. Pero esta es una condición suficiente y no necesaria. Estoy buscando un ejemplo de un estimador que sea consistente pero cuya varianza no tienda a 0 ya que n tiende al infinito. ¿Alguna sugerencia?

Me alegra ver que mi respuesta (incorrecta) generó dos más, y convirtió una pregunta muerta en un animado hilo de preguntas y respuestas. Entonces es hora de intentar ofrecer algo que valga la pena, supongo) .

Considere un proceso estocástico estacionario de covarianza, correlacionado en serie , con media y autocovarianzas . Suponga que (esto limita la "fuerza" de la autocorrelación ya que dos realizaciones del proceso están cada vez más lejos en el tiempo). Entonces tenemos eso$\{y_t\},\;\; t=1,...,n$$\mu$$\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$$\lim_{j\rightarrow \infty}\gamma_j= 0$

$$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$$

es decir, la media de la muestra converge en la media cuadrática a la media real del proceso y, por lo tanto, también converge en la probabilidad: por lo tanto, es un estimador consistente de .$\mu$

Se puede encontrar que la varianza de es$\bar y_n$

$$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$$

que se muestra fácilmente para ir a cero cuando va al infinito.$n$

Ahora, haciendo uso del comentario de Cardinal, aleatoricemos aún más nuestro estimador de la media, al considerar el estimador

$$\tilde \mu_n = \bar y_n + z_n$$

donde es un proceso estocástico de variables aleatorias independientes que también son independientes de las 's, tomando el valor (parámetro a ser especificado por nosotros) con probabilidad , el valor con una probabilidad de , y cero en caso contrario. Entonces tiene el valor esperado y la varianza$\{z_t\}$$y_i$$at$$a>0$$1/t^2$$-at$$1/t^2$$\{z_t\}$

$$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$$

El valor esperado y la varianza del estimador es por lo tanto

$$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$$

Considere la distribución de probabilidad de, :toma el valor con probabilidad y el valor con probabilidad . Entonces$|z_n|$$P\left(|z_n| \le \epsilon\right),\;\epsilon>0$$|z_n|$$0$$(1-2/n^2)$$an$$2/n^2$

$$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$$

lo que significa que converge en probabilidad a (mientras su varianza sigue siendo finita). Por lo tanto$z_n$$0$

$$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$$

entonces este estimador aleatorio del valor medio del proceso estocástico permanece consistente. Pero su varianza no va a cero cuando va al infinito, ni va al infinito. $y$$n$

Cierre, ¿por qué toda la elaboración aparentemente inútil con un proceso estocástico autocorrelacionado? Debido a que Cardinal calificó su ejemplo llamándolo "absurdo", como "solo para mostrar eso matemáticamente, podemos tener un estimador consistente con varianza finita y no nula".
Quería dar una pista de que no es necesariamente una curiosidad, al menos en espíritu: hay momentos en la vida real que comienzan nuevos procesos, procesos creados por el hombre, que tienen que ver con cómo organizamos nuestras vidas y actividades. Si bien generalmente los hemos diseñado y podemos decir mucho sobre ellos, aún así, pueden ser tan complejos que razonablemente se los trata como estocásticos (la ilusión de un control completo sobre tales procesos, o de un conocimiento a priori completo sobre su evolución, procesos) eso puede representar nuevas formas de comerciar o producir, u organizar la estructura de derechos y obligaciones entre humanos, es solo eso, una ilusión). Siendo también nuevo, no tenemos suficientes realizaciones acumuladas de ellos para hacer una inferencia estadística confiable sobre cómo evolucionarán. Entonces, las correcciones ad hoc y quizás "subóptimas" son, sin embargo, un fenómeno real, cuando, por ejemplo, tenemos un proceso en el que creemos firmemente que su presente depende del pasado (de ahí el proceso estocástico auto-correlacionado), pero realmente no lo hacemos. saber cómo todavía (de ahí la aleatorización ad hoc, mientras esperamos que se acumulen los datos para estimar las covarianzas). Y tal vez un estadístico encuentre una mejor manera de lidiar con este tipo de incertidumbre severa, pero muchas entidades tienen que funcionar en un entorno incierto sin el beneficio de tales servicios científicos.

Lo que sigue es la respuesta inicial (incorrecta) (ver especialmente el comentario de Cardinal)

Existen estimadores que convergen en probabilidad a una variable aleatoria: viene a la mente el caso de "regresión espuria", donde si intentamos hacer retroceder dos caminatas aleatorias independientes (es decir, procesos estocásticos no estacionarios) entre sí mediante la estimación de mínimos cuadrados ordinarios , el estimador OLS convergerá a una variable aleatoria.

Pero no existe un estimador consistente con varianza diferente de cero, porque la consistencia se define como la convergencia en la probabilidad de un estimador a una constante , que, por concepción, tiene varianza cero.

Tome cualquier muestra de la distribución con expectativa finita y varianza infinita ( Pareto con por ejemplo). Entonces la media de la muestra convergerá a la expectativa debido a la ley o números grandes (lo cual requiere solo la existencia de media) y la varianza será infinita.$\alpha\in(1,2]$

Permítanme dar un ejemplo de una secuencia de variable aleatoria que converge a cero en probabilidad pero con varianza infinita. En esencia, un estimador es solo una variable aleatoria, por lo que con un poco de abstracción, puede ver que la convergencia de la probabilidad a una constante no implica una varianza cercana a cero.

Considere la variable aleatoria en donde la medida de probabilidad considerada es la medida de Lebesgue. Claramente, pero para todo entonces su varianza no llega a cero.$\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$$[0,1]$$P(\xi_n(x)>0)=1/n\to0$

$$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$$ $n$

Ahora, solo invente un estimador donde a medida que su muestra crezca, calcule el valor verdadero mediante un sorteo de . Tenga en cuenta que este estimador no es imparcial para 0, pero para hacerlo imparcial puede configurar con igual probabilidad 1/2 y usarlo como su estimador. El mismo argumento para la convergencia y la varianza se mantiene claramente.$\mu=0$$\xi_n$$\eta_n:=\pm\xi_n$

Editar: si desea un ejemplo en el que la varianza sea finita, tome y nuevamente considere wp 1/2.

$$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$$ $\eta_n:=\pm\xi_n$