Consistencia asintótica con varianza asintótica no nula: ¿qué representa?

El problema ha surgido antes, pero quiero hacer una pregunta específica que intentará obtener una respuesta que lo aclare (y clasifique):

En "La asíntota del pobre hombre", uno mantiene una clara distinción entre

(a) una secuencia de variables aleatorias que converge en probabilidad a una constante

en contraste con

(b) una secuencia de variables aleatorias que converge en probabilidad a una variable aleatoria (y, por lo tanto, en distribución a ella).

Pero en "Los asintóticos del sabio", también podemos tener el caso de

(c) una secuencia de variables aleatorias que converge en probabilidad a una constante mientras se mantiene una varianza distinta de cero en el límite.

Mi pregunta es (robando mi propia respuesta exploratoria a continuación):

¿Cómo podemos entender un estimador que es asintóticamente consistente pero que también tiene una varianza finita distinta de cero? ¿Qué refleja esta variación? ¿Cómo difiere su comportamiento de un estimador consistente "habitual"?

Hilos relacionados con el fenómeno descrito en (c) (mire también en los comentarios):

mathematical-statistics variance convergence asymptotics consistency Alecos Papadopoulos
fuente

La forma en que capitalizas "Asymptotics del pobre hombre" me hace pensar que debo estar perdiendo el conocimiento de una referencia (o posiblemente haberla visto pero olvidado, lo que equivale a lo mismo); ya sea un libro o papel real, o posiblemente solo una referencia cultural. Sé de "Aumento de datos del pobre hombre" (Tanner y Wei), pero no creo que esto esté conectado con lo que estás buscando. ¿Qué me estoy perdiendo?

Glen_b -Reinstate Monica

@Glen_B No te pierdas nada: acabo de inventar el término para contrastar el nivel de conocimiento de (= acceso intelectual a) la teoría asintótica que la gente como yo tiene, contra, por ejemplo, la de la gente como el cardenal. La capitalización fue solo una táctica de marketing.

Alecos Papadopoulos

Respuestas:

27-10-2014: Desafortunadamente (para mí, eso es), nadie ha aportado una respuesta aquí, tal vez porque parece un tema teórico "patológico" extraño y nada más.

Bueno, para citar un comentario para el usuario Cardinal (que luego exploraré)

"Aquí hay un ejemplo ciertamente absurdo, pero simple. La idea es ilustrar exactamente qué puede salir mal y por qué. Tiene aplicaciones prácticas (mi énfasis). Ejemplo: Considere el modelo típico de iid con un segundo momento finito. Let donde es independiente de y cada uno con probabilidad y es cero de lo contrario, con arbitrario Entonces es imparcial, tiene una varianza limitada a continuación por , y casi con seguridad (es muy consistente). Dejo como ejercicio el caso con respecto al sesgo ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

La variable aleatoria inconformista aquí es , así que veamos qué podemos decir al respecto. La variable tiene soporte con las probabilidades correspondientes . Es simétrico alrededor de cero, entonces tenemos $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Estos momentos no dependen de así que supongo que se nos permite escribir trivialmente $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

En las asíntotas del pobre hombre, conocemos una condición para que los límites de los momentos sean iguales a los momentos de la distribución limitante. Si el -ésimo momento de los finitos converge distribución caso a una constante (como es nuestro caso), entonces, si por otra parte, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

El límite del momento será el momento de la distribución limitante. En nuestro caso $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Para esto diverge para cualquier , por lo que esta condición suficiente no se cumple para la varianza (sí se cumple para la media). Tome la otra dirección: ¿Cuál es la distribución asintótica de ? ¿El CDF de converge a un CDF no degenerado en el límite? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

No parece que sea así: el soporte limitante será (si se nos permite escribir esto), y las probabilidades correspondientes . A mí me parece una constante. Pero si no tenemos una distribución limitante en primer lugar, ¿cómo podemos hablar de sus momentos? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Luego, volviendo al estimador , dado que también converge a una constante, parece que $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ no tiene una distribución limitante (no trivial), pero tiene una variación en el límite. ¿O tal vez esta variación es infinita? ¿Pero una varianza infinita con una distribución constante?

Como podemos entender esto? ¿Qué nos dice sobre el estimador? ¿Cuál es la diferencia esencial, en el límite, entre y ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

Alecos Papadopoulos
fuente

Estúpida solicitud de referencia: ¿tiene una fuente (buena) para: "si el momento r converge en una constante, entonces todos los momentos con un índice inferior a r convergen a los momentos de la distribución limitante?". Sé que es verdad, pero nunca encontré una buena fuente

Guillaume Dehaene

En segundo lugar, el teorema que intenta utilizar no se puede aplicar en este caso: para r = 2 (que es el caso que desea utilizar: desea demostrar que la varianza converge), a para cualquier estrictamente positiva , el diverge!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

Guillaume Dehaene

Quizás sería bueno hacer ping de alguna manera a @cardinal (¿en el chat?) Para que se una a esta discusión.

ameba dice Reinstate Monica

@amoeba Cardinal es un estimador que converge en cuanto a la verdadera respuesta aquí, pero recuerdo haber intentado involucrarlo en el pasado sin éxito.

Alecos Papadopoulos

@GuillaumeDehaene Una referencia es AW Van der Vaart (1998) "Asymptotic Statistics", cap. 2.5 "Convergencia de momentos". Se da como ejemplo 2.21 del teorema 2.20. Y tiene razón: tenía la impresión de que era suficiente tener límites para finito , pero es el limsup lo que debe ser finito. Estoy corrigiendo mi publicación.

n

$n$

Alecos Papadopoulos

No daré una respuesta muy satisfactoria a su pregunta porque me parece demasiado abierta, pero permítame aclarar por qué esta pregunta es difícil.

Creo que está luchando con el hecho de que las topologías convencionales que utilizamos en distribuciones de probabilidad y variables aleatorias son malas. Escribí un artículo más grande sobre esto en mi blog, pero permítanme tratar de resumirlo: pueden converger en el sentido débil (y la variación total) mientras violan los supuestos comunes sobre lo que significa la convergencia.

Por ejemplo, puede converger en topología débil hacia una constante mientras tiene varianza = 1 (que es exactamente lo que está haciendo su secuencia ). Existe entonces una distribución límite (en la topología débil) que es esta variable aleatoria monstruosa que es la mayoría de las veces igual a 0 pero infinitamente rara vez igual a infinito. $Z_n$

Personalmente, considero que esto significa que la topología débil (y la topología de variación total también) es una noción pobre de convergencia que debería descartarse. La mayoría de las convergencias que realmente utilizamos son más fuertes que eso. Sin embargo, realmente no sé qué deberíamos usar en lugar de la topología débil, así que ...

Si realmente desea encontrar una diferencia esencial entre y , aquí está mi opinión: ambos estimadores son equivalentes para la pérdida [0,1] (cuando el tamaño de su error no importa). Sin embargo, es mucho mejor si el tamaño de sus errores es importante, porque veces falla catastróficamente. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

Guillaume Dehaene
fuente

Un estimador es consistente en probabilidad pero no en MSE si hay una probabilidad arbitrariamente pequeña de que el estimador "explote". Si bien es una curiosidad matemática interesante, para cualquier propósito práctico, esto no debería molestarlo. Para cualquier propósito práctico, los estimadores tienen soportes finitos y, por lo tanto, no pueden explotar (el mundo real no es infinitamente pequeño ni grande).

Si todavía desea recurrir a una aproximación continua del "mundo real", y su aproximación es tal que converge en probabilidad y no en MSE, entonces tómelo como está: su estimador puede ser correcto con probabilidad arbitrariamente grande, pero siempre habrá una posibilidad arbitrariamente pequeña de que explote. Afortunadamente, cuando lo haga, lo notará, de lo contrario, puede confiar en él. :-)

JohnRos
fuente

Tengo la impresión de que converge en el cuadrado medio, ya que

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

Alecos Papadopoulos

La pregunta trata específicamente con la interpretación de un estimador que converge en probabilidad y no en MSE (debido a una varianza que no desaparece).

JohnRos

Tienes razón, confundí un signo más con uno menos.

Alecos Papadopoulos