¿Es MLE de asintóticamente normal cuando ?

Supongamos que tiene el pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Por lo tanto, la densidad de la muestra extraída de esta población $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

El estimador de máxima verosimilitud de se puede derivar como $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Deseo saber si la distribución limitante de este MLE es normal o no.

Está claro que una estadística suficiente para basada en la muestra es . $\theta$ $(\overline X,\overline Y)$

Ahora hubiera dicho que el MLE es asintóticamente normal sin duda si fuera un miembro de la familia exponencial regular de un parámetro. No creo que sea así, en parte porque tenemos una estadística bidimensional suficiente para un parámetro unidimensional (como en la distribución , por ejemplo). $N(\theta,\theta^2)$

Usando el hecho de que e son de hecho variables exponenciales independientes, puedo mostrar que la distribución exacta de es tal que $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

No puedo proceder a encontrar la distribución limitante desde aquí.

En cambio, puedo argumentar por WLLN que y , de modo que . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Esto me dice que converge en distribución a . Pero esto no es una sorpresa, ya que es un "buen" estimador de . Y este resultado no es lo suficientemente fuerte como para concluir si algo como es asintóticamente normal o no. Tampoco pude llegar a un argumento razonable usando CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Por lo tanto, queda una pregunta si la distribución principal aquí satisface las condiciones de regularidad para que la distribución limitante de MLE sea normal.

maximum-likelihood convergence exponential asymptotics central-limit-theorem ObstinadoAtom
fuente

Empíricamente parece estar muy cerca de lo normal. Puede que le resulte más fácil establecer en (es solo un factor de escala) y luego considerar si la distribución de la raíz cuadrada de la razón de las medias muestrales de las variables aleatorias exponenciales es asintóticamente normal. Usando el método delta, esto corresponde a la distribución de la razón de las medias muestrales de las variables aleatorias exponenciales iid que son asintóticamente normales. Y eso corresponde a la distribución de la proporción de dos variables aleatorias gamma iid que son asintóticamente normales a medida que aumenta el parámetro de forma.

θ

$\theta$

1

$1$

Henry

La normalidad asintótica de los MLE no tiene nada que ver con las familias exponenciales. Intuitivamente, para que se mantenga la normalidad asintótica, solo debe asegurarse de que no haya posibilidad de que la solución esté cerca del límite del espacio de parámetros.

whuber

@whuber Hasta donde yo sé, los archivos PDF que son miembros de la familia exponencial canónica casi siempre tienen MLE que son asintóticamente normales (no es que se deba a la familia exp). Esa es la conexión que estaba tratando de señalar.

StubbornAtom

Correcto: pero la conexión es unidireccional. Los resultados asintóticos para MLE son mucho más generales y, por lo tanto, estaba tratando de sugerir que mirar en esa dirección general, en lugar de centrarse en las propiedades de las familias exponenciales, podría ser una investigación más fructífera.

whuber

También es posible una prueba usando el método multivariado CLT y delta como se hace aquí .

StubbornAtom

Respuestas:

Una prueba directa de la normalidad asintótica:

La probabilidad de registro aquí es

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

La primera y segunda derivadas son

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

El MLE satisface $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Aplicando una expansión de valor medio alrededor del valor verdadero que tenemos $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

para algunos entre y . Reorganizando tenemos, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Pero en nuestro caso de parámetro único, el inverso es solo el recíproco, por lo tanto, insertando también las expresiones específicas de las derivadas,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

La varianza de la suma es

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipulando la expresión que podemos escribir, usando para la suma de los elementos iid, $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

, tenemos que , entonces . Entonces, tenemos el tema de un CLT clásico, y uno puede verificar que la condición de Lindeberg se cumple. Resulta que $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Debido a la consistencia del estimador, también tenemos

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

y por el teorema de Slutsky llegamos a

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Agradable. Duplique la información, la mitad de la varianza (en comparación con el caso en el que estimaríamos base a una muestra de una sola variable aleatoria). $\theta_0$

PD: El hecho de que en las expresiones anteriores aparezca en el denominador, apunta hacia el comentario de @ whuber de que la normalidad asintótica de MLE necesita que el parámetro desconocido esté lejos del límite del espacio del parámetro (en nuestro caso, lejos de cero). $\theta_0$

Alecos Papadopoulos
fuente

Lo siento por la respuesta tardía. Todo este tiempo estaba pensando si esta es una familia exponencial curva y, por lo tanto, el MLE podría comportarse de manera diferente.

StubbornAtom

@StubbornAtom La normalidad asintótica se pierde cuando el parámetro bajo estimación está en el límite del parámetro (un resultado bastante intuitivo si lo piensa).

Alecos Papadopoulos