¿Para qué modelos el sesgo de MLE cae más rápido que la varianza?

$\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$

Estoy interesado en los modelos que tienen un sesgo que se reduce más rápido que $O(1/\sqrt n)$ , pero donde el error no se reduce a esta velocidad más rápida porque la desviación todavía se reduce como $O(1/\sqrt n)$ . En particular, me gustaría conocer las condiciones suficientes para que el sesgo de un modelo se reduzca a la velocidad $O(1/n)$ .

variance estimation maximum-likelihood bias Mike Izbicki
fuente

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? ¿O?

Alecos Papadopoulos

Estaba preguntando específicamente sobre la norma L2, sí. Pero también estaría interesado en otras normas si hace que la pregunta sea más fácil de responder.

Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ es

O_{p} (1 / n)

$O_p(1/n)$ .

Alecos Papadopoulos

Lo siento, leí mal tu comentario. Para la norma L2 en

d

$d$ dimensiones,

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$ , por lo que la convergencia es a razón de

O (1 / \sqrt{n})

$O(1/\sqrt n)$ . Estoy de acuerdo en que si lo cuadráramos, entonces convergería como

O (1 / n)

$O(1/n)$ .

Mike Izbicki

¿Has visto el papel de regresión de cresta (Hoerl y Kennard 1970)? Creo que da condiciones en la matriz de diseño + penalización donde se espera que esto sea cierto.

dcl

Respuestas:

En general, necesita modelos en los que el MLE no sea asintóticamente normal, sino que converja con alguna otra distribución (y lo hace a un ritmo más rápido). Esto generalmente ocurre cuando el parámetro bajo estimación está en el límite del espacio del parámetro. Intuitivamente, esto significa que el MLE se acercará al parámetro "solo desde un lado", por lo que "mejora la velocidad de convergencia" ya que no se "distrae" yendo "hacia adelante y hacia atrás" alrededor del parámetro.

Un ejemplo estándar, es el MLE para en una muestra iid de rv uniforme. El MLE aquí es la estadística de orden máxima, $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Su distribución de muestra finita es

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Entonces . Pero la misma tasa aumentada se mantendrá también para la varianza. $B(\hat \theta_n) = O(1/n)$

También se puede verificar que para obtener una distribución limitante, necesitamos mirar la variable , (es decir, debemos escalar por ) ya que $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

que es el CDF de la distribución exponencial.

Espero que esto proporcione alguna dirección.

Alecos Papadopoulos
fuente

Esto se está acercando, pero estoy específicamente interesado en situaciones en las que el sesgo se reduce más rápido que la varianza.

Mike Izbicki

@MikeIzbicki Hmm ... la convergencia del sesgo depende del primer momento de la distribución, y la (raíz cuadrada de la) varianza también es una magnitud de "primer orden". No estoy seguro de que esto sea posible, porque parece que implicaría que los momentos de la distribución limitante "surgen" a tasas de convergencia que no son compatibles entre sí ... Sin embargo, lo pensaré.

Alecos Papadopoulos

Siguiendo los comentarios en mi otra respuesta (¡y mirando nuevamente el título de la pregunta del OP!), Aquí hay una exploración teórica no muy rigurosa del tema.

Queremos determinar si Bias pueden tener diferente velocidad de convergencia que la raíz cuadrada de la varianza, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Tenemos

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

mientras

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Vemos que puede ocurrir si sucede $(2)$

A) ambos componentes son , en cuyo caso solo podemos tener . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Pero también puede sostenerse si

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

Para que sea compatible con , debemos tener $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Por lo tanto, parece que, en principio, es posible hacer que el sesgo converja a un ritmo más rápido que la raíz cuadrada de la varianza. Pero no podemos hacer que la raíz cuadrada de la varianza converja a un ritmo más rápido que el sesgo.

Alecos Papadopoulos
fuente

¿Cómo conciliarías esto con la existencia de estimadores insesgados como mínimos cuadrados ordinarios? En ese caso, , pero .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

Mike Izbicki

@MikeIzbicki ¿Es aplicable el concepto de convergencia / big-O en este caso? Porque aquí no es " -cualquier cosa" para empezar.

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

Alecos Papadopoulos

En este caso, , entonces .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

Mike Izbicki

@MikeIzbicki Pero también o o cualquier otro que desee anotar. Entonces, ¿cuál es la tasa de convergencia aquí?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

Alecos Papadopoulos

@MikeIzbicki He corregido mi respuesta para mostrar que, en principio, es posible que el sesgo converja más rápido, aunque sigo pensando que el ejemplo de "sesgo cero" es problemático.

Alecos Papadopoulos