Mejorando el estimador mínimo

Supongamos que tengo $n$ parámetros positivos para estimar $\mu_1,\mu_2,...,\mu_n$ y sus correspondientes $n$ estimaciones insesgadas producidos por los estimadores $\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$ , es decir, $\mathrm E[\hat{\mu_1}]=\mu_1$ , $\mathrm E[\hat{\mu_2}]=\mu_2$ y así sucesivamente.

Me gustaría estimar $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ utilizando las estimaciones a la mano. Es evidente que el ingenuo estimador $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$ es parcial inferior como

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})] \leq m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$

Supongamos que también tengo la matriz de covarianza de la correspondiente estimadores $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$ a la mano. ¿Es posible obtener una estimación imparcial (o menos sesgada) del mínimo utilizando las estimaciones dadas y la matriz de covarianza?

unbiased-estimator estimators minimum Cagdas Ozgenc
fuente

¿Está dispuesto a utilizar el enfoque Bayesian MCMC o necesita alguna fórmula de forma cerrada?

Martin Modrák

¿Pero un enfoque de muestreo simple está bien? (además, no se necesitan estrictamente antecedentes para el análisis bayesiano, pero esa es otra historia)

Martin Modrák

@ MartinModrák No tengo experiencia con los enfoques de muestreo. Si hago bayesiano, generalmente hago cosas conjugadas simples. Pero si crees que este es el camino a seguir, seguiré y aprenderé.

Cagdas Ozgenc

¿Qué más sabes sobre estas estimaciones? ¿Conoces las expresiones? ¿Conoces la distribución de los datos utilizados para estimar estos parámetros?

wij

@wij Puedo intentar estimar algunos otros momentos de los estimadores si es necesario. No tengo una expresión analítica para la distribución de los estimadores. La solución no debería depender (como requisito mío) de la distribución de los datos en sí.

Cagdas Ozgenc

Respuestas:

No tengo una respuesta clara sobre la existencia de estimador imparcial. Sin embargo, en términos de error de estimación, estimar es un problema intrínsecamente difícil en general. $\min(\mu_1, \dots, \mu_n)$

Por ejemplo, sea y . Vamos ser la cantidad objetivo y es una estimación de . Si utilizamos el "naive" estimador donde $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$ $\mu = (\mu_1, \dots, \mu_n)$ $\theta = \min_i \mu_i$ $\hat{\theta}$ $\theta$ $\hat{\theta} = \min_i(\bar{Y}_i)$ $\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$ $L_2$

E [\hat{θ} - θ]^{2} ⪅ \frac{σ^{2} \log n}{N}

$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$

μ_{i}

$\mu_i$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

μ_{i}

$\mu_i$

σ

$\sigma$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

θ

$\theta$ funciona mejor que el estimador ingenuo. Puede mostrar con precisión que donde el infimum toma todo el estiamte posible de basado en la muestra y el supremum toma todas las configuraciones posibles de 's.

inf_{\hat{θ}} sup_{μ_{1}, \dots, μ_{n}} E [\hat{θ} - θ]^{2} ⪆ \frac{σ^{2} \log n}{N}

$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$

θ

$\theta$

Y_{1}, \dots, Y_{N}

$Y_1,\dots, Y_N$

μ_{i}

$\mu_i$

Por lo tanto, el estimador ingenuo es minimax óptimo hasta constante, y no hay mejor estimación de en este sentido. $\theta$

JaeHyeok Shin
fuente

¿La información adicional suministrada no está ayudando en absoluto? ¿Qué estadísticas adicionales pueden ser útiles?

Cagdas Ozgenc

Perdón por hacer un punto confuso. No quise decir que la información adicional (covarianza) no sea útil. Solo quería señalar que estimar un mínimo de varios medios de población es de naturaleza difícil. La información de covarianza debería ser útil. Por ejemplo, en el caso Normal, si tenemos correlaciones perfectas para todos los pares posibles, significa que las observaciones aleatorias provienen de una media diferente + un término de ruido común. En este caso, el estimador ingenuo (mínimo de medias muestrales) es imparcial.

JaeHyeok Shin

EDITAR: lo siguiente responde a una pregunta diferente a la que se hizo: se enmarca como si se considera aleatorio, pero no funciona cuando se considera fijo, que es probablemente lo que el OP tenía en mente. Si se soluciona , no tengo una mejor respuesta que $\mu$ $\mu$ $\mu$ $\min(\hat\mu_1,...,\hat\mu_n)$

Si solo consideramos las estimaciones de la media y la covarianza, podemos tratar como una sola muestra de distribución normal multivariada. Una manera simple de obtener una estimación del mínimo es extraer una gran cantidad de muestras de , calcular el mínimo de cada muestra y luego tomar la media de esos mínimos. $(\mu_1, ..., \mu_n)$ $MVN(\hat{\mu}, \Sigma)$

El procedimiento anterior y sus limitaciones se pueden entender en términos bayesianos: tomando la notación de Wikipedia en MVN , si es la covarianza conocida de los estimadores y tenemos una observación, la distribución posterior conjunta es , donde y se derivan de la anterior en la que, antes de observar cualquier dato tomamos la previa ). Como probablemente no esté dispuesto a poner prioridades en , podemos tomar el límite como , lo que da como resultado una prioridad plana y la posterior se convierte en $\Sigma$ $\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$ $\lambda_0$ $m$ $\mu \sim MVN(\lambda_0, m^{-1} \Sigma$ $\mu$ $m \rightarrow 0$ $\mu \sim MVN(\hat{\mu}, \Sigma)$ . Sin embargo, dado el plano anterior, suponemos implícitamente que los elementos de difieren mucho (si todos los números reales son igualmente probables, es muy poco probable obtener valores similares). $\mu$

Una simulación rápida muestra que la estimación con este procedimiento sobreestima ligeramente cuando los elementos de difieren mucho y subestima cuando los elementos son similares. Se podría argumentar que sin ningún conocimiento previo este es un comportamiento correcto. Si está dispuesto a indicar al menos alguna información previa (por ejemplo, ), los resultados podrían comportarse un poco mejor para su caso de uso. $min(\mu)$ $\mu$ $min(\mu)$ $m = 0.1$

Si está dispuesto a asumir más estructura, podría elegir una mejor distribución que la multivariete normal. También podría tener sentido usar Stan u otro muestreador MCMC para ajustar las estimaciones de en primer lugar. Esto le dará un conjunto de muestras de que reflejan la incertidumbre en los estimadores mismos, incluida su estructura de covarianza (posiblemente más rica de lo que MVN puede proporcionar). Una vez más, puede calcular el mínimo para cada muestra para obtener una distribución posterior sobre mínimos, y tomar la media de esta distribución si necesita una estimación puntual. $\mu$ $(\mu_1, ..., \mu_n)$

Martin Modrák
fuente

Tenga en cuenta que no estoy tratando de estimar el mínimo de N variables aleatorias. Estoy tratando de estimar el mínimo de N parámetros. Parece que su sugerencia es una estimación para mientras que necesito una estimación para

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})]

$E[min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]$

m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$min(\mu_1,\mu_2,...,\mu_n)$

Cagdas Ozgenc

Traté de editar la respuesta para explicar la lógica, espero que ayude.

Martin Modrák

Entonces, ¿este método de muestreo arroja mejores resultados en comparación con el estimador , que también funciona bien cuando está lejos separados y subestiman cuando están cerca. Para que sea útil, debería funcionar cuando están cerca.

m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})

$min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

μ_{i}

$\mu_i$

Cagdas Ozgenc

También tenga en cuenta que todos son números positivos, por lo que realmente no necesita la parte negativa de la línea real.

μ_{i}

$\mu_i$

Cagdas Ozgenc

Tienes razón en que ignoro los signos y no veo una manera simple de acomodarlos. Además, el estimador que propuse funciona mejor cuando se considera aleatorio, pero es peor que para fijo . No creo que pueda salvar esto y no estoy seguro de cuál es el mejor camino a seguir: me inclino a tratar de eliminar la respuesta, ya que en realidad no responde la pregunta, pero (espero) la respuesta también contiene algunas ideas que puede ser útil para alguien

μ

$\mu$

m i n (\hat{μ})

$min(\hat{\mu})$

μ

$\mu$

Martin Modrák