¿Para qué distribuciones hay un estimador imparcial de forma cerrada para la desviación estándar?

Para la distribución normal, hay un estimador imparcial de la desviación estándar dada por:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

La razón por la cual este resultado no es tan conocido parece ser que es en gran parte una curiosidad y no una cuestión de gran importancia . La prueba está cubierta en este hilo ; aprovecha una propiedad clave de la distribución normal:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

A partir de ahí, con un poco de trabajo, es posible tomar la expectativa $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ , y mediante la identificación de esta respuesta como un múltiplo de $\sigma$ , podemos deducir el resultado para. $\hat{\sigma}_\text{unbiased}$

Esto me deja curioso sobre qué otras distribuciones tienen un estimador imparcial de forma cerrada de la desviación estándar. A diferencia del estimador imparcial de la varianza, esto es claramente específico de la distribución. Además, no sería sencillo adaptar la prueba para encontrar estimadores para otras distribuciones.

Las distribuciones de asimetría normal tienen algunas propiedades distributivas agradables para sus formas cuadráticas, de las cuales la propiedad de distribución normal que utilizamos es efectivamente un caso especial (dado que lo normal es un tipo especial de asimetría normal), por lo que quizás no sería tan difícil extienda este método a ellos. Pero para otras distribuciones parecería que se requiere un enfoque completamente diferente.

¿Existen otras distribuciones para las cuales se conocen dichos estimadores?

mathematical-statistics standard-deviation unbiased-estimator Lepisma
fuente

Si ignora las distracciones técnicas, la naturaleza de la respuesta se vuelve más clara. En el caso Normal, poco de lo que escribe es realmente relevante para la conclusión; lo único que importa es que la cantidad de sesgo en este estimador particular es una función de

solo (y no depende de otros parámetros de distribución que deben estimarse a partir de los datos).

n

$n$

whuber

@whuber Creo que puedo ver la idea general que estás insinuando, y claramente "la función de

solo" es necesaria. Pero no creo que sea suficiente: si no tuviéramos acceso a algunos buenos resultados de distribución, entonces no puedo ver cómo el aspecto de "forma cerrada" sería manejable.

n

$n$

Silverfish

Depende de lo que quieras decir con "forma cerrada". Por ejemplo, para una persona una función theta puede estar "cerrada" pero para otra es solo un producto infinito, una serie de potencia o una integral compleja. Ahora que lo pienso, eso es precisamente lo que es una función Gamma :-).

whuber

@whuber Buen punto! Por "la cantidad de sesgo en este estimador particular", entiendo que quiere decir que el sesgo en

(en lugar del estimador enumerado en la pregunta, que tiene sesgo cero) es una función de

(y también en

, pero afortunadamente de tal manera que podamos reorganizar fácilmente para encontrar un estimador imparcial)?

s

$s$

n

$n$

σ

$\sigma$

Silverfish

@whuber: Debería haber una fórmula similar para cualquier familia de escala de ubicación, con la advertencia que señaló que la función de

puede ser una integral intratable.

n

$n$

Xi'an

Respuestas:

Aunque esto no está directamente relacionado con la pregunta, hay un artículo de 1968 de Peter Bickel y Erich Lehmann que establece que, para una familia convexa de distribuciones , existe un estimador imparcial de una funcional (para un tamaño de muestra suficientemente grande) si y solo si es un polinomio en $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Este teorema no se aplica al problema aquí porque la colección de distribuciones gaussianas no es convexa (una mezcla de gaussianos no es gaussiana).

Una extensión del resultado en la pregunta es que cualquier potencia de la desviación estándar se puede estimar imparcialmente, siempre que haya suficientes observaciones cuando . Esto se desprende del resultado $\sigma^\alpha$ $\alpha<0$ quees el parámetro de escala (y único) para.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Este ajuste normal se puede extender a cualquier familia de escala de ubicación con una varianza finita . En efecto,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

la varianza es solo una función de ; ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
la suma de cuadrados tiene una expectativa de la forma; $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ $\tau^2\psi(n)$
$E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$

Xi'an
fuente

Un caso probablemente bien conocido, pero un caso sin embargo.
Considere una distribución uniforme continua $U(0,\theta)$ . Dada una muestra iid, la estadística de orden máxima, $X_{(n)}$ tiene valor esperado

mi (X_{(norte)}) = \frac{norte}{norte + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

La desviación estándar de la distribución es

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

Entonces el estimador

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{norte + 1}{norte} X_{(norte)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

es evidentemente imparcial para $\sigma$ .

Esto se generaliza en el caso en que el límite inferior de la distribución también se desconoce, ya que podemos tener un estimador imparcial para el Rango, y luego la desviación estándar es nuevamente una función lineal del Rango (como está esencialmente arriba también).

Esto ejemplifica el comentario de @ whuber, que "la cantidad de sesgo es una función de $n$ solo "(más posiblemente cualquier constante conocida), por lo que se puede corregir de manera determinista . Y este es el caso aquí.

Alecos Papadopoulos
fuente

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

Silverfish

@Silverfish Pobre de qué manera? Algunas simulaciones rápidas muestran que esto tiene un MSE más bajo que la desviación estándar habitual (lo que me sorprendió).

Dave el

@Dave ¡Interesante! Había llegado a la conclusión de que sería pobre ya que solo miraba la estadística de orden máxima, ¡pero yo también estoy sorprendido! Muestra el valor de hacer una simulación ...

Silverfish