Valor máximo del coeficiente de variación para el conjunto de datos acotado

En la discusión que siguió a una pregunta reciente sobre si la desviación estándar puede exceder la media, se planteó una pregunta brevemente pero nunca se respondió por completo. Entonces lo estoy preguntando aquí.

Considere un conjunto de $n$ números no negativos $x_i$ donde $0 \leq x_i \leq c$ para $1 \leq i \leq n$ . No es necesario que sea ​​distinto, es decir, el conjunto podría ser un conjunto múltiple. La media y la varianza del conjunto se definen como y la desviación estándar es . Tenga en cuenta que el conjunto de números no es$x_i$

$$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i, ~~ \sigma_x^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \bar{x}^2$$ $\sigma_x$una muestra de una población y no estamos estimando una media poblacional o una varianza poblacional. La pregunta entonces es:

¿Cuál es el valor máximo de , el coeficiente de variación, sobre todas las opciones de las 's en el intervalo ?$\dfrac{\sigma_x}{\bar{x}}$$x_i$$[0,c]$

El valor máximo que puedo encontrar para $\frac{\sigma_x}{\bar{x}}$ es $\sqrt{n-1}$ que se logra cuando $n-1$ de $x_i$ tiene el valor $0$ y el resto (atípico) $x_i$ tiene valor $c$ , dando

$$\bar{x} = \frac{c}{n},~~ \frac{1}{n}\sum x_i^2 = \frac{c^2}{n} \Rightarrow \sigma_x = \sqrt{\frac{c^2}{n} - \frac{c^2}{n^2}} = \frac{c}{n}\sqrt{n-1}.$$ Pero esto no depende de $c$ en absoluto, y me pregunto si se pueden lograr valores mayores, posiblemente dependientes de $n$ y $c$ .

¿Algunas ideas? Estoy seguro de que esta pregunta se ha estudiado anteriormente en la literatura estadística, por lo que las referencias, si no los resultados reales, serían muy apreciadas.

La geometría proporciona información y las desigualdades clásicas permiten un fácil acceso al rigor.

Solución geométrica

Sabemos, por la geometría de los mínimos cuadrados , que es la proyección ortogonal del vector de datos x = ( x 1 , x 2 , ... , x n ) sobre El subespacio lineal generado por el vector constante ( 1 , 1 , ... , 1 ) y que σ $\mathbf{\bar{x}} = (\bar{x}, \bar{x}, \ldots, \bar{x})$$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$(1,1,\ldots,1)$$\sigma_x$es directamente proporcional a la distancia (euclidiana) entre y ˉ x . Las restricciones de no negatividad son lineales y la distancia es una función convexa, por lo que los extremos de la distancia deben alcanzarse en los bordes del cono determinados por las restricciones. Este cono es el orante positivo en R n y sus bordes son los ejes de coordenadas, de donde se deduce inmediatamente que todos menos uno de los x i deben ser cero en las distancias máximas. Para tal conjunto de datos, un cálculo directo (simple) muestra σ x / ˉ x = $\mathbf{x}$$\mathbf{\bar{x}}.$$\mathbb{R}^n$$x_i$$\sigma_x/\bar{x}=\sqrt{n}.$

Solución que explota las desigualdades clásicas

se optimiza simultáneamente con cualquier transformación monotónica de los mismos. A la luz de esto, maximicemos$\sigma_x/\bar{x}$

$$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} = \frac{1}{n}\left(\frac{n-1}{n}\left(\frac{\sigma_x}{\bar{x}}\right)^2+1\right) = f\left(\frac{\sigma_x}{\bar{x}}\right).$$

(La fórmula para puede parecer misteriosa hasta que se dé cuenta de que solo registra los pasos que se tomarían al manipular algebraicamente σ x / ˉ x para obtener una forma de aspecto simple, que es el lado izquierdo).$f$$\sigma_x/\bar{x}$

Una manera fácil comienza con la desigualdad de Holder ,

$$x_1^2+x_2^2+\ldots+x_n^2 \le \left(x_1+x_2+\ldots+x_n\right)\max(\{x_i\}).$$

(Esto no necesita una prueba especial en este contexto simple: simplemente reemplace un factor de cada término por el componente máximo max ( { x i } ) : obviamente la suma de los cuadrados no disminuirá. el término común max ( { x i } ) produce el lado derecho de la desigualdad).$x_i^2 = x_i \times x_i$$\max(\{x_i\})$$\max(\{x_i\})$

Debido a que no son todos 0 (eso dejaría σ x / ˉ x indefinido), la división por el cuadrado de su suma es válida y da la desigualdad equivalente$x_i$$0$$\sigma_x/\bar{x}$

$$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} \le \frac{\max(\{x_i\})}{x_1+x_2+\ldots+x_n}.$$

Debido a que el denominador no puede ser menor que el numerador (que en sí mismo es solo uno de los términos en el denominador), el lado derecho está dominado por el valor , que se logra solo cuando todos menos uno de x i son iguales a 0 . De dónde$1$$x_i$$0$

$$\frac{\sigma_x}{\bar{x}} \le f^{-1}\left(1\right) = \sqrt{\left(1 \times (n - 1)\right)\frac{n}{n-1}}=\sqrt{n}.$$

Enfoque alternativo

Dado que no es negativo y no puede sumar 0 , los valores p ( i ) = x i / ( x 1 + x 2 + … + x n ) determinan una distribución de probabilidad F en { 1 , 2 , … , n } . Escribiendo s para la suma de x i , reconocemos$x_i$$0$$p(i) = x_i/(x_1+x_2+\ldots+x_n)$$F$$\{1,2,\ldots,n\}$$s$$x_i$

$$\eqalign{ \frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} &= \frac{x_1^2+x_2^2+\ldots+x_n^2}{s^2} \\ &= \left(\frac{x_1}{s}\right)\left(\frac{x_1}{s}\right)+\left(\frac{x_2}{s}\right)\left(\frac{x_2}{s}\right) + \ldots + \left(\frac{x_n}{s}\right)\left(\frac{x_n}{s}\right)\\ &= p_1 p_1 + p_2 p_2 + \ldots + p_n p_n\\ &= \mathbb{E}_F[p]. }$$

El hecho axiomático de que ninguna probabilidad puede exceder implica que esta expectativa tampoco puede exceder 1 , pero es fácil hacerlo igual a 1 estableciendo que todos menos uno de los p i sean iguales a 0 y, por lo tanto, exactamente uno de los x i no es cero. Calcule el coeficiente de variación como en la última línea de la solución geométrica anterior.$1$$1$$1$$p_i$$0$$x_i$

Algunas referencias, como pequeñas velas en los pasteles de otros:

Katsnelson y Kotz (1957) demostraron que mientras todos , entonces el coeficiente de variación no puede exceder $x_i \ge 0$ . Este resultado fue mencionado anteriormente por Longley (1952). Cramér (1946, p.357) demostró un resultado menos agudo, y Kirby (1974) demostró un resultado menos general.$\sqrt{n − 1}$

Cramér, H. 1946. Métodos matemáticos de estadística . Princeton, NJ: Princeton University Press.

Katsnelson, J. y S. Kotz. 1957. En los límites superiores de algunas medidas de variabilidad. Archiv für Meteorologie, Geophysik und Bioklimatologie , Serie B 8: 103-107.

Kirby, W. 1974. Límite algebraico de estadísticas de muestra. Water Resources Research 10: 220–222.

Longley, RW 1952. Medidas de la variabilidad de la precipitación. Monthly Weather Review 80: 111–117.

Encontré estos papeles trabajando en

Cox, NJ 2010. Los límites de la asimetría de la muestra y la curtosis. Stata Journal 10: 482-495.

que analiza límites ampliamente similares en asimetría y curtosis basadas en momentos.

With two numbers $x_i \ge x_j$, some $\delta \gt 0$ and any $\mu$:

$$(x_i+\delta - \mu)^2 + (x_j - \delta - \mu)^2 - (x_i - \mu)^2 - (x_j - \mu)^2 = 2\delta(x_i - x_j +\delta) \gt 0.$$

Applying this to $n$ non-negative datapoints, this means that unless all but one of the $n$ numbers are zero and so cannot be reduced further, it is possible to increase the variance and standard deviation by widening the gap between any pair of the data points while retaining the same mean, thus increasing the coefficient of variation. So the maximum coefficient of variation for the data set is as you suggest: $\sqrt{n-1}$.

$c$ should not affect the result as $\frac{\sigma_x}{\bar{x}}$ does not change if all the values are multiplied by any positive constant $k$ (as I said in my comment).