Cómo demostrar que

He estado tratando de establecer la desigualdad

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

donde es la media muestral y la desviación estándar muestral, es decir . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Es fácil ver que y así pero esto no está muy cerca de lo que estaba buscando, ni es un límite útil. He experimentado con las desigualdades de Cauchy-Schwarz y el triángulo, pero no he ido a ninguna parte. Debe haber un paso sutil que me estoy perdiendo en alguna parte. Agradecería un poco de ayuda, gracias. $\sum_{i=1}^n T_i^2 = n-1$ $\left| T_i \right| < \sqrt{n-1}$

self-study descriptive-statistics bounds JohnK
fuente

Respuestas:

Esta es la desigualdad de Samuelson y necesita el signo . Si toma la versión de Wikipedia y la modifica para la definición de encontrará que se convierte en $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

Soakley
fuente

Se da como una desigualdad estricta en el libro, pero lo he solucionado, gracias.

JohnK

Después de simplificar el problema mediante procedimientos de rutina, se puede resolver convirtiéndolo en un programa de minimización dual que tenga una respuesta bien conocida con una prueba elemental. Quizás esta dualización es el "paso sutil" al que se hace referencia en la pregunta. La desigualdad también se puede establecer de una manera puramente mecánica maximizandoa través de multiplicadores de Lagrange. $|T_i|$

Primero, sin embargo, ofrezco una solución más elegante basada en la geometría de mínimos cuadrados. No requiere una simplificación preliminar y es casi inmediato, lo que proporciona una intuición directa del resultado. Como se sugiere en la pregunta, el problema se reduce a la desigualdad de Cauchy-Schwarz.

Solución geométrica

Considere como un vector -dimensional en el espacio euclidiano con el producto de puntos habitual. Sea ser el vector base y . Escriba y para las proyecciones ortogonales de y en el complemento ortogonal de . (En terminología estadística, son los residuos con respecto a los medios). Entonces, dado que y $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{i} | = \sqrt{n - 1} \frac{| \hat{x} \cdot y |}{| | \hat{x} | |} = \sqrt{n - 1} \frac{| \hat{x} \cdot \hat{y} |}{| | \hat{x} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

es el componente de en la dirección . Por Cauchy-Schwarz, se maximiza exactamente cuando es paralelo a , para los cuales QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Por cierto, esta solución proporciona una caracterización exhaustiva de todos los casos dondeestá maximizado: son todos de la forma $|T_i|$

x = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

para todo real . $\mu, \sigma$

Este análisis se generaliza fácilmente al caso donde se reemplaza por cualquier conjunto de regresores. Evidentemente, el máximo de es proporcional a la longitud del residuo de ,. $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Simplificación

Debido a que es invariante bajo los cambios de ubicación y escala, podemos suponer sin pérdida de generalidad que suma a cero y sus cuadrados suman . Esto identificacon, ya que (el cuadrado medio) es . Maximizarlo equivale a maximizar . Tampoco se pierde generalidad tomando , ya que son intercambiables. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Solución a través de una formulación dual

Un doble problema es arreglar el valor de y preguntar qué valores de restantes se necesitan para minimizar la suma de cuadrados dado que . Como se da , este es el problema de minimizar dado que . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

La solución se encuentra fácilmente de muchas maneras. Uno de los más elementales es escribir

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

para el cual . Expandir la función objetivo y usar esta identidad de suma a cero para simplificarla produce $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

mostrar inmediatamente la solución única es para todo . Para esta solución $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

| T_{i} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Solución a través de maquinaria

Regrese al programa simplificado con el que comenzamos:

Maximize X_{1}^{2}

$\text{Maximize } X_1^2$

sujeto a

\sum_{i = 1}^{n} X_{i} = 0 and \sum_{i = 1}^{n} X_{i}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

El método de los multiplicadores de Lagrange (que es casi puramente mecánico y directo) equipara a cero una combinación lineal no trivial de los gradientes de estas tres funciones:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Componente por componente, estas ecuaciones son $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Los últimos de ellos implican o . (Podemos descartar el último caso porque la primera ecuación implica , trivializando la combinación lineal). La restricción de suma a cero produce . La restricción de la suma de cuadrados proporciona las dos soluciones $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Ambos ceden

| T_{i} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

whuber
fuente

Gracias por su anexo, la geometría es muy poderosa y de las tres soluciones es la más intuitiva para mí.

JohnK

La desigualdad como se dijo es verdad. Es bastante claro intuitivamente que obtenemos el caso más difícil para la desigualdad (es decir, maximizando el lado izquierdo para dado ) eligiendo un valor, digamos tan grande como sea posible mientras todos los demás son iguales. Veamos un ejemplo con dicha configuración: $S^2$ $x_1$

n = 4, x_{1} = x_{2} = x_{3} = 0, x_{4} = 4, \bar{x} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ ahora dependiendo de , mientras que el límite superior dado es igual a que es solo suficiente. Esa idea se puede completar a prueba.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

EDITAR

Ahora probaremos el reclamo, como se indicó anteriormente. Primero, para cualquier vector dado en este problema, podemos reemplazarlo con sin cambiar ninguno de los lados de la desigualdad anterior. Entonces, en lo siguiente supongamos que . También podemos volver a etiquetar asumir que es el más grande. Luego, al elegir primero y luego podemos verificar mediante álgebra simple que tenemos igualdad en la desigualdad reclamada. Entonces, es agudo. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Luego, defina la región (convexa) por para una constante positiva dada . Tenga en cuenta que es la intersección de un hiperplano con una esfera centrada en el origen, por lo que es una esfera en el espacio . Nuestro problema ahora se puede formular como desde una $R$

R = {x \in R : \bar{x} = 0, \sum (x_{i} - \bar{x})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

max_{x \in R} max_{i} | x_{i} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ maximizar ese será el caso más difícil para la desigualdad. Este es un problema de encontrar el máximo de una función convexa sobre un conjunto convexo, que en general son problemas difíciles (¡los mínimos son fáciles!). Pero, en este caso, la región convexa es una esfera centrada en el origen, y la función que queremos maximizar es el valor absoluto de las coordenadas. Es obvio que ese máximo se encuentra en la esfera límite de , y tomandomáximo, nuestro primer caso de prueba es forzado.

R

$R$

| x_{1} |

$|x_1|$

kjetil b halvorsen
fuente

@JohnK puedes eliminar tus comentarios ahora, la publicación está corregida

kjetil b halvorsen

Aunque esta respuesta muestra que la desigualdad (suponiendo que sea verdadera, lo que es) es estrecha , no es evidente cómo ese cálculo único podría "completarse como una prueba". ¿Podría dar alguna indicación de cómo se haría eso?

whuber

Will, pero mañana, ahora tengo que preparar la clase de mañana.

kjetil b halvorsen

Gracias, agradezco su cuidadosa formulación del problema. Pero su "prueba" parece llegar a la afirmación de que "es obvio eso". Siempre puede aplicar multiplicadores de Lagrange para terminar el trabajo, pero sería bueno ver un enfoque que (a) en realidad sea una prueba y (b) proporcione información.

whuber

@whuber Si tiene tiempo, le agradecería que publique su solución de multiplicadores de Lagrange. Creo que la desigualdad en general no es tan famosa como debería ser.

JohnK