Prueba de comprensión de un lema utilizado en la desigualdad de Hoeffding

Estoy estudiando las notas de la conferencia de Larry Wasserman sobre Estadística que usa Casella y Berger como texto principal. Estoy trabajando a través de su conjunto de notas de clase 2 y me quedé atrapado en la derivación del lema utilizado en la desigualdad de Hoeffding (pp.2-3). Estoy reproduciendo la prueba en las notas a continuación y después de la prueba señalaré dónde estoy atascado.

Lema

Suponga que y que . Entonces \ mathbb {E} (e ^ {tX}) \ le e ^ {t ^ 2 (ba) ^ 2/8} .$\mathbb{E}(X) = 0$$a \le X \le b$$\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Prueba

Como $a \le X \le b$ , podemos escribir $X$ como una combinación convexa de $a$ y $b$ , es decir, $X = \alpha b + (1 - \alpha) a$ donde $\alpha = \frac{X-a}{b-a}$ . Por convexidad de la función $y \to e^{ty}$ tenemos

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Tome expectativas de ambos lados y use el hecho $\mathbb{E}(X) = 0$ para obtener

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

donde $u = t(b-a)$ , $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ y $\gamma = -a /(b-a)$ . Tenga en cuenta que $g(0) = g^{'}(0) = 0$ . También $g^{''}(u) \le 1/4$ para todo $u > 0$ .

Según el teorema de Taylor, hay un $\varepsilon \in (0, u)$ tal que $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Por lo tanto, $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Podría seguir la prueba hasta

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ pero no puedo entender cómo derivar .$u, g(u), \gamma$

No estoy seguro de haber entendido su pregunta correctamente. Trataré de responder: intenta escribir en función de : esto es natural ya que desea un límite en .

Ayudado por la experiencia, sabrá que es mejor elegir escribirlo en la forma . Entonces lleva a con .$e^{g(u)}$

¿Es ese el tipo de cosas que pedías?

Editar: algunos comentarios sobre la prueba

1. El primer truco merece ser examinado cuidadosamente: si es una función convexa y es una variable aleatoria centrada, entonces donde es la variable discreta definida por Como consecuencia, obtienes que es la variable centrada con soporte en que tiene la varianza más alta: Tenga en cuenta que si arreglamos un ancho de soporte$\phi$$a\le X\le b$ $$\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$$ $X_0$ $$\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$$ $X_0$$[a,b]$ $$\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$$ $(b-a)$, esto es menor que como Dilip dice en los comentarios, esto es porque ; el límite se alcanza para .$(b-a)^2\over 4$$(b-a)^2 + 4ab \ge 0$$a=-b$

2. Ahora pasa a nuestro problema. ¿Por qué es posible obtener un límite dependiendo solo de ? Intuitivamente, es solo una cuestión de reescalado de : si tiene un límite para el caso , entonces el límite general se puede obtener tomando . Ahora piense en el conjunto de variables centradas con soporte de ancho 1: no hay tanta libertad, por lo que debería existir un límite como . Otro enfoque es decir simplemente que según el lema anterior en , más generalmente , que depende solo de y$u = t(b-a)$$X$$\mathbb{E}\left( e^{tX} \right) \le s(t)$$b-a=1$$s( t(b-a) )$$s(t)$
   
   $\mathbb{E}(\phi(X))$$\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$$u$$\gamma$ : si arregla y , y deja que varíe, solo hay un grado de libertad, y , , . Obtenemos Usted sólo tiene que encontrar un límite que implica solamente .$u = u_0 = t_0 (b_0 - a_0)$$\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$$t, a, b$$t = {t_0 \over \alpha}$$a = \alpha a_0$$b = \alpha a_0$

   $$-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$$ $u$

3. Ahora estamos convencidos de que se puede hacer, ¡debe ser mucho más fácil! Para empezar , no necesariamente piensas en . El punto es que debes escribir todo en función de y . Primero tenga en cuenta que , , y . Entonces Ahora estamos en el caso particular ... I Creo que puedes terminar.$g$$u$$\gamma$
   
   $\gamma = -{a\over b-a}$$1 -\gamma = {b\over b-a}$$at = -\gamma u$$bt = (1-\gamma)u$

   $$\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$$
   
   $\phi=\exp$

Espero haberlo aclarado un poco.