¿Hay algún resultado que proporcione que el bootstrap sea válido si y solo si la estadística es uniforme?

En todo momento suponemos que nuestra estadística es una función de algunos datos que se extrae de la función de distribución ; La función de distribución empírica de nuestra muestra es . Entonces es la estadística vista como una variable aleatoria y es la versión de arranque de la estadística. Usamos como la distancia KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Hay "si y solo si" resultados para la validez de la rutina de carga si la estadística es una estadística lineal simple. Por ejemplo, el Teorema 1 de Mammen "¿Cuándo funciona el bootstrap?"

Si para alguna función arbitraria entonces el bootstrap funciona en el sentido de que si y solo si existe y modo que Donde podemos definir como alguna función de nuestra muestra y $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

También hay resultados más generales de que el bootstrap funciona para estadísticas generales, por ejemplo, el Teorema 1.6.3 del Submuestreo de Politis Romano y Wolf:

Suponga que $F$ se extrae de la clase de todas las distribuciones con soporte finito. Suponga que la estadística $\theta(\cdot)$ es Frechet diferenciable en $F$ con respecto a la norma supremum y que la derivada $g_F$ satisface $0 < \textrm{Var}_F[g_F(x)] < \infty$ . Entonces $\theta(F)$ es asintóticamente normal y el bootstrap funciona en el sentido del teorema anterior.

Me gustaría una versión 'if and only if' del segundo teorema. Esto requerirá una noción de suavidad diferente de la diferenciabilidad de Frechet porque Politis, Romano y Wolf (1999) muestran que la mediana de la muestra no es diferenciable por Frechet pero el arranque aún funciona. Sin embargo, la mediana de la muestra sigue siendo una función suave de los datos.

Hay algunos comentarios informales en Mammen de que la suavidad es necesaria:

Por lo general, la linealidad asintótica local parece ser necesaria para la consistencia de bootstrap

La cita es para:

van Zwet, W (1989). Charla impartida en la conferencia sobre "Métodos asintóticos para procedimientos informáticos intensivos en estadística" en Olberwolfach.

Pero no puedo encontrar ningún rastro de esta conversación, aparte de un puñado de citas.

probability mathematical-statistics bootstrap asymptotics consistency orizon
fuente

Excelente tema ¿Es correcto que todos los resultados citados sean asintóticos para tamaños de muestra que van al infinito?

Michael M

@ Michael Gracias y sí, todo es asintótico como . Por cierto, hay algunos trabajos recientes con resultados para muestras finitas (por ejemplo, arxiv.org/pdf/1212.6906.pdf ) pero es muy técnico.

n \to \infty

$n \rightarrow \infty$

orizon

Tema complicado Algunos dicen que bootstrap no funciona en general. van Zwer y col. dice que hay que tener cuidado con lo que se arranca . Creo que hay que establecer qué arrancar y qué no arrancar antes de que se justifiquen más pruebas.

Carl

Ahora actualicé la respuesta en respuesta al comentario de Mammen, espero que aclare aún más su confusión. Y si lo desea, puede explicar un poco sobre la aplicación que lo motiva a preguntar sobre la necesidad. Eso me ayudará a mejorar mi respuesta.

Henry.L

Respuestas:

$\blacksquare$ (1) ¿Por qué los estimadores de cuantiles no son diferenciables de Frechet pero su estimador de arranque todavía es consistente?

Necesita la diferenciabilidad de Hadamard (o diferenciabilidad compacta dependiendo de su fuente de referencia) como condición suficiente para que el bootstrap funcione en ese caso, la mediana y cualquier cuantil es diferenciable de Hadamard. La diferenciabilidad de Frechet es demasiado fuerte en la mayoría de las aplicaciones.

Como generalmente es suficiente para discutir un espacio polaco, allí desea un funcional localmente lineal para aplicar un argumento de compacidad típico para extender su resultado de coherencia a la situación global. Vea también el comentario de linealización a continuación.

El teorema 2.27 de [Wasserman] te dará una intuición de cómo el derivado de Hadamard es una noción más débil. Y el Teorema 3.6 y 3.7 de [Shao & Tu] proporcionará una condición suficiente para una consistencia débil en términos de la diferenciabilidad -Hadamard de la estadística funcional con el tamaño de observación . $\rho$ $T_{n}$ $n$

$\blacksquare$ (2) ¿Qué afectará la consistencia de los estimadores de bootstrap?

[Shao & Tu] págs. 85-86 ilustraron situaciones en las que puede ocurrir una inconsistencia de los estimadores de arranque.

(1) La rutina de carga es sensible al comportamiento de la cola de la población . La consistencia de requiere condiciones de momento que son más estrictas que las necesarias para la existencia del límite de . $F$ $H_{BOOT}$ $H_0$

(2) La consistencia del estimador de arranque requiere un cierto grado de suavidad de la estadística (funcional) dada . $T_{n}$

(3) El comportamiento del estimador de arranque a veces depende del método utilizado para obtener datos de arranque.

$K$

$\blacksquare$

En cuanto al comentario "La linealidad asintótica típicamente local parece ser necesaria para la consistencia de bootstrap" hecha por Mammen como usted mencionó. Un comentario de [Shao & Tu] p.78 es el siguiente, ya que comentaron que la linealización (global) es solo una técnica que facilita la prueba de consistencia y no indica ninguna necesidad:

$\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ $T_n^{*}$ $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

Y dieron un ejemplo 3.3 de cómo obtener la consistencia bootstrap para bootstrapping tipo MLE. Sin embargo, si la linealidad global es efectiva de esa manera, es difícil imaginar cómo se probaría la coherencia sin linealidad local. Así que supongo que eso es lo que Mammen quería decir.

$\blacksquare$

Más allá de la discusión proporcionada por [Shao & Tu] arriba, creo que lo que quiere es una condición de caracterización de consistencia de los estimadores de arranque.

$M(X)$ $T$ $CLT$

$M(X)$

Odio ser cínico pero sigo sintiendo que esta no es la única escritura estadística que está "citando del vacío". Al decir esto, simplemente siento que la cita de la charla de van Zwet es muy irresponsable, aunque van Zwet es un gran erudito.

$\blacksquare$

[Wasserman] Wasserman, Larry. Todas las estadísticas no paramétricas, Springer, 2010.

[Shao y Tu] Shao, Jun y Dongsheng Tu. La navaja y el bootstrap. Springer, 1995.

[Gine & Zinn] Giné, Evarist y Joel Zinn. "Bootstrapping medidas empíricas generales". Los Anales de Probabilidad (1990): 851-869.

[Huber] Huber, Peter J. Estadísticas robustas. Wiley, 1985.

Henry.L
fuente