¿Por qué necesitamos Bootstrapping?

Actualmente estoy leyendo "Todas las estadísticas" de Larry Wasserman y estoy desconcertado por algo que escribió en el capítulo sobre la estimación de funciones estadísticas de modelos no paramétricos.

El escribio

"A veces podemos encontrar el error estándar estimado de una función estadística haciendo algunos cálculos. Sin embargo, en otros casos no es obvio cómo estimar el error estándar".

Me gustaría señalar que en el próximo capítulo habla sobre bootstrap para abordar este problema, pero dado que realmente no entiendo esta declaración, ¿no entiendo completamente el incentivo detrás de Bootstrapping?

¿Qué ejemplo hay para cuando no es obvio cómo estimar el error estándar?

Todos los ejemplos que he visto hasta ahora han sido "obvios" como luego $X_1,...X_n ~Ber(p)$ $\hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}$

self-study estimation bootstrap standard-error Shookie
fuente

Estoy encontrando muchos ejemplos en un sitio de búsqueda de otras respuestas que proponen un arranque . Incluyen stats.stackexchange.com/questions/14213 , stats.stackexchange.com/questions/63979 , stats.stackexchange.com/questions/25218 y mucho más.

whuber

Respuestas:

Dos respuestas

¿Cuál es el error estándar de la razón de dos medios? ¿Cuál es el error estándar de la mediana? ¿Cuál es el error estándar de cualquier estadística compleja? Tal vez haya una ecuación de forma cerrada, pero es posible que nadie la haya resuelto todavía.
Para usar la fórmula para (digamos) el error estándar de la media, debemos hacer algunas suposiciones. Si se violan esos supuestos, no necesariamente podemos usar el método. Como @Whuber señala en los comentarios, bootstrapping nos permite relajar algunos de estos supuestos y, por lo tanto, podría proporcionar errores estándar más apropiados (aunque también puede hacer supuestos adicionales).

Jeremy Miles
fuente

La respuesta 1 está bien, pero la respuesta 2 parece plantear la pregunta, porque el arranque también hace suposiciones. Supongo que el punto podría ser que normalmente hace suposiciones diferentes que otros procedimientos populares, pero esa es solo mi suposición sobre lo que está tratando de decir y podría estar equivocado.

whuber

@Whuber: gracias, he agregado un poco de aclaración.

Jeremy Miles

Gracias por las ediciones. Pero, ¿no es el caso que el bootstrapping generalmente hace suposiciones diferentes , en lugar de relajar algunas? Por ejemplo, los supuestos necesarios para estimar un SE de una media muestral son que los datos son id y la distribución subyacente tiene una varianza finita. El bootstrap en realidad tiene que agregar suposiciones en este caso: no funciona a menos que el tamaño de la muestra sea "suficientemente grande". Aunque esto puede parecer una disputa sobre los tecnicismos, lo que estoy tratando de abordar es el panorama general: el arranque no es ni una panacea ni siempre es aplicable.

whuber

@JeremyMiles, el bootstrap no está libre de suposiciones. Debe verificar que la distribución es fundamental para la mayoría de los cálculos de errores de arranque, que a menudo pueden ser más complicados que obtener un estimador consistente para un error estándar. Además, la relación de medias tiene una aproximación de error muy fácil obtenida del método δ. Así que no creo que ese ejemplo desafíe el punto del OP.

AdamO

Un ejemplo podría ayudar a ilustrar. Supongamos, en un marco de modelado causal, que está interesado en determinar si la relación entre (una exposición de interés) un (un resultado de interés) está mediada por una variable . Esto significa que en los dos modelos de regresión: $X$ $Y$ $W$

\begin{array}{rcl} E [Y | X] & = & β_{0} + β_{1} X \\ E [Y | X, W] & = & γ_{0} + γ_{1} X + γ_{2} W \end{array}

$\begin{eqnarray} E[Y|X] &=& \beta_0 + \beta_1 X \\ E[Y|X, W] &=& \gamma_0 + \gamma_1 X + \gamma_2 W \\ \end{eqnarray}$

El efecto es diferente al efecto . $\beta_1$ $\gamma_1$

Como ejemplo, considere la relación entre fumar y el riesgo cardiovascular (CV). Fumar obviamente aumenta el riesgo de CV (para eventos como ataque cardíaco y accidente cerebrovascular) al hacer que las venas se vuelvan frágiles y calcificadas. Sin embargo, fumar también es un supresor del apetito. Por lo tanto, sería curioso saber si la relación estimada entre fumar y el riesgo CV está mediada por el IMC, que independientemente es un factor de riesgo para el riesgo CV. Aquí podría ser un evento binario (infarto de miocardio o neurológico) en un modelo de regresión logística o una variable continua como la calcificación arterial coronaria (CAC), la fracción de eyección del ventrículo izquierdo (FEVI) o la masa ventricular izquierda (LVM). $Y$

Encajaríamos dos modelos 1: ajuste por fumar y el resultado junto con otros factores de confusión como la edad, el sexo, los ingresos y los antecedentes familiares de enfermedad cardíaca y luego 2: todas las covariables anteriores, así como el índice de masa corporal. La diferencia en el efecto de fumar entre los modelos 1 y 2 es donde basamos nuestra inferencia.

Estamos interesados en probar las hipótesis

\begin{array}{rcl} H & : & β_{1} = γ_{1} \\ K & : & β_{1} \neq γ_{1} \end{array}

$\begin{eqnarray} \mathcal{H} &:& \beta_1 = \gamma_1\\ \mathcal{K} &:& \beta_1 \ne \gamma_1\\ \end{eqnarray}$

Una posible medida del efecto podría ser: o o cualquier cantidad de mediciones. Se pueden utilizar los estimadores usuales para y . El error estándar de estos estimadores es muy complicado de derivar. Sin embargo, el arranque de la distribución de ellos es una técnica comúnmente aplicada, y es fácil calcular el valor directamente a partir de eso. $T = \beta_1 - \gamma_1$ $S = \beta_1 / \gamma_1$ $T$ $S$ $p$

AdamO
fuente

Creo que entiendo a dónde vas con esta respuesta, pero estoy desconcertado por los detalles. ¿Pretendía poner sombreros sobre los parámetros en sus descripciones de y ? El texto parece que estos deberían ser propiedades de un modelo en lugar de estimadores. ¿Qué sentido tiene mezclar las propiedades de dos modelos diferentes como este? Si realmente quisiste decir sombreros, entonces y son estadísticas, aparentemente para usarse como estimadores, pero ¿qué pretenden estimar?

T

$T$

S

$S$

T

$T$

S

$S$

whuber

@whuber Creo que tienes razón en que en notación convencional no usan sombreros. Haré la edición. Quizás no estaba lo suficientemente claro ... hay dos parámetros para el mismo ajuste de variable en dos modelos diferentes en el mismo conjunto de datos. Es muy difícil calcular directamente el error estándar de las estadísticas

T

$T$

S

$S$

AdamO

La única forma en que he podido entender esto es entender el segundo modelo que se anida en el primero, de modo que la hipótesis que está probando es

. Ni siquiera sé de una definición válida de "hipótesis" que involucre dos modelos separados.

γ_{2} = 0

$\gamma_2 = 0$

whuber

@whuber Ah, veo la confusión. Vea un artículo recomendado de MacKinnon aquí .

AdamO

Gracias: esa referencia me ayuda a entender su ejemplo mucho mejor. Aunque tengo reservas sobre los muchos solecismos teóricos involucrados en ese enfoque, son irrelevantes para la idoneidad de su ejemplo: es suficiente que las personas realmente hayan intentado comprender los datos de esta manera y hayan visto la necesidad de estimar los errores estándar para los estimadores de

. Sin embargo, noto que su último párrafo todavía no distingue entre

y su estimador:

es una propiedad modelo y, como tal, no tiene distribución ni SE. Un estimador de

tiene una distribución.

T

$T$

S

$S$

T

$T$

T

$T$

T

$T$

whuber

Tener soluciones paramétricas para cada medida estadística sería deseable pero, al mismo tiempo, bastante poco realista. Bootstrap es útil en esos casos. El ejemplo que me viene a la mente se refiere a la diferencia entre dos medios de distribuciones de costos muy sesgadas. En ese caso, la prueba t clásica de dos muestras no cumple con sus requisitos teóricos (las distribuciones de las cuales se extrajeron las muestras bajo investigación seguramente se apartan de la normalidad, debido a su larga cola derecha) y las pruebas no paramétricas no se transmiten información útil para los tomadores de decisiones (que generalmente no están interesados en los rangos). Una posible solución para evitar detenerse en ese tema es una prueba t de arranque de dos muestras.

Carlo Lazzaro
fuente