¿Por qué es útil el bootstrapping?

Si todo lo que está haciendo es volver a tomar muestras de la distribución empírica, ¿por qué no solo estudiar la distribución empírica? Por ejemplo, en lugar de estudiar la variabilidad mediante muestreo repetido, ¿por qué no cuantificar la variabilidad a partir de la distribución empírica?

machine-learning mathematical-statistics sampling bootstrap resampling ztyh
fuente

" (En este sentido), la distribución bootstrap representa una distribución posterior (aproximada) no paramétrica, no informativa para nuestro parámetro. Pero esta distribución bootstrap se obtiene sin dolor, sin tener que especificar formalmente un previo y sin tener que tomar muestras de la distribución posterior. Por lo tanto podríamos pensar en la distribución de bootstrap como Bayes posterior "de un hombre pobre". Hastie et al. Los elementos del aprendizaje estadístico ". Sección 8.4.

ussr11852 dice Reinstate Monic

¿Cómo cuantificaríamos la incertidumbre de nuestras estimaciones a partir de la distribución empírica?

usεr11852 dice Reinstate Monic

"En condiciones de regularidad moderada, el bootstrap produce una aproximación a la distribución de un estimador o estadística de prueba que es al menos tan precisa como la aproximación obtenida de la teoría asintótica de primer orden". unc.edu/~saraswat/teaching/econ870/fall11/JH_01.pdf .

jbowman

Estás discutiendo, no tratando de entender. Créeme, no te has dado cuenta de que el bootstrap no tiene valor en comparación con el de muchos miles de estadísticos durante más de cuatro décadas. No leíste la cita cuidadosamente. Creo que no has podido comprender el papel clave que juega la aleatoriedad en las estadísticas. Declaraciones como "¡¿Por qué molestarse!" con respecto a "obtener una distribución de

son ... inusuales, por decir lo menos. Si no cree que sea importante comprender la distribución de sus estimaciones, es posible que desee considerar por qué existe el campo de la estadística en absoluto, y repensar eso.

T (X)

$T(X)$

jbowman

@ztyh Usted dice "si asigna cada muestra

obtendrá una distribución de

". Quizás deberías pensar en esto, ¿cómo

un solo punto

? O cualquier función

para el caso.

X

$X$

T (X)

$T(X)$

T (X)

$T(X)$

X_{i}

$X_i$

T (X) = \bar{X}

$T(X) = \bar{X}$

T (X_{1}, X_{2}, \dots X_{n})

$T(X_1, X_2, \cdots X_n)$

knrumsey

Respuestas:

Bootstrapping (u otro remuestreo) es un método experimental para estimar la distribución de una estadística.

Es un método muy sencillo y sencillo (solo significa que calcula con muchas variantes aleatorias de los datos de la muestra para obtener una estimación de la distribución deseada de la estadística).

Lo más probable es que lo use cuando la expresión 'teórica / analítica' sea demasiado difícil de obtener / calcular (o como aksakal dice que a veces son desconocidas).

Ejemplo 1: si realiza un análisis pca y desea comparar los resultados con "estimaciones de la desviación de los valores propios" dada la hipótesis de que no hay correlación en las variables.

Podría mezclar los datos muchas veces y volver a calcular los valores propios de pca de modo que obtenga una distribución (basada en pruebas aleatorias con los datos de muestra) para los valores propios.

Tenga en cuenta que las prácticas actuales están contemplando un diagrama de pantalla y aplican reglas generales para "decidir" si un determinado valor propio es significativo / importante o no.
Ejemplo 2: Hiciste una regresión no lineal y ~ f (x) proporcionándote una estimación del conjunto de parámetros para la función f. Ahora desea saber el error estándar para esos parámetros.

Aquí no es posible una simple mirada a los residuales y el álgebra lineal, como en OLS. Sin embargo, una manera fácil es calcular la misma regresión muchas veces con los residuos / errores revueltos para tener una idea de cómo variarían los parámetros (dado que la distribución del término de error puede ser modelada por los residuos observados).

Escrito por StackExchangeStrike

Sexto empírico
fuente

Creo que tu ejemplo no es un bootstrap. Es solo un muestreo de una distribución nula conocida. Bootstrap es donde tiene una muestra y muestra repetidamente otra vez de esa muestra.

ztyh

En su pregunta, imagina calcular la varianza de una muestra, que de hecho es simple y no requiere arranque. En mi ejemplo, hablo de una situación en la que tenemos un valor derivado de la muestra. Entonces ya no podemos simplemente calcular una varianza, aun así deseamos saber cómo varía. Al codificar los datos muchas veces y volver a calcular los valores propios de pca, puede obtener dichos datos de distribución (aleatorios) que siguen la distribución de su muestra. Si no me equivoco, esto se llama bootstrapping.

Sextus Empiricus

Ok, veo dónde estaba malentendiendo las cosas. Tu ejemplo tiene sentido. Gracias.

ztyh

La clave es que la rutina de arranque no se trata realmente de descifrar características de la distribución de los datos , sino de descifrar las características de un estimador aplicado a los datos.

Algo así como la función de distribución empírica le dirá una estimación bastante buena del CDF del que provienen los datos ... pero al aislarlo, no le dice esencialmente nada sobre cuán confiables serán los estimadores que construimos a partir de esos datos. Esta es la pregunta respondida usando bootstrap.

Acantilado
fuente

Usar la rutina de arranque (no paramétrica) para encontrar "la distribución de los datos" sería una risa: simplemente surge la función de distribución empírica, que es exactamente el conjunto de datos con el que comenzó el analista. Me recuerda al álgebra universitaria cuando "resolvía para X" y encontraba "X = X".

AdamO

SI sabe exactamente cuál es la distribución subyacente, entonces no necesita estudiarla. A veces, en ciencias naturales sabes exactamente la distribución.

SI conoce el tipo de distribución, solo necesita estimar sus parámetros y estudiarlos en el sentido que usted quiso decir. Por ejemplo, en algún momento sabes a priori que la distribución subyacente es normal. En algunos casos, incluso sabes lo que significa. Entonces, para lo normal, lo único que queda por descubrir es la desviación estándar. Obtiene la desviación estándar de la muestra y, voila, obtiene la distribución para estudiar.

SI no sabe cuál es la distribución, pero piensa que es una de las varias en la lista, entonces podría intentar ajustar esa distribución a los datos y elegir la que mejor se ajuste. ENTONCES estudias esa distribución.

FINALMENTE, a menudo no conoce el tipo de distribución con la que está tratando. Y no tiene una razón para creer que pertenece a una de las 20 distribuciones en las que R puede ajustar sus datos. ¿Qué vas a hacer? Ok, nos fijamos en las desviaciones medias y estándar, bien. Pero, ¿y si está muy sesgado? ¿Qué pasa si su curtosis es muy grande? y así. Realmente necesita saber todos los momentos de distribución para saber y estudiarlo. Entonces, en este caso, el bootstrapping no paramétrico es útil. No asumes mucho, y solo muestras de él, luego estudias sus momentos y otras propiedades.

Aunque el bootstrapping no paramétrico no es una herramienta mágica, tiene problemas. Por ejemplo, puede estar sesgado. Creo que el bootstrapping paramétrico es imparcial

Aksakal
fuente

Creo que incluso si no conociera la distribución verdadera, muchos momentos son fáciles de calcular. Así que creo que el problema no es no saber el tipo de distribución con la que está tratando. Más bien se trata de qué tipo de estadística estás tratando de estudiar. Algunas estadísticas pueden ser difíciles de calcular y solo entonces es útil el bootstrap.

ztyh

Al igual que en el comentario a la pregunta de usεr11852, en realidad tengo dudas acerca de los beneficios en lo que respecta a la computabilidad de las estadísticas, así ...

ztyh

En realidad creo que todavía es obvio. Usted asigna cada muestra a

\ln (x^{3} + x)

$\ln (x^3+x)$ . Luego, encontrar el cuantil es nuevamente un código de 1 línea. Entonces 2 líneas de código en total.

ztyh

Cuantil fue un ejemplo estúpido, te lo daré. intente decir malo en su lugar. en mi práctica tengo que pronosticar

x * z

$x*z$ o incluso funciones más complejas

f (x, z)

$f(x,z)$ dónde

x, z

$x,z$ son de una distribución conjunta desconocida. Necesito obtener propiedades del pronóstico final. Intenta eso con momentos. con bootstrapping es obvio.

Aksakal

Como siempre complicado

f

$f$ tal vez, todo lo que tienes que hacer es mapear las muestras de

x

$x$ y

z

$z$ a

f (x, z)

$f(x,z)$ . Luego estudie esas muestras mapeadas. Si puede utilizar de arranque, entonces eso significa que usted puede hacer esto, y esto es mucho más fácil ...

ztyh