Error de aproximación del intervalo de confianza para la media cuando

Sea $\{X_i\}_{i=1}^n$ una familia de variables aleatorias iid que toman valores en $[0,1]$ , que tienen una media $\mu$ y una varianza $\sigma^2$ . P ( | ˉ X - μ | > ε ) ≤ σ 2 proporciona un intervalo de confianza simple para la media, usando $\sigma$ siempre que se conoce.

$$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$$

Además, porque $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$ se distribuye asintóticamente como una variable aleatoria normal estándar, la distribución normal a veces se usa para "construir" un intervalo de confianza aproximado.

---

En los exámenes de estadísticas de respuesta de opción múltiple, tuve que usar esta aproximación en lugar de $(1)$ cada vez que $n \geq 30$ . Siempre me he sentido muy incómodo con esto (más de lo que puedes imaginar), ya que el error de aproximación no está cuantificado.

---

• ¿Por qué usar la aproximación normal en lugar de $(1)$ ?

• No quiero, nunca más, aplicar ciegamente la regla $n \geq 30$ . ¿Existen buenas referencias que me puedan apoyar en una negativa a hacerlo y proporcionar alternativas apropiadas? ( $(1)$ es un ejemplo de lo que considero una alternativa apropiada).

Aquí, mientras $\sigma$ y $E[ |X|^3]$ son desconocidos, se limitan fácilmente.

Tenga en cuenta que mi pregunta es una solicitud de referencia, particularmente sobre los intervalos de confianza y, por lo tanto, es diferente de las preguntas sugeridas aquí como duplicados parciales. y aquí . No se responde allí.

¿Por qué usar la aproximación normal?

Es tan simple como decir que siempre es mejor usar más información que menos. La ecuación (1) usa el teorema de Chebyshev . Tenga en cuenta que no utiliza ninguna información sobre la forma de su distribución, es decir, funciona para cualquier distribución con una variación dada. Por lo tanto, si usa alguna información sobre la forma de su distribución, debe obtener una mejor aproximación. Si sabía que su distribución es gaussiana, al utilizar este conocimiento obtendrá una mejor estimación.

Como ya está aplicando el teorema del límite central, ¿por qué no usar la aproximación gaussiana de los límites? Serán mejores, en realidad, más ajustados (o más nítidos) porque estas estimaciones se basan en el conocimiento de la forma, que es una información adicional.

La regla general 30 es un mito, que se beneficia del sesgo de confirmación . Simplemente se sigue copiando de un libro a otro. Una vez encontré una referencia que sugería esta regla en un artículo en la década de 1950. No recuerdo ningún tipo de prueba sólida, según recuerdo. Fue una especie de estudio empírico. Básicamente, la única razón por la que se usa es porque funciona. No lo ves violado muy a menudo.

ACTUALIZACIÓN Busque el documento de Zachary R. Smith y Craig S. Wells " Teorema del límite central y tamaño de la muestra ". Presentan un estudio empírico de la convergencia a CLT para diferentes tipos de distribuciones. El número mágico 30 no funciona en muchos casos, por supuesto.

El problema con el uso de la desigualdad de Chebyshev para obtener un intervalo para el valor verdadero, es que solo le da un límite inferior para la probabilidad, que además a veces es trivial o, para no ser trivial, puede dar un margen muy amplio. intervalo de confianza. Tenemos

$$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$$

$$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$$

Vemos que, dependiendo también del tamaño de la muestra, si disminuimos "demasiado" obtendremos la respuesta trivial "la probabilidad es mayor que cero".$\varepsilon$

Aparte de eso, lo que obtenemos de este enfoque es una conclusión de la forma "" la probabilidad de que caiga en [ ˉ X ± ε ] es igual o mayor que ... "$\mu$$[\bar X \pm \varepsilon]$

Pero supongamos que somos buenos con esto, y denotamos la probabilidad mínima con la que nos sentimos cómodos. Entonces queremos$p_{min}$

$$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$$

Con tamaños de muestra pequeños y alta probabilidad mínima deseada, esto puede dar un intervalo de confianza insatisfactorio. Por ejemplo, para y n = 100 obtendremos ε ≈ .316 , que, por ejemplo, para la variable tratada por el OP que está limitada en [ 0 , 1 $p_{min} =0.9$$n=100$$\varepsilon \approx .316$$[0,1]$ parece ser demasiado grande para ser útil.

Pero el enfoque es válido y no tiene distribución, por lo que puede haber casos en los que puede ser útil.

Es posible que desee verificar también la desigualdad Vysochanskij – Petunin mencionada en otra respuesta, que se aplica a las distribuciones unimodales continuas y refina la desigualdad de Chebyshev.

La respuesta corta es que puede ir bastante mal, pero solo si una o ambas colas de la distribución de muestreo son realmente gordas .

Este código R genera un millón de conjuntos de 30 variables distribuidas en gamma y toma su media; se puede usar para tener una idea de cómo se ve la distribución muestral de la media. Si la aproximación normal funciona según lo previsto, los resultados deben ser aproximadamente normales con media 1 y varianza 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

Cuando shapees 1.0, la distribución gamma se convierte en una distribución exponencial , que es bastante no normal. Sin embargo, las partes no gaussianas generalmente se promedian, por lo que la aproximación gaussiana no es tan mala:

Claramente, hay un sesgo, y sería bueno evitar eso cuando sea posible. Pero, sinceramente, ese nivel de sesgo probablemente no será el mayor problema que enfrenta un estudio típico.

Dicho esto, las cosas pueden empeorar mucho. Con f(0.01), el histograma se ve así:

Sin embargo, la transformación logarítmica de los 30 puntos de datos muestreados antes del promedio ayuda mucho:

En general, las distribuciones con colas largas (en uno o ambos lados de la distribución) requerirán la mayor cantidad de muestras antes de que la aproximación gaussiana comience a ser confiable. Incluso hay casos patológicos en los que, literalmente, nunca habrá suficientes datos para que funcione la aproximación gaussiana, pero probablemente tendrá problemas más serios en ese caso (porque la distribución de muestreo no tiene una media o varianza bien definida para comenzar con).

Problema con el intervalo de confianza de Chebyshev

$\sigma^2 \le \frac{1}{4}$$\text{Var}(X) \le \mu(1-\mu)$$\mu$

$$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$ $n$$X_i$$\tfrac{1}{4}$$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$ where $\text{SF}$ is the survival function of the standard normal distribution. In particular, with $\varepsilon = 16$, we get $\text{SF}(16) \approx e^{-58}$ (according to Scipy), so that essentially $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$$ whereas the Chebyshev inequality implies $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$$ Note that I did not try to optimize the bound given in $(*)$, the result here is only of conceptual interest.

---

Comparing the lengths of the confidence intervals

Consider the $(1-\alpha)$-level confidence interval lengths $\ell_Z(\alpha, n)$ and $\ell_C(\alpha, n)$ obtained using the normal approximation ($\sigma = \tfrac{1}{2}$) and the Chebyshev inequality, repectively. It turns out that $\ell_C(\alpha, n)$ is a constant times bigger than $\ell_Z(\alpha, n)$, independently of $n$. Precisely, for all $n$,

$$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$$ where $\text{ISF}$ is the inverse survival function of the standard normal distribution. I plot below the multiplicative constant.

$\hskip 1in$

In particular, the $95\%$ level confidence interval obtained using the Chebyshev inequality is about $2.3$ times bigger than the same level confidence interval obtained using the normal approximation.

---

Using Hoeffding's bound

Hoeffding's bound gives

$$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$$ Thus an $(1-\alpha)$-level confidence interval for $\mu$ is $$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$$ of length $\ell_H (\alpha, n) = 2\varepsilon$. I plot below the lengths of the different confidence intervals (Chebyshev inequality: $\ell_C$; normal approximation ($\sigma = 1/2$): $\ell_Z$; Hoeffding's inequality: $\ell_H$) for $\alpha = 0.05$.

$\hskip 0.5in$

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

If you only want to use variance instead, dropping gaussian approximation, consider Vysochanskij–Petunin inequality over Chebichev's, it needs the assumption of unimodal distribution of the mean, but this is a very safe one with any sample size, I'd say, greater than 2.