Razón intuitiva por la cual la información de Fisher del binomio es inversamente proporcional a

Confunde / me sorprende que el Binomial tenga una varianza proporcional a . De manera equivalente, la información de Fisher es proporcional a $p(1-p)$ . ¿Cuál es la razón para esto? ¿Por qué se minimiza la información de Fisher enp=0.5? Es decir, ¿por qué la inferencia es más difícil enp=0.5?$\frac{1}{p(1-p)}$$p=0.5$$p=0.5$

Contexto:

Estoy trabajando en una calculadora de tamaño de muestra, y la fórmula para , el tamaño de muestra necesario, es un factor creciente de p ( 1 - p ) , el resultado de una estimación de varianza en la derivación.$N$$p(1-p)$

Para ver, de manera intuitiva, que la varianza se maximiza en , tome p igual a 0.99 (resp. P = 0.01 ). Entonces, una muestra de X ∼ Bernoulli ( p ) probablemente contendrá muchos 1 's (resp. 0 ' s) y solo unos pocos 0 's (resp. 1 ' s). No hay mucha variación allí.$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

$p$$\hat p$$p$$p$

Sin embargo, creo que la intuición es más fácil cuando se mira en términos de variación.

$p$$p$

$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

$y$

Las funciones de probabilidad correspondientes:

En cada caso, preste atención a las líneas que marcan la media. A medida que la línea media se atasca más contra la barrera, los puntos por debajo de la media solo pueden llegar un poco más abajo.

$p = \frac{1}{2}$

$\hat p$$p$

[Esta forma de intuición no nos dice por qué toma esa forma funcional exacta, pero deja en claro por qué la varianza debe ser pequeña cerca de los extremos, y hacerse más pequeña cuanto más se acerque a los extremos.]

La información de Fisher es la varianza de la función de puntuación. Y está relacionado con la entropía. Para una prueba de Bernoulli, estamos obteniendo un bit por cada prueba. Entonces, esta información de Fisher tiene propiedades similares a la entropía de Shannon, como era de esperar. En particular, la entropía tiene un máximo de 1/2 y la información tiene un mínimo de 1/2.