¿Por qué una mezcla de dos variables normalmente distribuidas es solo bimodal si sus medias difieren en al menos dos veces la desviación estándar común?

28

Bajo mezcla de dos distribuciones normales:

https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions

"Una mezcla de dos distribuciones normales tiene cinco parámetros para estimar: las dos medias, las dos variaciones y el parámetro de mezcla. Una mezcla de dos distribuciones normales con desviaciones estándar iguales es bimodal solo si sus medias difieren al menos dos veces la desviación estándar común ".

Estoy buscando una derivación o explicación intuitiva de por qué esto es cierto. Creo que puede explicarse en forma de una prueba t de dos muestras:

\frac{μ_{1} - μ_{2}}{σ_{p}}

$\frac{\mu_1-\mu_2}{\sigma_p}$

donde $\sigma_p$ es la desviación estándar agrupada.

bimodal M Waz
fuente

1

la intuición es que, si los medios están demasiado cerca, entonces habrá demasiada superposición en la masa de las 2 densidades, por lo que no se verá la diferencia en los medios porque la diferencia simplemente quedará atrapada con la masa de los dos densidades Si las dos medias son lo suficientemente diferentes, entonces las masas de las dos densidades no se superpondrán tanto y la diferencia en las medias será perceptible. Pero me gustaría ver una prueba matemática de esto. Es una declaración interesante. Nunca lo vi antes.

mlofton

2

Más formalmente, para una mezcla 50:50 de dos distribuciones normales con la misma SD

si escribe la densidad

σ,

$\sigma,$

en forma completa mostrando los parámetros, usted verá que su segunda derivada cambia de signo en el punto medio entre los dos medios cuando la distancia entre los medios aumenta de menos de

a arriba.

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x) = 0.5g_1(x) + 0.5g_2(x)$

2 σ

$2\sigma$

BruceET

1

Consulte "Criterio de Rayleigh", en.wikipedia.org/wiki/Angular_resolution#Explanation

Carl Witthoft

53

Esta figura del artículo vinculado en ese artículo wiki proporciona una buena ilustración:

La prueba que proporcionan se basa en el hecho de que las distribuciones normales son cóncavas dentro de una SD de su media (la SD es el punto de inflexión del pdf normal, donde va de cóncavo a convexo). Por lo tanto, si agrega dos archivos PDF normales juntos (en proporciones iguales), siempre que sus medias difieran en menos de dos SD, la suma-pdf (es decir, la mezcla) será cóncava en la región entre las dos medias, y por lo tanto el máximo global debe estar en el punto exactamente entre las dos medias.

Referencia: Schilling, MF, Watkins, AE y Watkins, W. (2002). ¿La altura humana es bimodal? El estadístico estadounidense, 56 (3), 223–229. doi: 10.1198 / 00031300265

Ruben van Bergen
fuente

11

+1 Este es un argumento agradable y memorable.

whuber

2

La leyenda de la figura también proporciona una buena ilustración de la ligadura 'fl' rendida erróneamente en 'inflexión'

:-P

2

@Axeman: Gracias por agregar esa referencia, ya que esto explotó un poco, había planeado agregarlo yo mismo, ya que realmente solo estoy repitiendo su argumento y no quiero tomar demasiado crédito por eso.

Ruben van Bergen

14

Este es un caso en el que las imágenes pueden ser engañosas, porque este resultado es una característica especial de las mezclas normales : ¡un análogo no es válido necesariamente para otras mezclas, incluso cuando los componentes son distribuciones unimodales simétricas! Por ejemplo, una mezcla igual de dos distribuciones t de Student separadas por un poco menos del doble de su desviación estándar común será bimodal. Para una comprensión real, entonces, tenemos que hacer algunas matemáticas o apelar a las propiedades especiales de las distribuciones normales.

Elija las unidades de medida (volviendo a centrar y reescalando según sea necesario) para colocar las medias de las distribuciones de componentes en $\pm\mu,$ $\mu\ge 0,$ y para hacer su unidad de varianza común. Sea $p,$ $0 \lt p \lt 1,$ la cantidad del componente medio mayor en la mezcla. Esto nos permite expresar la densidad de la mezcla en generalidad como

\sqrt{2 π} f (x; μ, p) = p \exp (- \frac{(x - μ)^{2}}{2}) + (1 - p) \exp (- \frac{(x + μ)^{2}}{2}) .

$\sqrt{2\pi}f(x;\mu,p) = p \exp\left(-\frac{(x-\mu)^2}{2}\right) + (1-p) \exp\left(-\frac{(x+\mu)^2}{2}\right).$

Debido a que las densidades de ambos componentes aumentan donde $x\lt -\mu$ y disminuyen donde $x\gt \mu,$ los únicos modos posibles ocurren donde $-\mu\le x \le \mu.$ Encuéntralos diferenciando $f$ con respecto a $x$ y ajustándolo a cero. Borrar los coeficientes positivos que obtenemos

0 = - e^{2 x μ} p (x - μ) + (1 - p) (x + μ) .

$0 = -e^{2x\mu} p(x-\mu) + (1-p)(x+\mu).$

Realizando operaciones similares con la segunda derivada de $f$ y reemplazando $e^{2x\mu}$ por el valor determinado por la ecuación anterior nos dice que el signo de la segunda derivada en cualquier punto crítico es el signo de

f^{''} (x; μ, p) \propto \frac{(1 + x^{2} - μ^{2})}{x - μ} .

$f^{\prime\prime}(x;\mu,p) \propto \frac{(1+x^2-\mu^2)}{x-\mu}.$

Como el denominador es negativo cuando $-\mu\lt x \lt \mu,$ el signo de $f^{\prime\prime}$ es el de $-(1-\mu^2 + x^2).$ Está claro que cuando $\mu\le 1,$ el signo debe ser negativo. Sin embargo, en una distribución multimodal (debido a que la densidad es continua), debe haber un antimodo entre dos modos, donde el signo no es negativo. Por lo tanto, cuando $\mu$ es menor que $1$ (SD), la distribución debe ser unimodal.

Como la separación de las medias es de $2\mu,$ la conclusión de este análisis es

Una mezcla de distribuciones normales es unimodal cuando las medias están separadas por no más del doble de la desviación estándar común.

Eso es lógicamente equivalente a la declaración en la pregunta.

whuber
fuente

12

Comentario desde arriba pegado aquí para continuidad:

"[F] formalmente, para una mezcla 50:50 de dos distribuciones normales con la misma SD σ, si escribe la densidad

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x)=0.5g_1(x)+0.5g_2(x)$ en forma completa mostrando el parámetros, verá que su segunda derivada cambia de signo en el punto medio entre los dos medios cuando la distancia entre los medios aumenta de debajo de 2σ a arriba ".

Comentario continuado:

$\sigma=1.$ $3\sigma, 2\sigma,$ $\sigma,$

Código R para la figura:

par(mfrow=c(1,3))
  curve(dnorm(x, 0, 1)+dnorm(x,3,1), -3, 7, col="green3", 
    lwd=2,n=1001, ylab="PDF", main="3 SD: Dip")
  curve(dnorm(x, .5, 1)+dnorm(x,2.5,1), -4, 7, col="orange", 
    lwd=2, n=1001,ylab="PDF", main="2 SD: Flat")
  curve(dnorm(x, 1, 1)+dnorm(x,2,1), -4, 7, col="violet", 
    lwd=2, n=1001, ylab="PDF", main="1 SD: Peak")
par(mfrow=c(1,3))

BruceET
fuente

1

Todas las respuestas fueron geniales. Gracias.

mlofton

3

2 / 3

$2/3$

0.001.

$0.001.$

1

0.1 %

$0.1\%$

f

$f$

x_{0})

$x_0)$

f (x_{0}) - f (x) \leq 0.001 f (x_{0}) ⟺ | x - x_{0} | \leq 0.333433,

$f(x_0)-f(x)\le 0.001 f(x_0)\ \iff\ |x-x_0|\le 0.333433,$

0.001

$0.001$

0.95832

$0.95832$

f (x_{0}) - f (x) \leq 0.001 ⟺ | x - x_{0} | \leq 0.47916.

$f(x_0)-f(x)\le 0.001\ \iff\ |x-x_0|\le 0.47916.$

Buenos puntos. En realidad, lo que quise decir con lenguaje abreviado 'plano' era cero segunda derivada exactamente en el punto medio.

BruceET

¿Por qué una mezcla de dos variables normalmente distribuidas es solo bimodal si sus medias difieren en al menos dos veces la desviación estándar común?

Respuestas: