¿Cuál es la varianza de la mezcla ponderada de dos gaussianos?

39

Digamos que tengo dos distribuciones normales A y B con medias y y varianzas y . Quiero tomar una mezcla ponderada de estas dos distribuciones usando pesos y donde y . Sé que la media de esta mezcla sería .μ B σ A σ B p q 0 p 1 q = 1 - p μ A B = ( p × μ A ) + ( q × μ B )μAμBσAσBpq0p1q=1pμAB=(p×μA)+(q×μB)

¿Cuál sería la varianza?


Un ejemplo concreto sería si supiera los parámetros para la distribución de la altura masculina y femenina. Si tuviera una habitación de personas que era 60% masculina, podría producir la altura media esperada para toda la habitación, pero ¿qué pasa con la variación?

JoFrhwld
fuente
Re terminología: la mezcla simplemente tiene una media y una varianza; no tiene sentido en la calificación de éstos como "espera", a menos que esté dando a entender que tal vez p y q debe ser considerado como variables aleatorias.
whuber
Sé que la mezcla de dos distribuciones gaussianas es identificable. Pero si las dos distribuciones tienen los mismos emans? Es decir: ¿es identificable la mezcla de dos distribuciones normales con los mismos medios y diferentes desviaciones estándar? ¿Hay documentos en este contexto? Gracias de antemano
1
Hay una pregunta similar con respuestas (que trata también de las COVARIANZAS) aquí: math.stackexchange.com/q/195911/96547
hplieninger

Respuestas:

63

La varianza es el segundo momento menos el cuadrado del primer momento, por lo que es suficiente para calcular los momentos de las mezclas.

En general, dadas las distribuciones con archivos PDF y pesos constantes (no aleatorios) p i , el PDF de la mezcla esfipi

f(x)=ipifi(x),

de donde se deduce inmediatamente por cualquier momento quek

μ(k)=Ef[xk]=ipiEfi[xk]=ipiμi(k).

He escrito para el momento k t h de f y μ ( k ) i para el momento k t h de f i .μ(k)kthfμi(k)kthfi

Usando estas fórmulas, la varianza se puede escribir

Var(f)=μ(2)(μ(1))2=ipiμi(2)(ipiμi(1))2.

De manera equivalente, si las varianzas de se dan como σ 2 i , entonces μ ( 2 ) i = σ 2 i + ( μ ( 1 ) i ) 2 , permitiendo que la varianza de la mezcla f se escriba en términos de variaciones y medios de sus componentes comofiσi2μi(2)=σi2+(μi(1))2f

Var(f)=ipi(σi2+(μi(1))2)(ipiμi(1))2=ipiσi2+ipi(μi(1))2(ipiμi(1))2.

En palabras, esta es la varianza promedio (ponderada) más la media cuadrática promedio menos el cuadrado de la media promedio. Como la cuadratura es una función convexa, la desigualdad de Jensen afirma que la media cuadrática promedio no puede ser menor que el cuadrado de la media promedio. Esto nos permite entender que la fórmula indica que la varianza de la mezcla es la mezcla de las varianzas más un término no negativo que explica la dispersión (ponderada) de las medias.

En su caso, la varianza es

pAσA2+pBσB2+[pAμA2+pBμB2(pAμA+pBμB)2].

Podemos interpretar que esta es una mezcla ponderada de las dos varianzas, , más un término de corrección (necesariamente positivo) para dar cuenta de los cambios de las medias individuales en relación con la media general de la mezcla.pAσA2+pBσB2

La utilidad de esta variación en la interpretación de los datos, como la que figura en la pregunta, es dudosa, porque la distribución de la mezcla no será Normal (y puede apartarse sustancialmente de ella, en la medida en que exhiba bimodalidad).

whuber
fuente
8
In particular, noting that pA+pB=1, your last expression simplifies to σ2=μ(2)μ2=pAσA2+pBσB2+pApB(μAμB)2.
Ilmari Karonen
2
Or, if we do impose a probabilistic explanation for a mixture density (there is an event A of probabiity pA and the conditional density of X given A is N(μA,σA2) while the conditional density of X given Ac=B is N(μB,σB2)), then var(X) is the sum of the mean of the conditional variance plus the variance of the conditional mean. The latter is a discrete RV Y with values μA,μB with probabilities p and q and your expression in square brackets is readily recognized to be E[Y2](E[Y])2.
Dilip Sarwate
1
@Neodyme By definition, the variance is the second moment minus the mean squared. Therefore, the second moment is the variance plus the mean squared.
whuber
1
@Neodyme use E(X)=μ.
whuber
1
@Kiran Although in some cases the mixture might look Normal, it will not be. One way to see that is to compute its excess kurtosis using the formulas given here. It will be nonzero unless all the standard deviations are equal--in which case the "mixture" isn't really a mixture in the first place.
whuber