¿El algoritmo EM estima consistentemente los parámetros en el modelo de mezcla gaussiana?

9

Estoy estudiando el modelo de mezcla gaussiana y se me ocurre esta pregunta.

Supongamos que los datos subyacentes se generan a partir de una mezcla de distribución Gaussiana y cada uno de ellos tiene un vector medio , donde y cada uno de ellos tiene el mismo coeficiente matriz de varianza y suponga que esta es una matriz diagonal. Y suponga que la relación de mezcla es , es decir, cada grupo tiene el mismo peso.μ kR p 1 k K Σ Σ 1 / KKμkRp1kKΣΣ1/K

Entonces, en este ejemplo ideal, el único trabajo es estimar los vectores medios , donde y la matriz de covarianza .μ kR p 1 k K ΣKμkRp1kKΣ

Mi pregunta es: si usamos el algoritmo EM, ¿podremos estimar consistentemente y , es decir, cuando el tamaño de la muestra , el estimador producido por el algoritmo EM alcanzará el verdadero valor de y ? Σ n μ k ΣμkΣnμkΣ

KevinKim
fuente

Respuestas:

1

Si el algoritmo se inicializa con valores aleatorios cada vez, entonces no, la convergencia no será necesariamente consistente. La inicialización no aleatoria probablemente producirá el mismo resultado cada vez, pero no creo que esto necesariamente produzca los valores "correctos" de .μk

Por otro lado, al fijar la relación de mezcla a y al fijar para que sea diagonal, el algoritmo se vuelve muy similar al algoritmo medias. Esto también tiene una convergencia inconsistente, dependiendo de la inicialización aleatoria.Σ k1/KΣk

dcorney
fuente
Experimenté numéricamente, al menos para 2 clases independientes de distribución normal, el EM produce un estimador consistente de la media de la clase. Sin embargo, K significa que no puede hacer eso, lo probé matemáticamente
KevinKim el
1
¿Podría dar más detalles por favor? Por ejemplo, los datos que estaba usando, cómo se inicializan los parámetros etc.
dcorney
De acuerdo con @dcorney. Realmente depende de los valores iniciales que elija. Al menos en la práctica, la elección incorrecta de los valores iniciales conduce a una estimación inconsistente (uso el paquete mixtools R)
German Demidov