Diferentes tipos de covarianza para modelos de mezcla gaussiana

Mientras probaba los modelos de mezcla gaussiana aquí , encontré estos 4 tipos de covarianzas.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Busqué mucho en Google para encontrar más detalles sobre cada uno de estos tipos, pero solo encontré descripciones de muy alto nivel (como esta ).

Aprecio si alguien puede ayudarme a entender esto, o al menos dirigirme a algún lugar donde pueda leer sobre esto.

Una distribución gaussiana está completamente determinada por su matriz de covarianza y su media (una ubicación en el espacio). La matriz de covarianza de una distribución gaussiana determina las direcciones y longitudes de los ejes de sus contornos de densidad, todos los cuales son elipsoides.

Estos cuatro tipos de modelos de mezcla se pueden ilustrar en general utilizando el caso bidimensional. En cada una de estas gráficas de contorno de la densidad de la mezcla, dos componentes se ubican en y con pesos y respectivamente. Los diferentes pesos harán que los conjuntos de contornos se vean ligeramente diferentes incluso cuando las matrices de covarianza sean las mismas, pero las formas generales de los contornos individuales seguirán siendo similares para matrices idénticas.( 4 , 5 ) 3 / 5 2 /$(0,0)$$(4,5)$$3/5$$2/5$

Al hacer clic en la imagen, se mostrará una versión con mayor resolución.

NB Estas son gráficas de las mezclas reales, no de los componentes individuales. Debido a que los componentes están bien separados y tienen un peso comparable, los contornos de la mezcla se parecen mucho a los contornos de los componentes (excepto en niveles bajos donde pueden distorsionarse y fusionarse, como se muestra en el centro de la gráfica "atada", por ejemplo).

• Completo significa que los componentes pueden adoptar independientemente cualquier posición y forma.

• Atado significa que tienen la misma forma, pero la forma puede ser cualquier cosa.

• Diagonal significa que los ejes del contorno están orientados a lo largo de los ejes de coordenadas, pero de lo contrario las excentricidades pueden variar entre los componentes.

• La Diagonal atada es una situación "atada" en la que los ejes del contorno están orientados a lo largo de los ejes de coordenadas. (He agregado esto porque inicialmente fue cómo malinterpreté "diagonal").

• Esférica es una situación "diagonal" con contornos circulares (esférica en dimensiones superiores, de ahí el nombre).

Esto exhibe una gama de la mezcla más general posible a un tipo muy específico de mezcla. Son posibles otras restricciones (más complicadas), especialmente en dimensiones más altas donde el número de parámetros crece rápidamente. (Una matriz de covarianza en dimensiones se describe mediante parámetros independientes).n ( n + 1 ) /$n$$n(n+1)/2$