Los modelos de mezcla gaussiana (GMM) son atractivos porque son fáciles de trabajar tanto en el análisis como en la práctica, y son capaces de modelar algunas distribuciones exóticas sin demasiada complejidad. Hay algunas propiedades analíticas que deberíamos tener que no están claras en general. En particular:
- Supongamos que tenemos una distribución continua y hemos encontrado una mezcla gaussiana de componente N \ hat {P} que está cerca de P en variación total: \ delta (P, \ hat {P}) <\ varepsilon . ¿Podemos vincular D (P || \ hat {P}) en términos de \ epsilon ?P P δ ( P , P ) < ε D ( P | | P ) ε
- Si queremos observar través del ruido aditivo independiente (ambos reales, continuos), y tenemos GMMs donde , entonces este valor es pequeño: es decir , ¿ es cierto que estimar el ruido de a es tan difícil como estimar el ruido de a ?
- ¿Puedes hacerlo para modelos de ruido no aditivos como el ruido de Poisson?
Mi (breve) revisión de literatura hasta ahora acaba de aparecer tutoriales muy aplicados. ¿Alguien tiene alguna referencia que demuestre rigurosamente bajo qué condiciones estamos justificados en el uso de modelos de mezcla?
Respuestas:
En econometría, donde el contexto es de distribuciones mixtas de coeficientes en modelos logit, la referencia estándar es: MODELOS DE MNL MIXTO PARA RESPUESTA DISCRETA DANIEL MCFADDEN Y KENNETH TRAIN, DIARIO DE ECONOMETRÍA APLICADA, J. Appl. Econ. 15: 447-470 (2000).
fuente
Con respecto a sus preguntas:
fuente
Aquí hay una respuesta parcial.
No. Usted sólo puede esperar que una divergencia KL es pequeño si se sabe que Q 's colas son, finalmente, del mismo orden que P ' s. Esto no es cierto en general. No es difícil ver que para P Cauchy entonces para cualquier n , inf P ∈ S n D ( P | | P ) = ∞D(P∥Q) Q P P n
Se necesitan más condiciones sobre para decir eso.P
No. Se aplica el mismo ejemplo anterior.
No he podido probar esto, ya sea en general o usando la estructura aditiva adicional que hemos asumido en P, Q, o invento ningún contraejemplo.
Esto es ambiguo. En el contexto de la pregunta anterior, si la afirmación en esa respuesta se puede probar en general, entonces la respuesta es sí.
fuente