Tengo problemas para derivar la fórmula de divergencia KL suponiendo dos distribuciones normales multivariadas. He hecho el caso univariado con bastante facilidad. Sin embargo, ha pasado bastante tiempo desde que tomé las estadísticas de matemáticas, por lo que tengo algunos problemas para extenderlo al caso multivariante. Estoy seguro de que solo me falta algo simple.
Esto es lo que tengo ...
Suponga que y q son los pdf de distribuciones normales con medias μ 1 y μ 2 y varianzas Σ 1 y Σ 2 , respectivamente. La distancia Kullback-Leibler de q a p es:
, que para dos normales multivariantes es:
Siguiendo la misma lógica que esta prueba , llego aquí antes de quedar atrapado:
Creo que tengo que implementar el truco de rastreo , pero no estoy seguro de qué hacer después de eso. Cualquier sugerencia útil para volver a ponerme en el camino correcto sería apreciada.
Respuestas:
Comenzando por donde comenzó con algunas correcciones leves, podemos escribir
Tenga en cuenta que he usado un par de propiedades de la Sección 8.2 del Matrix Cookbook .
fuente