¿Cómo calcular la perplejidad de una reserva con la asignación de Dirichlet latente?

Estoy confundido acerca de cómo calcular la perplejidad de una muestra reservada cuando se realiza la Asignación de Dirichlet Latente (LDA). Los documentos sobre el tema brillan sobre él, haciéndome pensar que me falta algo obvio ...

La perplejidad se ve como una buena medida de rendimiento para LDA. La idea es mantener una muestra reservada, entrenar su LDA en el resto de los datos y luego calcular la perplejidad de la reserva.

La perplejidad podría estar dada por la fórmula:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(Tomado de la recuperación de imágenes en bases de datos de imágenes a gran escala, Horster et al .)

Aquí es el número de documentos (en la muestra de prueba, presumiblemente), w d representa las palabras en el documento d , N d el número de palabras en el documento d .$M$$\mathbb{w}_d$$d$$N_d$$d$

Para mí no está claro cómo calcular con sensatez , ya que no tenemos mezclas de temas para los documentos extendidos. Idealmente, deberíamos integrarnos sobre el Dirichlet antes de todas las posibles mezclas de temas y usar los temas multinomiales que aprendimos. Sin embargo, calcular esta integral no parece una tarea fácil.$p(\mathbb{w}_d)$

Alternativamente, podríamos intentar aprender una combinación óptima de temas para cada documento extendido (dados nuestros temas aprendidos) y usar esto para calcular la perplejidad. Esto sería factible, sin embargo, no es tan trivial como parecen sugerir documentos como Horter et al y Blei et al, y no me queda claro de inmediato que el resultado sea equivalente al caso ideal anterior.

Esto es de hecho algo que a menudo se pasa por alto.

Algunas personas están haciendo algo un poco descarado: mostrar una proporción de las palabras en cada documento, y dar usando probabilidades predictivas de estas palabras extendidas dadas las mezclas de documento-tema, así como las mezclas de tema-palabra. Obviamente, esto no es ideal, ya que no evalúa el rendimiento de los documentos retenidos.

Para hacerlo correctamente con documentos retenidos, como se sugiere, es necesario "integrar sobre el Dirichlet antes de todas las posibles mezclas de temas". http://people.cs.umass.edu/~wallach/talks/evaluation.pdf revisa algunos métodos para abordar esta integral ligeramente desagradable. De hecho, estoy a punto de intentar implementar esto, ¡así que buena suerte!

Sabemos que los parámetros de LDA se estiman mediante inferencia variacional. Entonces

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$

$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$