¿Es posible aplicar la divergencia KL entre distribución discreta y continua?

No soy matemático. He buscado en Internet sobre KL Divergence. Lo que aprendí es que la divergencia KL mide la información perdida cuando aproximamos la distribución de un modelo con respecto a la distribución de entrada. Los he visto entre dos distribuciones continuas o discretas. ¿Podemos hacerlo entre continuo y discreto o viceversa?

No: la divergencia KL solo se define en distribuciones sobre un espacio común. Pregunta sobre la densidad de probabilidad de un punto bajo dos distribuciones diferentes, p ( x ) y q ( x ) . Si p es una distribución en R 3 y q una distribución en Z , entonces q ( x ) no tiene sentido para los puntos p ∈ R 3 y p ( z ) no tiene sentido para los puntos z ∈ $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$. De hecho, ni siquiera podemos hacerlo para dos distribuciones continuas en espacios de diferentes dimensiones (o discretos, o en cualquier caso en que los espacios de probabilidad subyacentes no coincidan).

Si tiene un caso en particular en mente, puede ser posible llegar a una medida similar de disparidad entre las distribuciones. Por ejemplo, podría tener sentido codificar una distribución continua bajo un código para una discreta (obviamente con información perdida), por ejemplo, redondeando al punto más cercano en el caso discreto.

Sí, la divergencia KL entre variables aleatorias continuas y discretas está bien definida. Si y Q son distribuciones en algún espacio X , entonces P y Q tienen densidades f , g con respecto a μ = P + Q y D K L ( P , Q ) = ∫ X f log $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

$\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

No en general La divergencia KL es

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$