¿Cuál es el valor máximo de la divergencia Kullback-Leibler (KL)

Voy a usar la divergencia de KL en mi código de Python y obtuve este tutorial .

En ese tutorial, implementar la divergencia de KL es bastante simple.

kl = (model * np.log(model/actual)).sum()

Según tengo entendido, la distribución de probabilidad de modely actualdebería ser <= 1.

Mi pregunta es, ¿cuál es el límite máximo / valor máximo posible de k ?. Necesito saber el valor máximo posible de la distancia kl en cuanto al límite máximo en mi código.

O incluso con el mismo soporte, cuando una distribución tiene una cola mucho más gorda que la otra. Tome cuando luego y Existen otras distancias que permanecen acotadas comop ( x ) = densidad de Cauchy ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ KL(P||Q)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• la distancia , equivalente a la distancia de variación total,$L¹$
• las distancias de Wasserstein
• la distancia de Hellinger

Para distribuciones que no tienen el mismo soporte, la divergencia de KL no está limitada. Mira la definición:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

si P y Q no tienen el mismo soporte, existe algún punto donde y , haciendo que KL vaya al infinito. Esto también es aplicable para distribuciones discretas, que es su caso. p ( x ′ ) ≠ 0 q ( x ′ ) = $x'$$p(x') \neq 0$$q(x') = 0$

Editar: Quizás una mejor opción para medir la divergencia entre las distribuciones de probabilidad sería la llamada distancia de Wasserstein, que es una métrica y tiene mejores propiedades que la divergencia KL. Se ha vuelto bastante popular debido a sus aplicaciones en aprendizaje profundo (ver redes WGAN)

Para agregar a las excelentes respuestas de Carlos y Xi'an , también es interesante observar que una condición suficiente para que la divergencia KL sea finita es que ambas variables aleatorias tengan el mismo soporte compacto y que la densidad de referencia esté limitada . Este resultado también establece un límite implícito para el máximo de la divergencia KL (ver el teorema y la prueba a continuación).

---

Teorema: Si la densidad de y tienen el mismo soporte compacto y la densidad es limitado en que el apoyo (es decir, es tiene un finito límite superior), entonces .q X p K L ( P | | Q ) < $p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Prueba: dado que tiene soporte compacto esto significa que hay algún valor mínimo positivo:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Del mismo modo, dado que tiene soporte compacto esto significa que hay un valor de supremum positivo:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Además, dado que ambas son densidades en el mismo soporte, y la última está limitada, tenemos . Esto significa que:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Ahora, dejando que sea ​​el último límite superior, claramente tenemos so ese:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Esto establece el límite superior requerido, lo que demuestra el teorema. $\blacksquare$