¿Cuál es la diferencia Cross-entropy y KL divergence?

Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.

$$H(P,Q) = -\sum_x P(x)\log Q(x)$$ $$KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}}$$

Quiero conocerlos instintivamente.

Muchas gracias por adelantado.

Necesitará algunas condiciones para reclamar la equivalencia entre minimizar la entropía cruzada y minimizar la divergencia KL. Pondré su pregunta en el contexto de problemas de clasificación usando la entropía cruzada como funciones de pérdida.

Recordemos primero que la entropía se usa para medir la incertidumbre de un sistema, que se define como para como las probabilidades de diferentes estados del sistema. Desde el punto de vista de la teoría de la información, es la cantidad de información necesaria para eliminar la incertidumbre.

$$\begin{equation} S(v)=-\sum_ip(v_i)\log p(v_i)\label{eq:entropy}, \end{equation}$$ $p(v_i)$$v_i$$S(v)$

Por ejemplo, el evento A I will die eventuallyes casi seguro (tal vez podamos resolver el problema del envejecimiento de la palabra almost), por lo tanto, tiene una baja entropía que requiere solo la información the aging problem cannot be solvedpara asegurarlo. Sin embargo, el evento B The president will die in 50 yearses mucho más incierto que A, por lo tanto, necesita más información para eliminar las incertidumbres.

Ahora observe la definición de divergencia KL entre los eventos A y B donde el primer término del lado derecho es la entropía del evento A, el segundo término puede interpretarse como la expectativa del evento B en términos del evento A. Y el describe cuán diferente es B de A desde la perspectiva de A.

$$\begin{equation} D_{KL}(A\parallel B) = \sum_ip_A(v_i)\log p_A(v_i) - p_A(v_i)\log p_B(v_i)\label{eq:kld}, \end{equation}$$ $D_{KL}$

Para relacionar la entropía cruzada con la entropía y la divergencia KL, formalizamos la entropía cruzada en términos de eventos A y B como De las definiciones, podemos ver fácilmente Si es una constante, entonces minimizar es equivalente a minimizar .

$$\begin{equation} H(A, B) = -\sum_ip_A(v_i)\log p_B(v_i)\label{eq:crossentropy}. \end{equation}$$ $$\begin{equation} H(A, B) = D_{KL}(A\parallel B)+S_A\label{eq:entropyrelation}. \end{equation}$$ $S_A$$H(A, B)$$D_{KL}(A\parallel B)$

Una pregunta adicional sigue naturalmente cómo la entropía puede ser una constante. En una tarea de aprendizaje automático, comenzamos con un conjunto de datos (denotado como ) que representa el problema a resolver, y el propósito del aprendizaje es hacer que la distribución estimada del modelo (denotada como ) esté lo más cerca posible como sea posible a la verdadera distribución del problema (denotado como ). es desconocido y está representado por . Por lo tanto, en un mundo ideal, esperamos y minimizamos . Y afortunadamente, en la práctica$P(\mathcal D)$$P(model)$$P(truth)$$P(truth)$$P(\mathcal D)$

$$\begin{equation} P(model)\approx P(\mathcal D) \approx P(truth) \end{equation}$$ $D_{KL}(P(\mathcal D)\parallel P(model))$$\mathcal D$se da, lo que significa que su entropía se fija como una constante.$S(D)$

Supongo que es porque los modelos generalmente trabajan con las muestras empacadas en mini lotes. Para la divergencia KL y la entropía cruzada, su relación se puede escribir como De la ecuación, nosotros podría ver que la divergencia KL puede partir hacia una entropía cruzada de p y q (la primera parte), y una entropía global de la verdad fundamental p (la segunda parte).

$$H(q, p) = D_{KL}(p, q)+H(p) = -\sum_i{p_ilog(q_i)}$$

En muchos proyectos de aprendizaje automático, el minibatch está involucrado para acelerar la capacitación, donde la de un minibatch puede ser diferente de la global . En tal caso, la entropía cruzada es relativamente más robusta en la práctica, mientras que la divergencia de KL necesita un H (p) más estable para terminar su trabajo.$p'$$p$

Así es como lo pienso:

$$D_{KL}(p(y_i | x_i) \:||\: q(y_i | x_i, \theta)) = H(p(y_i | x_i, \theta), q(y_i | x_i, \theta)) - H(p(y_i | x_i, \theta)) \tag{1}\label{eq:kl}$$

dónde $p$ y $q$son dos distribuciones de probabilidad. En el aprendizaje automático, generalmente sabemos$p$, que es la distribución del objetivo. Por ejemplo, en un problema de clasificación binaria,$\mathcal{Y} = \{0, 1\}$, Así que si $y_i = 1$, $p(y_i = 1 | x) = 1$ y $p(y_i = 0 | x) = 0$, y viceversa. Dado cada$y_i \: \forall \: i = 1, 2, \ldots, N$, dónde $N$ es el número total de puntos en el conjunto de datos, generalmente queremos minimizar la divergencia KL $D_{KL}(p,q)$ entre la distribución del objetivo $p(y_i | x)$ y nuestra distribución prevista $q(y_i | x, \theta)$, promediado sobre todo $i$. (Lo hacemos ajustando los parámetros de nuestro modelo$\theta$. Por lo tanto, para cada ejemplo de entrenamiento, el modelo está escupiendo una distribución sobre las etiquetas de clase$0$ y $1$.) Para cada ejemplo, dado que el objetivo es fijo, su distribución nunca cambia. Así,$H(p(y_i | x_i))$ es constante para cada $i$, independientemente de los parámetros de nuestro modelo actual $\theta$son. Por lo tanto, el minimizador de$D_{KL}(p,q)$ es igual al minimizador de $H(p, q)$.

Si tuviste una situación donde $p$ y $q$ fueron variables (digamos, en las cuales $x_1\sim p$ y $x_2\sim q$ eran dos variables latentes) y deseaba hacer coincidir las dos distribuciones, entonces tendría que elegir entre minimizar $D_{KL}$ y minimizando $H(p, q)$. Esto es porque minimizando$D_{KL}$ implica maximizar $H(p)$ mientras minimiza $H(p, q)$ implica minimizar $H(p)$. Para ver esto último, podemos resolver la ecuación ($\ref{eq:kl}$) para $H(p,q)$:

$$H(p,q) = D_{KL}(p,q) + H(p) \tag{2}\label{eq:hpq}$$ El primero produciría una amplia distribución para $p$mientras que el último produciría uno que se concentra en uno o algunos modos. Tenga en cuenta que es su elección como profesional de ML si desea minimizar$D_{KL}(p, q)$ o $D_{KL}(q, p)$. Una pequeña discusión de esto se da en el contexto de inferencia variacional (VI) a continuación.

En VI, debes elegir entre minimizar $D_{KL}(p,q)$ y $D_{KL}(q,p)$, que no son iguales ya que la divergencia KL no es simétrica. Si una vez más tratamos$p$ como se conoce, luego minimizando $D_{KL}(p, q)$ daría lugar a una distribución $q$ que es nítido y enfocado en una o algunas áreas mientras minimiza $D_{KL}(q, p)$ daría lugar a una distribución $q$ que es amplio y cubre una amplia gama del dominio de $q$. Nuevamente, esto último se debe a que minimiza$D_{KL}(q, p)$ implica maximizar la entropía de $q$.