Aprendí acerca de la intuición detrás de la divergencia de KL sobre cuánto difiere una función de distribución del modelo de la distribución teórica / verdadera de los datos. La fuente que estoy leyendo pasa a decir que la comprensión intuitiva de 'distancia' entre estas dos distribuciones es útil, pero no debe tomarse literalmente, porque para dos distribuciones $P$ y $Q$ , el KL divergencia no es simétrica en $P$ y $Q$ .

No estoy seguro de cómo entender la última declaración, ¿o es aquí donde se rompe la intuición de 'distancia'?

Agradecería un ejemplo simple pero perspicaz.

Una distancia (métrica) $D$ debe ser simétrica, es decir, $D(P,Q) = D(Q,P)$ . Pero, por definición, $KL$ no lo es.

Ejemplo: , P ( A ) = 0.2 , P ( B ) = 0.8 , Q ( A ) = Q ( B ) = 0.5 .$\Omega = \{A,B\}$$P(A) = 0.2, P(B) = 0.8$$Q(A) = Q(B) = 0.5$

Tenemos:

$$KL(P,Q) = P(A)\log \frac{P(A)}{Q(A)} + P(B) \log \frac{P(B)}{Q(B)} \approx 0.19$$

y

$$KL(Q,P) = Q(A)\log \frac{Q(A)}{P(A)} + Q(B) \log \frac{Q(B)}{P(B)} \approx 0.22$$

así y, por lo tanto, K L no es una distancia (métrica).$KL(P,Q) \neq KL(Q,P)$$KL$

Agregando a las otras excelentes respuestas, una respuesta con otro punto de vista que tal vez pueda agregar algo más de intuición, que se solicitó.

La divergencia Kullback-Leibler es Si tiene dos hipótesis sobre qué distribución está generando los datos X , P y Q , entonces p ( x

$$\DeclareMathOperator{\KL}{KL} \KL(P || Q) = \int_{-\infty}^\infty p(x) \log \frac{p(x)}{q(x)} \; dx$$ $X$$P$$Q$ es la razón de verosimilitud para probarH0:QcontraH1:P. Vemos que la divergencia Kullback-Leibler anterior es entonces el valor esperado de la razón de verosimilitud bajo la hipótesis alternativa. Entonces,KL(P||Q)es una medida de la dificultad de este problema de prueba, cuandoQes la hipótesis nula. Entonces la asimetríaKL(P||Q)≠KL(Q||P$\frac{p(x)}{q(x)}$$H_0 \colon Q$$H_1 \colon P$$\KL(P || Q)$$Q$$\KL(P || Q) \not= \KL(Q || P)$ simplemente refleja la asimetría entre hipótesis nula y alternativa.

Veamos esto en un ejemplo particular. Sea la distribución t ν y Q la distribución normal estándar (en el examen numérico a continuación ν = 1 ). La integral que define la divergencia parece complicada, así que simplemente usemos la integración numérica en R:$P$$t_\nu$$Q$$\nu=1$

> lLR_1  <-  function(x) {dt(x, 1, log=TRUE)-dnorm(x, log=TRUE)}  
> integrate(function(x) dt(x, 1)*lLR_1(x), lower=-Inf, upper=Inf)
Error in integrate(function(x) dt(x, 1) * lLR_1(x), lower = -Inf, upper = Inf) : 
  the integral is probably divergent

> lLR_2  <-  function(x) {-dt(x, 1, log=TRUE)+dnorm(x, log=TRUE)}  
> integrate(function(x) dnorm(x)*lLR_2(x), lower=-Inf, upper=Inf)
0.2592445 with absolute error < 1e-07

En el primer caso, la integral parece divergir numéricamente, lo que indica que la divergencia es muy grande o infinita, en el segundo caso es pequeña, resumiendo: El primer caso se verifica por integración simbólica analítica en respuesta por @ Xi'an aquí:¿Cuál es el valor máximo de la divergencia Kullback-Leibler (KL).

$$\KL(P || Q) \approx \infty \\ \KL(Q || P) \approx 0.26$$

$t_1$$t_1$$t_1$$t_1$$n=1$$t_1$! Cambiando los roles, no, la diferencia proviene principalmente de los roles de los valores atípicos.

$t_1$$t_1$

Esto está relacionado con mi respuesta aquí: ¿Por qué deberíamos usar errores t en lugar de errores normales?

$D(P||Q)$

$$SKL(P, Q) = D(P||Q) + D(Q||P)$$ $D(P||Q)$$SKL(P, Q)$ $$D(A||B) + D(B||C) \ngeqslant D(A||C)$$ $$SKL(A, B) + SKL(B, C) \ngeqslant SKL(A, C)$$ $$D(P||Q) = \sum\limits_{i}p_i \cdot \log(\frac{p_i}{q_i})$$ $$SKL(P, Q) = \sum\limits_{i}(p_i - q_i) \cdot \log(\frac{p_i}{q_i})$$

$$D(A||B) = 0.1 \cdot \log(\frac{0.1}{0.2}) + 0.9 \cdot \log(\frac{0.9}{0.8}) \approx 0.0159$$ $$D(B||C) \approx 0.0112$$ $$D(A||C) \approx 0.0505$$ $$0.0159 + 0.0112 \ngeqslant 0.0505$$ $$SKL(A, B) \approx 0.0352$$ $$SKL(B, C) \approx 0.0234$$ $$SKL(A, C) \approx 0.1173$$ $$0.0352 + 0.0234 \ngeqslant 0.1173$$

Introduje este ejemplo a propósito. Imaginemos que está lanzando algunas monedas, por ejemplo, 100 veces. Mientras estas monedas sean imparciales, simplemente codificaría los resultados de lanzamiento con una secuencia de 0-1 bits (1 cabeza, 0 cola). En tal situación, cuando la probabilidad de cabeza es igual a la probabilidad de cola e igual a 0.5, esa es una codificación bastante efectiva. Ahora, tenemos algunas monedas sesgadas, por lo que preferimos codificar resultados más probables con un código más corto, por ejemplo, fusionar grupos de caras y colas y representar secuencias de k caras con un código más largo que la secuencia de colas k (son más probables). Y aquí se produce la divergencia Kullback-Leibler . Si P representa la distribución real de los resultados, y Q es solo una aproximación de P, entonces$D(P||Q)$$D(P||Q)$ denota la penalización que paga cuando codifica resultados que en realidad provienen de P distrib con codificación destinada a Q (penalización en el sentido de los bits adicionales que necesita usar).

Si simplemente necesita métrica, use la distancia Bhattacharyya (por supuesto, la versión modificada )$\sqrt{1 - [\sum\limits_{x} \sqrt{p(x)q(x)}]}$

Estoy tentado a dar una respuesta puramente intuitiva a su pregunta. Reformulando lo que dices, la divergencia de KL es una forma de medir la distancia entre dos distribuciones como calcularías la distancia entre dos conjuntos de datos en un espacio de Hilbert, pero se debe tener precaución.

¿Por qué? La divergencia KL no es una distancia como la que puede usar habitualmente, como por ejemplo la norma . De hecho, es positivo e igual a cero si y solo si las dos distribuciones son iguales (como en los axiomas para definir una distancia). Pero como se mencionó, no es simétrico. Hay formas de eludir esto, pero tiene sentido que no sea simétrico.$L_2$

De hecho, la divergencia KL define la distancia entre una distribución de modelo (que realmente conoce) y una teórica de tal manera que tenga sentido manejar de manera diferente (la distancia "teórica" ​​de a suponiendo que modelo ) y (la distancia "empírica" ​​de a asumiendo los datos ) ya que significan medidas bastante diferentes.$Q$$P$$KL(P, Q)$$P$$Q$$P$$KL(Q, P)$$P$$Q$$Q$

El libro de texto Elementos de la teoría de la información nos da un ejemplo:

Por ejemplo, si supiéramos la verdadera distribución p de la variable aleatoria, podríamos construir un código con una longitud de descripción promedio H (p). Si, en cambio, utilizamos el código para una distribución q, necesitaríamos H (p) + D (p || q) bits en promedio para describir la variable aleatoria.

Parafraseando la afirmación anterior, podemos decir que si cambiamos la distribución de información (de q a p) necesitamos D (p || q) bits adicionales en promedio para codificar la nueva distribución.

Una ilustración

Permítanme ilustrar esto usando una aplicación en el procesamiento del lenguaje natural.

Tenga en cuenta que un gran grupo de personas, con la etiqueta B, son mediadores y cada uno de ellos se le asigna una tarea de elegir un nombre de turkey, animaly booky transmitirlo a C. No es un nombre de tipo A, que puede enviar cada uno de ellos un correo electrónico para dar ellos algunas pistas. Si nadie en el grupo recibió el correo electrónico, pueden levantar las cejas y dudar por un momento considerando lo que C necesita. Y la probabilidad de que cada opción sea elegida es 1/3. Distribución uniformemente uniforme (si no, puede relacionarse con sus propias preferencias e ignoramos tales casos).

Pero si se les da un verbo, como baste, 3/4 de ellos pueden elegir turkeyy 3/16 elegir animaly 1/16 elegir book. Entonces, ¿cuánta información en bits ha obtenido en promedio cada uno de los mediadores una vez que conocen el verbo? Está:

$$\begin{align*} D(p(nouns|baste)||p(nouns)) &= \sum_{x\in\{turkey, animal, book\}} p(x|baste) \log_2 \frac{p(x|baste)}{p(x)} \\ &= \frac{3}{4} * \log_2 \frac{\frac{3}{4}}{\frac{1}{3}} + \frac{3}{16} * \log_2\frac{\frac{3}{16}}{\frac{1}{3}} + \frac{1}{16} * \log_2\frac{\frac{1}{16}}{\frac{1}{3}}\\ &= 0.5709 \space \space bits\\ \end{align*}$$

Pero, ¿y si el verbo dado es read? Podemos imaginar que todos elegirían booksin dudarlo, entonces la ganancia promedio de información para cada mediador del verbo reades:

$$\begin{align*} D(p(nouns|read)||p(nouns)) &= \sum_{x\in\{book\}} p(x|read) \log_2 \frac{p(x|read)}{p(x)} \\ &= 1 * \log_2 \frac{1}{\frac{1}{3}} \\ & =1.5849 \space \space bits \\ \end{align*}$$ Podemos ver que el verbo readpuede dar más información a los mediadores. Y eso es lo que puede medir la entropía relativa.

Continuemos nuestra historia. Si C sospecha que el sustantivo puede estar equivocado porque A le dijo que podría haber cometido un error al enviar el verbo equivocado a los mediadores. Entonces, ¿cuánta información en bits puede dar una noticia tan mala a C?

1) si el verbo dado por A era baste:

$$\begin{align*} D(p(nouns)||p(nouns|baste)) &= \sum_{x\in\{turkey, animal, book\}} p(x) \log_2 \frac{p(x)}{p(x|baste)} \\ &= \frac{1}{3} * \log_2 \frac{\frac{1}{3}}{\frac{3}{4}} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{\frac{3}{16}} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{\frac{1}{16}}\\ &= 0.69172 \space \space bits\\ \end{align*}$$

2) pero ¿qué pasa si el verbo era read?

$$\begin{align*} D(p(nouns)||p(nouns|baste)) &= \sum_{x\in\{book, *, *\}} p(x) \log_2 \frac{p(x)}{p(x|baste)} \\ &= \frac{1}{3} * \log_2 \frac{\frac{1}{3}}{1} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{0} + \frac{1}{3} * \log_2\frac{\frac{1}{3}}{0}\\ &= \infty \space \space bits\\ \end{align*}$$

Como C nunca sabe cuáles serían los otros dos sustantivos y cualquier palabra en el vocabulario sería posible.

Podemos ver que la divergencia KL es asimétrica.

Espero tener razón, y si no, por favor comente y ayude a corregirme. Gracias por adelantado.