El coeficiente de Bhattacharyya se define como
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
dH(p,q)dH(p,q)={1−DB(p,q)}1/2
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
Sin embargo, esta no es la pregunta: si la distancia Bhattacharyya se define como entonces
Por lo tanto, la desigualdad entre las dos distancias es
dB(p,q)=def−logDB(p,q),
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)−−−−−−−√dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p∥q)
dKL(p∥q)≥2dB(p,q).
Uno podría preguntarse si esta desigualdad se sigue de la primera. Sucede lo contrario: dado que
−log(x)≥1−x0≤x≤1,
tenemos el orden completo
dKL(p∥q)≥2dB(p,q)≥2dH(p,q)2.
No sé de ninguna relación explícita entre los dos, pero decidí echarles un vistazo rápido para ver qué podía encontrar. Así que esta no es una gran respuesta, sino un punto de interés.
Por simplicidad, trabajemos sobre distribuciones discretas. Podemos escribir la distancia BC como
y la divergencia KL como
Ahora no podemos empujar el registro dentro de la suma en la distancia , así que intentemos tirar del registro hacia el exterior de la divergencia :BC KL
Consideremos su comportamiento cuando se fija como la distribución uniforme sobre posibilidades:np n
A la izquierda, tenemos el registro de algo similar en forma a la media geométrica . A la derecha, tenemos algo similar al registro de la media aritmética . Como dije, esta no es una gran respuesta, pero creo que da una clara intuición de cómo la distancia BC y la divergencia KL reaccionan a las desviaciones entre y .qp q
fuente