¿Hay alguna distancia de probabilidad que conserve todas las propiedades de una métrica?

13

Al estudiar la distancia de Kullback-Leibler, hay dos cosas que aprendemos muy rápidamente es que no respeta ni la desigualdad del triángulo ni la simetría, las propiedades requeridas de una métrica.

Mi pregunta es si existe alguna métrica de funciones de densidad de probabilidad que cumpla con todas las restricciones de una métrica .

distributions distance metric Jorge Leitao
fuente
Centrarse en las densidades de probabilidad es centrarse en el objeto "incorrecto". En cuanto a las métricas, están las "clásicas", por ejemplo, Lévy (y la métrica Ky Fan relacionada con variables aleatorias), Wasserstein junto con otras más cercanas en espíritu a KL, por ejemplo, la divergencia de Jensen-Shannon . Aunque históricamente se pasó por alto históricamente, tenga en cuenta que en el documento original de KL , la divergencia de KL fue de hecho simétrica (aunque todavía no es una métrica).
cardenal
1
@cardinal, bueno, no estoy muy en el campo, ¿podría sugerir el objeto "correcto"?
Jorge Leitao
2
JC: Lo siento, el cuadro de comentarios se hizo demasiado pequeño para todo lo que estaba tratando de encajar. Debería haber elaborado. La función de distribución acumulativa resulta ser un objeto de estudio más general y natural. :-)
cardenal
@ cardinal ¿ por qué? ;)
Jorge Leitao

Respuestas:

19

L2

John Jiang
fuente
2
Es un buen artículo, especialmente la figura 1. Estoy guardando una copia de eso para referencia futura.
Pat
1

Hay algunas modificaciones en la divergencia de KL que hacen que adquiera algunas de las propiedades métricas (aunque no todas).

Por ejemplo, la divergencia de Jeffrey modifica la divergencia de KL para hacerla simétrica.

Hay algunos casos especiales ver [1]: "Desafortunadamente, las medidas tradicionales basadas en la divergencia Kullback-Leibler (KL) y la distancia Bhattacharyya no satisfacen todos los axiomas métricos necesarios para muchos algoritmos. En este documento proponemos una modificación para el KL divergencia y la distancia Bhattacharyya, para densidades gaussianas multivariadas, que transforma las dos medidas en métricas de distancia ".

[1] K. Abou-Moustafa y F. Ferrie, "Una nota sobre propiedades métricas para algunas medidas de divergencia: el caso gaussiano", JMLR: Workshop and Conference Proceedings 25: 1–15, 2012.

usuario29652
fuente