Una medida asimétrica de distancia (o disimilitud) entre distribuciones de probabilidad. Podría interpretarse como el valor esperado de la razón de probabilidad logarítmica bajo la hipótesis alternativa.
Necesito determinar la divergencia KL entre dos gaussianos. Estoy comparando mis resultados con estos , pero no puedo reproducir su resultado. Mi resultado es obviamente incorrecto, porque el KL no es 0 para KL (p, p). Me pregunto dónde estoy cometiendo un error y pregunto si alguien puede...
Aprendí acerca de la intuición detrás de la divergencia de KL sobre cuánto difiere una función de distribución del modelo de la distribución teórica / verdadera de los datos. La fuente que estoy leyendo pasa a decir que la comprensión intuitiva de 'distancia' entre estas dos distribuciones es útil,...
Tengo problemas para derivar la fórmula de divergencia KL suponiendo dos distribuciones normales multivariadas. He hecho el caso univariado con bastante facilidad. Sin embargo, ha pasado bastante tiempo desde que tomé las estadísticas de matemáticas, por lo que tengo algunos problemas para...
En mi opinión, la divergencia KL de la distribución de la muestra a la distribución verdadera es simplemente la diferencia entre entropía cruzada y entropía. ¿Por qué utilizamos la entropía cruzada para ser la función de costo en muchos modelos de aprendizaje automático, pero utilizamos la...
Puedo ver que hay muchas diferencias formales entre las medidas de distancia de Kullback-Leibler vs Kolmogorov-Smirnov. Sin embargo, ambos se usan para medir la distancia entre distribuciones. ¿Existe una situación típica en la que se debe usar uno en lugar del otro? ¿Cuál es la razón para...
Estoy buscando una explicación intuitiva para las siguientes preguntas: En estadística y teoría de la información, ¿cuál es la diferencia entre la distancia de Bhattacharyya y la divergencia de KL, como medidas de la diferencia entre dos distribuciones de probabilidad discretas? ¿No tienen...
Mira esta imagen: Si extraemos una muestra de la densidad roja, se espera que algunos valores sean inferiores a 0.25, mientras que es imposible generar dicha muestra a partir de la distribución azul. Como consecuencia, la distancia Kullback-Leibler de la densidad roja a la densidad azul es...
¿Hay alguna medida de similitud o distancia entre dos matrices de covarianza simétrica (ambas tienen las mismas dimensiones)? Estoy pensando aquí en análogos a la divergencia KL de dos distribuciones de probabilidad o la distancia euclidiana entre vectores, excepto que se aplica a las matrices. Me...
Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x...
¿Cuál es la diferencia práctica entre la métrica de Wasserstein y la divergencia de Kullback-Leibler ? La métrica de Wasserstein también se conoce como la distancia del motor de la Tierra . De Wikipedia: La métrica de Wasserstein (o Vaserstein) es una función de distancia definida entre...
Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la...
Estoy estudiando árboles de clasificación y regresión, y una de las medidas para la ubicación dividida es el puntaje GINI. Ahora estoy acostumbrado a determinar la mejor ubicación dividida cuando el registro de la razón de probabilidad de los mismos datos entre dos distribuciones es cero, lo que...
¿Alguien puede probar la siguiente conexión entre la métrica de información de Fisher y la entropía relativa (o divergencia KL) de una manera puramente matemática rigurosa? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
¿Por qué la divergencia KL no es negativa? Desde la perspectiva de la teoría de la información, tengo una comprensión tan intuitiva: Digamos que hay dos conjuntos y que se componen del mismo conjunto de elementos etiquetados por . y son diferentes distribuciones de probabilidad sobre el conjunto...
Consideremos las siguientes dos distribuciones de probabilidad P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 He calculado la divergencia de Kullback-Leibler que es igual a 0.4928202580.4928202580.492820258 , quiero saber en general ¿qué me...
Estoy usando KL divergencia como una medida de disimilitud entre 2 y .P Qp.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right)
Sé que KL Divergence no es simétrica y no puede considerarse estrictamente como una métrica. Si es así, ¿por qué se usa cuando JS Divergence satisface las propiedades requeridas para una métrica? ¿Hay escenarios en los que se puede utilizar la divergencia KL pero no la divergencia JS o...
Voy a usar la divergencia de KL en mi código de Python y obtuve este tutorial . En ese tutorial, implementar la divergencia de KL es bastante simple. kl = (model * np.log(model/actual)).sum() Según tengo entendido, la distribución de probabilidad de modely actualdebería ser <= 1. Mi...
Estoy comparando dos distribuciones con la divergencia KL que me devuelve un número no estandarizado que, según lo que leí sobre esta medida, es la cantidad de información que se requiere para transformar una hipótesis en la otra. Tengo dos preguntas: a) ¿Hay alguna manera de cuantificar una...
No soy matemático. He buscado en Internet sobre KL Divergence. Lo que aprendí es que la divergencia KL mide la información perdida cuando aproximamos la distribución de un modelo con respecto a la distribución de entrada. Los he visto entre dos distribuciones continuas o discretas. ¿Podemos hacerlo...