Ganancia de información, información mutua y medidas relacionadas

Andrew More define la ganancia de información como:

$IG(Y|X) = H(Y) - H(Y|X)$

donde es la entropía condicional . Sin embargo, Wikipedia llama a la cantidad anterior información mutua .$H(Y|X)$

Wikipedia, por otro lado, define la ganancia de información como la divergencia Kullback-Leibler (también conocida como divergencia de información o entropía relativa) entre dos variables aleatorias:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

donde se define como la entropía cruzada .$H(P,Q)$

Estas dos definiciones parecen ser inconsistentes entre sí.

También he visto a otros autores hablar sobre dos conceptos relacionados adicionales, a saber, la entropía diferencial y la ganancia de información relativa.

¿Cuál es la definición o relación precisa entre estas cantidades? ¿Hay un buen libro de texto que los cubra a todos?

• Ganancia de información
• Información mutua
• Entropía cruzada
• Entropía condicional
• Entropía diferencial
• Ganancia de información relativa

Creo que llamar a la divergencia Kullback-Leibler "ganancia de información" no es estándar.

La primera definición es estándar.

EDITAR: Sin embargo, también se puede llamar información mutua.$H(Y)−H(Y|X)$

Tenga en cuenta que no creo que encuentre ninguna disciplina científica que realmente tenga un esquema de nomenclatura estandarizado, preciso y consistente. Por lo tanto, siempre tendrá que mirar las fórmulas, porque generalmente le darán una mejor idea.

Libros de texto: ver "Buena introducción a diferentes tipos de entropía" .

También: Cosma Shalizi: Métodos y técnicas de la ciencia de sistemas complejos: una descripción general, capítulo 1 (pp. 33-114) en Thomas S. Deisboeck y J. Yasha Kresh (eds.), Ciencia de sistemas complejos en biomedicina http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropía y teoría de la información http://ee.stanford.edu/~gray/it.html

David MacKay: Teoría de la información, inferencia y algoritmos de aprendizaje http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

también, "¿Qué es" entropía y ganancia de información "?"

La divergencia de Kullback-Leiber entre y es la misma que la información mutua, que se puede derivar fácilmente:$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

Nota:$p(y) = \sum_x p(x,y)$

La información mutua se puede definir usando Kullback-Liebler como

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Extracción de información mutua de conjuntos de datos textuales como una característica para entrenar el modelo de aprendizaje automático: (la tarea era predecir la edad, el género y la personalidad de los bloggers)

Ambas definiciones son correctas y consistentes. No estoy seguro de lo que no está claro, ya que señala varios puntos que pueden necesitar aclaraciones.

Primero : son nombres diferentes para la misma cosa. En diferentes contextos, uno de estos nombres puede ser preferible, lo llamaré aquí Información .$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$

El segundo punto es la relación entre la divergencia Kullback-Leibler - e Información . La divergencia Kullback-Leibler es simplemente una medida de disimilitud entre dos distribuciones. La información se puede definir en estos términos de disimilitud de distribuciones (ver la respuesta de Yters). Entonces, la información es un caso especial de , donde se aplica para medir la diferencia entre la distribución conjunta real de dos variables (que captura su dependencia ) y la distribución conjunta hipotética de las mismas variables, si fueran ser independiente . Llamamos a esa cantidad$D_{KL}$$K_{LD}$$K_{LD}$Información .

La tercera punto de aclarar es la inconsistente, aunque estándar notación que se utiliza, es decir, que es a la vez la notación para la entropía conjunta y para Cross-entropía también.$\operatorname{H} (X,Y)$

Entonces, por ejemplo, en la definición de Información : en ambas últimas líneas, es la entropía conjunta . Sin embargo, esto puede parecer inconsistente con la definición en la página de ganancia de información : pero no dejó de citar la aclaración importante - se usa allí como la cruz

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ $\operatorname{H}(X,Y)$DKL(P||Q)=H(P,Q)-H(P)H(P,Q)$DKL(P||Q)=H(P,Q)−H(P)$$\operatorname{H}(P,Q)$-entropía (como es el caso también en la página de entropía cruzada ).

La entropía conjunta y la entropía cruzada NO son lo mismo.

Vea esto y esto donde se aborda esta notación ambigua y se ofrece una notación única para la entropía cruzada - $H_q(p)$

Espero ver esta notación aceptada y las páginas wiki actualizadas.