¿Puede el valor de ganancia de información mutua ser mayor que 1?

Tengo una duda muy básica. Lo siento si esto irrita a algunos. Sé que el valor de la información mutua debe ser mayor que 0, pero ¿debe ser menor que 1? ¿Está limitado por algún valor superior?

Gracias Amit.

information-theory mutual-information Amit
fuente

Respuestas:

Sí, tiene un límite superior, pero no 1.

La información mutua (en bits) es 1 cuando dos partes (estadísticamente) comparten un bit de información. Sin embargo, pueden compartir una gran cantidad de datos arbitrarios. En particular, si comparten 2 bits, entonces es 2.

La información mutua está limitada desde arriba por la entropía de Shannon de distribuciones de probabilidad para partes individuales, es decir, . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Piotr Migdal
fuente

Si las dos partes son variables binarias, es decir, cada una tiene solo dos resultados posibles {0,1} , entonces las entropías maximizan en cuando y . Por lo tanto, la información mutua máxima para dos variables binarias es

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Akseli Palén