¿Cómo calcular la información mutua?

Estoy un poco confundido. ¿Alguien puede explicarme cómo calcular la información mutua entre dos términos en base a una matriz de documentos de términos con ocurrencia de términos binarios como ponderaciones?

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h mi {norte}^{'} & ^{'} W h mi r {mi}^{'} \\ re o C tu metro mi norte t 1 & 1 & 1 & 1 & 1 \\ re o C tu metro mi norte t 2 & 1 & 0 0 & 1 & 0 0 \\ re o C tu metro mi norte t 3 & 1 & 1 & 1 & 0 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Gracias

python information-theory mutual-information numpy pandas usuario18075
fuente

¿Qué son e ?

X

$X$

Y

$Y$

Dilip Sarwate

X e Y son términos. X podría ser "Por qué" e Y podría ser "Cómo".

user18075

Respuestas:

¿Qué tal formar una tabla de probabilidad conjunta que contenga las coincidencias normalizadas en los documentos? Entonces puede obtener entropía conjunta y entropía marginal usando la tabla. Finalmente,

I (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

Zoran
fuente

Cuando se han determinado las distribuciones conjuntas y marginales, ¿por qué es necesario calcular

y usar la fórmula que muestra? ¿No se puede determinar la información mutua directamente a través de la fórmula dada por el OP ya que todo lo necesario para "enchufar", a saber?

se conocen en este punto?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

Dilip Sarwate

Las fórmulas son equivalentes, excepto que estas últimas pueden ser más interpretables a primera vista.

Zoran