Información mutua como probabilidad

¿Podría la información mutua sobre la entropía conjunta:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

se define como: "¿La probabilidad de transmitir una información de X a Y"?

Lamento ser tan ingenuo, pero nunca he estudiado teoría de la información, y estoy tratando de entender algunos conceptos al respecto.

information-theory mutual-information luca maggi
fuente

Bienvenido a CV, luca maggi! ¡Qué hermosa primera pregunta!

Alexis

Respuestas:

La medida que está describiendo se llama Ratio de calidad de la información [IQR] (Wijaya, Sarno y Zulaika, 2017). IQR es información mutua $I(X,Y)$ dividida por "incertidumbre total" (entropía conjunta) $H(X,Y)$ (fuente de la imagen: Wijaya, Sarno y Zulaika, 2017).

Según lo descrito por Wijaya, Sarno y Zulaika (2017),

el rango de IQR es $[0,1]$ . El mayor valor (IQR = 1) se puede alcanzar si DWT puede reconstruir perfectamente una señal sin perder información. De lo contrario, el valor más bajo (IQR = 0) significa que MWT no es compatible con una señal original. En otras palabras, una señal reconstruida con MWT particular no puede mantener información esencial y totalmente diferente con las características de la señal original.

Puede interpretarlo como una probabilidad de que la señal se reconstruya perfectamente sin perder información . Observe que tal interpretación está más cerca de la interpretación subjetivista de la probabilidad , que de la interpretación tradicional y frecuentista.

Es una probabilidad para un evento binario (reconstruir información versus no), donde IQR = 1 significa que creemos que la información reconstruida es confiable, e IQR = 0 significa lo contrario. Comparte todas las propiedades de probabilidades de eventos binarios. Además, las entropías comparten una serie de otras propiedades con probabilidades (por ejemplo, definición de entropías condicionales, independencia, etc.). Por lo tanto, parece una probabilidad y a los charlatanes les gusta.

Wijaya, DR, Sarno, R. y Zulaika, E. (2017). Relación de calidad de la información como una nueva métrica para la selección de wavelets madre. Quimometría y sistemas inteligentes de laboratorio, 160, 59-71.

Tim
fuente

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Bueno, mi pregunta está dirigida a una parte de su respuesta y no a una pregunta independiente. ¿Sugiere que abra una nueva pregunta y enlace y la dirija a su respuesta?

Hans

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

@Hans dije explícitamente que esto es consistente con los axiomas, pero es difícil decir la probabilidad de lo que sería exactamente esto. La interpretación que sugerí es probablemente de la reconstrucción de la señal. Esta no es una distribución de probabilidad de X o Y. Supongo que podría profundizar en su interpretación y comprensión. La pregunta era si esto podía interpretarse como probabilidad y la respuesta era que formalmente sí.

Tim

$(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

Hans
fuente

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Ese también es el caso si usa una red neuronal complicada con una función de activación sigmoidea al final, ¿puede probar que la salida es probable en términos teórico-métricos ...? Sin embargo, a menudo elegimos interpretar esto como probabilidad.

Tim

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Lo siento, pero nunca encontré este tipo de discusiones y teoría de la medida interesante, así que me retiraré de la discusión posterior. Tampoco veo su punto aquí, especialmente porque su último párrafo parece decir exactamente lo mismo que decía desde el principio.

Tim