Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente.
La información mutua entre e se define como:
es decir, es el valor promedio de la información mutua puntual pmi .
Supongamos que conozco los límites superior e inferior en pmi : es decir, sé que para todo cumple lo siguiente: -k \ leq \ log \ left (\ frac {p (x, y)}} {p ( x) p (y)} \ right) \ leq k
¿Qué límite superior implica esto en . Por supuesto, implica , pero me gustaría un límite más estricto si es posible. Esto me parece plausible porque p define una distribución de probabilidad, y pmi no puede tomar su valor máximo (o incluso no ser negativo) para cada valor de e .
Respuestas:
Mi contribución consiste en un ejemplo. Ilustra algunos límites sobre cómo se puede limitar la información mutua dados los límites de la información mutua puntual.
Tome y para todos los . Para cualquier sea la solución a la ecuación Luego colocamos la masa de punto en puntos en el espacio del producto de tal manera que haya de estos puntos en cada fila y cada columna. (Esto se puede hacer de varias maneras. Comience, por ejemplo, con los primeros puntos en la primera fila y luego complete las filas restantes desplazando lap ( x ) = 1 / n x ∈ X m ∈ { 1 , … , n / 2 } k > 0 m e k + ( n - m ) e - k = n . e k / n 2 n m { 1 ,X=Y={1,…,n} p(x)=1/n x∈X m∈{1,…,n/2} k>0
Por la construcción, está claro que para todo , y (después de algunos cálculos) con la información mutua se comporta como para y como para .pmi(x,y)∈{−k,k}, x,y∈{1,…,n}
fuente
No estoy seguro de si esto es lo que está buscando, ya que es principalmente algebraico y no aprovecha las propiedades de p como una distribución de probabilidad, pero aquí hay algo que puede probar.
Debido a los límites en pmi, claramente y por lo tanto . Podemos sustituir en para obtenerp(x,y)p(x)p(y)≤ek p(x,y)≤p(x)p(y)⋅ek p(x,y) I(X;Y) I(X;Y)≤∑x,yp(x)p(y)⋅ek⋅log(p(x)p(y)⋅ekp(x)p(y))=∑x,yp(x)p(y)⋅ek⋅k
No estoy seguro de si eso es útil o no.
EDITAR: Tras una revisión adicional, creo que esto es realmente menos útil que el límite superior original de k. Sin embargo, no eliminaré esto en caso de que pueda insinuar un punto de partida.
fuente