Digamos que tenemos una función tal que ∀ x ∈ Z n 2 yfes una distribución, es decir,Σx∈Z n 2 f(x)=1.
La entropía de Shannon de se define como sigue: H ( f ) = - ∑ x ∈ Z n 2 f ( x ) log ( f ( x ) ) .
Deje ser algo constante. Digamos que obtenemos una versión ϵ- ruidosa de f ( x ) , es decir, obtenemos una función ˜ f : Z n 2 → R tal que | ~ F ( x ) - f ( x ) | < ϵ por cada x ∈ Z n 2 . ¿Cuál es el efecto del ruido en la entropía? Esto es, podemos obligados H ( ~ f ) por una función de "razonable" de εy , como: ( 1 - ϵ ) H ( f ) < H ( ˜ f ) < ( 1 + ϵ ) H ( f ) , o incluso, ( 1 - ϵ c n ) d H ( f ) < H ( ˜ f ) < ( 1 + ϵ c n )
Editar: Tratando de conseguir una sensación para el efecto del ruido sobre la entropía de Shannon, cualquier aditivo "razonable" Límite en también sería muy interesante.