Preguntas etiquetadas con shannon-entropy

Lema: Suponiendo equivalencia eta tenemos eso (\x -> ⊥) = ⊥ :: A -> B. Prueba: ⊥ = (\x -> ⊥ x)por equivalencia eta y (\x -> ⊥ x) = (\x -> ⊥)por reducción bajo la lambda. El informe Haskell 2010, sección 6.2 especifica la seqfunción mediante dos ecuaciones: seq :: a -> b ->...

Por lo general, la entropía de Shannon se usa para probar los resultados de la codificación del canal. Incluso para los resultados de separación del canal fuente se utiliza la entropía de shannon. Dada la equivalencia entre las nociones de información de Shannon (global) frente a Kolmogorov...

Estoy en busca de una cota en la entropía de la suma de dos variables aleatorias discretas independientes X y Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Sin embargo, aplicado a la suma de n variables aleatorias independientes de Bernoulli Z 1 , ... , Z n , esto da H ( Z 1 +H( X+...

Sé del trabajo de Shannon con la entropía, pero últimamente he trabajado en estructuras de datos sucintas en las que la entropía empírica se usa a menudo como parte del análisis de almacenamiento. Shannon definió la entropía de la información producida por una fuente de información discreta como ,...

Digamos que tengo una variable aleatoria de un bit , y que sea ​​un número natural. Quiero una secuencia de variables aleatorias stX∈{0,1}X∈{0,1}X \in \{0,1\}nnn0=X0,X1,…,Xn=X0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H(X | {X0,…,Xk})=1−knH(X | {X0,…,Xk})=1−knH\left(X~|~\{X_0,\ldots,X_k\}\right)...