Por lo general, la entropía de Shannon se usa para probar los resultados de la codificación del canal. Incluso para los resultados de separación del canal fuente se utiliza la entropía de shannon. Dada la equivalencia entre las nociones de información de Shannon (global) frente a Kolmogorov (local), ¿ha habido un estudio para utilizar la complejidad de Kolmogorov para estos resultados (o al menos para reemplazar la parte de codificación de fuente en los resultados de separación del canal de fuente)?
12
Respuestas:
Para la capacidad del canal, parece difícil reemplazar la entropía de Shannon por la complejidad de Kolmogorov. La definición de capacidad de canal no contiene ninguna mención de entropía. El uso de la entropía de Shannon proporciona la fórmula correcta para la capacidad del canal (este es el teorema de Shannon). Si reemplaza la fórmula con la entropía de Shannon por una fórmula con complejidad de Kolmogorov, presumiblemente sería una fórmula diferente, por lo que sería la respuesta incorrecta .
La parte difícil del teorema de separación del canal de origen muestra que no se puede hacer mejor que el método obvio (descrito en el párrafo anterior) de primero comprimir y luego codificar. No sé si alguien ha demostrado esto por la complejidad de Kolmogorov y la capacidad del canal, pero es una pregunta razonable para investigar.
fuente
No estoy seguro de lo que está hablando cuando usa los calificadores locales / globales sobre la entropía de Shannon y la complejidad de Kolmogorov.
Así que corrígeme si me equivoco.
La entropía de Shannon es computable. La complejidad de Kolmogorov no lo es. Por lo tanto, no describen el mismo problema.
Se podía ver la entropía de Shannon como un límite superior a la complejidad de Kolmogrov.
fuente