En general, cualquier forma de enropia se define como incertidumbre o aleatoriedad. En un entorno ruidoso, con un aumento del ruido, creo que la entropía aumenta, ya que no estamos seguros del contenido de la información de la señal deseada. ¿Cuál es la relación entre entropía y SNR? Con el aumento...
Estoy confundido al entender conceptos básicos de comunicación a través de canales AWGN. Sé que la capacidad de un canal AWGN de tiempo discreto es: C=12log2(1+SN)C=12log2(1+SN)C=\frac{1}{2}\log_2\left(1+\frac{S}{N}\right) y se logra cuando la señal de entrada tiene distribución gaussiana. Pero,...
Más allá de la ecuación en bruto para calcular la información mutua, ¿qué significa en términos físicos? Por ejemplo: de la teoría de la información, sabemos que la entropía es el esquema de compresión sin pérdidas más pequeño que podemos usar en un alfabeto con una distribución de probabilidad...
Un cliente intentaba enviarme 250 GB de archivos. Después de intentar varias formas de compartir los datos, me envió una carpeta comprimida de solo 4 GB de tamaño. Eso me suena a demasiada compresión: no creo que cuando haya comprimido cosas haya reducido más del 20% del tamaño. ¿Cuáles son...
Durante mucho tiempo me he enfrentado con la confusión con respecto a la entropía y estaría obligado si las siguientes respuestas se responden en una jerga menos técnica. Siguiendo el enlace Diferentes tipos de entropía plantea las siguientes preguntas Entropía: se desea que la entropía del...
Hasta hoy sabía que un bit es una variable o un espacio en la memoria que puede contener un valor de Uno (alto) o Cero (bajo). Este es el concepto que aprendí al estudiar programación de computadoras, microprocesador o bus de datos, etc. Pero después de comenzar el curso sobre teoría de la...