Relación entre entropía y SNR

13

En general, cualquier forma de enropia se define como incertidumbre o aleatoriedad. En un entorno ruidoso, con un aumento del ruido, creo que la entropía aumenta, ya que no estamos seguros del contenido de la información de la señal deseada. ¿Cuál es la relación entre entropía y SNR? Con el aumento de la relación señal a ruido, la potencia del ruido disminuye, pero esto no implica que aumente el contenido de información de la señal. El contenido de la información puede permanecer igual, ¿entonces eso significa que la entropía no se ve afectada?

Ria George
fuente

Respuestas:

7

Cuando dice que el "contenido de la información puede permanecer igual", ¿quiere decir la información en la señal total o la información de la señal deseada? Esperemos que esto responda a ambos casos. Sé que la entropía de Shannon es mucho mejor que Kolmogorov, así que lo usaré, pero espero que la lógica se traduzca.

Digamos que es el total de la señal ( ), compuesto por la suma de la señal deseada y su componente de ruido . Vamos llamada entropía . Como dijiste, el ruido agrega entropía a un sistema al aumentar su complejidad. Sin embargo, no es necesariamente solo porque estamos más inseguros sobre el contenido de información de la señal, sino porque hay más incertidumbre en la señal en general. Si el tipo SNR mide qué tan seguros estamos de lo que es , entonces el tipo mide qué tan bien podemos predecir futuros estados de basados ​​en el estado actual deX=S+NXSNHSH(X)XX. La entropía tiene que ver con cuán compleja es la señal completa, independientemente de la composición del ruido frente al no ruido.

Si aumenta la SNR eliminando el ruido (atenuando ), disminuye la complejidad total de la señal y, por lo tanto, su entropía. No se ha perdido ninguna información transportada por , sólo información (presumiblemente sin sentido) llevado por . Si es ruido aleatorio, entonces obviamente no contiene información significativa, pero se necesita una cierta cantidad de información para describir el estado de , determinado por el número de estados en los que puede estar N y la probabilidad de que esté en cada uno de esos estados. Esa es la entropía.NXSNNN

Podemos observar dos distribuciones gaussianas con diferentes variaciones, digamos que una tiene una varianza de y la otra tiene una varianza de . Simplemente mirando la ecuación para una distribución gaussiana, vemos que la distribución tiene una probabilidad máxima que es solo el valor de la probabilidad de la distribución . Por el contrario, esto significa que hay una mayor probabilidad de que la distribución tome valores distintos a la media, o que haya más certeza de que la distribución tomará valores cerca de la media. Entonces, la distribución tiene una entropía menor que la1100Var=100110var=1Var=100Var=1Var=1Var=100 distribución.

Establecimos que una mayor varianza implica una mayor entropía. En cuanto a la propagación de errores, también es cierto que (igual para , independientes ). Si , entonces para la entropía , . Dado que es (indirectamente) una función de varianza, podemos evitar un poco las cosas para decir . Para simplificar, decimos que y son independientes, entonces . La SNR mejorada a menudo significa atenuar la potencia del ruido. Esta nueva señal con una SNR más alta será , paraVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N)HH(Var[X])=H(Var[S+N])SNH(Var[X])=H(Var[S]+Var[N])X=S+(1k)Nk>1 . La entropía se convierte en . es mayor que , por lo que disminuirá cuando N se atenúe. Si disminuye, también lo hace y, por lo tanto, , lo que resulta en una disminución de .H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N]Var[N]Var[S+N]Var[X]H(X)

No muy conciso, lo siento. En resumen, 's entropía disminuye si aumenta la SNR, pero no tienes nada hecho a ' s información. No puedo encontrar las fuentes en este momento, pero hay un método para calcular la SNR y la información mutua (una medida bivariada similar a la entropía) entre sí. Quizás la conclusión principal es que la SNR y la entropía no miden lo mismo.XS

dpbont
fuente
Gracias por los detalles, hubiera sido realmente genial si hubiera una referencia para el pequeño análisis que hiciste, ya que necesito proporcionar esta relación entre entropía y SNR en un documento y, por lo tanto, la cita.
Ria George
Mi análisis es bastante informal; se basa demasiado en la intuición / lógica para reclamar cualquier tipo de rigor. El punto débil que veo de inmediato es la afirmación de que el aumento de SNR es equivalente a la disminución de la varianza general. Esta afirmación se cumple si aumenta la SNR al atenuar el ruido, pero no necesariamente si aumenta la potencia de la señal (porque eso podría aumentar la varianza de la señal ==> varianza general ==> entropía). Sin embargo, es probable que haya otra forma de llegar a esta conclusión. Creo que la relación entre MI y SNR provino de Schloegl 2010 "Métodos adaptativos en la investigación de BCI - Un tutorial introductorio"
dpbont
: Perdón por volver a comenzar este hilo en continuación. Encontré un problema cuando estaba encontrando el error de la entropía de un modelo donde error = deseado_signal - estimado_signal. Al aumentar la SNR, descubrí que la entropía de error está aumentando. Pero, cuando calculo la entropía de la señal deseada con SNR creciente, la entropía de X disminuye. ¿Puede por favor arrojar algunas ideas sobre el caso anterior donde la entropía de error aumenta con el aumento de la SNR? X
Ria George
Dos preguntas. 1) Cuando dice que SNR aumenta, ¿se refiere a SNR de la señal estimada? (Supongo que sí). 2) ¿Qué sucede con su error a medida que aumenta la entropía del error? En términos generales, el aumento de la entropía significa aumento de la varianza / disminución de la previsibilidad. Tal vez podría imaginar una situación en la que su varianza de error aumente pero elimine un sesgo de error (que podría aumentar la entropía de error pero disminuir el error).
dpbont
Gracias por su pronta respuesta. (1) Por aumento de SNR me refiero a aumentar la SNR del ruido de medición en el modelo. Entonces, en la ecuación , aumento la SNR de y mido la entropía H1 (X) y H2 (error). (2) Los errores disminuyen y todos los valores se vuelven más o menos iguales pero no cero. La forma en que calculo la entropía de error es la siguiente: Considerando el modelo AR (2). Al final del receptor, donde (a1, b1) son parámetros adivinados y son observaciones a una SNR particular de digamos snr1. Digamos que tengo 5 pares de conjeturas (a1, b1) y por cada par obtengo una entropía de error. X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N
Ria George
1

Aquí hay una cita [1, p. 186]para comenzar, OP o Googler:

Muy aproximadamente, H(number of active components in data)×logSNR

Aquí es la entropía negativa de la distribución posterior de los parámetros de su modelo de señal. ¡Buena suerte!H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
marnix
fuente