¿Quién acuñó el término "entropía empírica"?

Sé del trabajo de Shannon con la entropía, pero últimamente he trabajado en estructuras de datos sucintas en las que la entropía empírica se usa a menudo como parte del análisis de almacenamiento.

Shannon definió la entropía de la información producida por una fuente de información discreta como , donde es la probabilidad de que ocurra el evento , por ejemplo, un carácter específico generado, y hay posibles eventos. p i i $-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

Como señaló MCH en los comentarios, la entropía empírica es la entropía de la distribución empírica de estos eventos y, por lo tanto, está dada por donde es el número de ocurrencias observadas del evento y es el número total de eventos observados. Esto se llama entropía empírica de orden cero . La noción de Shannon de entropía condicional tiene una versión empírica de orden superior similar . nii$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

Shannon no usó el término entropía empírica, aunque seguramente merece algo del crédito por este concepto. ¿Quién utilizó por primera vez esta idea y quién utilizó por primera vez el nombre (muy lógico) entropía empírica para describirla?

Estoy interesado en la "entropía empírica" ​​como tú y el primer artículo que encontré fue que desde Kosaraju como el usuario "Marzio De Biasi" dijo en su comentario.

Pero en mi opinión, las definiciones reales de "entropía empírica" ​​se hacen más adelante al generalizar los conceptos anteriores:

1. "Alfabetos grandes e incompatibilidad" por Travis Gagie (2008)
2. "Entropía empírica" ​​por Paul MB Vitányi (2011)

Gagie reformula la definición de entropía empírica de orden para: $k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

donde es un proceso de Markov de orden . También mostró que esta definición es equivalente a la anterior. El siguiente paso de Vitányi fue una generalización a clases arbitrarias de procesos (no solo procesos de Markov):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

donde es la clase de procesos permitidos y es la complejidad de Kolmogorov. Si elegimos para ser la clase de orden , los procesos de Markov producen una secuencia devariables aleatorias e ignorando la complejidad de Kolmogorov, esto también lleva a la definición de Gagie (multiplicada por ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$