¿Hay algún uso para la cantidad

¿Hay algún uso para la cantidad

$$\int f(x)^2 dx$$ en estadística o teoría de la información?

Dejando denotar una función de densidad de probabilidad (ya sea con respecto a Lebesgue o medida de conteo, respectivamente), la cantidad$f$$\newcommand{\rd}{\mathrm{d}}$ se conoce como laentropíadeRenyide ordenα≥0. Es una generalización de la entropía de Shannon que conserva muchas de las mismas propiedades. Para el casoα=1, interpretamosH1(f)comolimα→1Hα(f), y esto corresponde a la entropía estándar de ShannonH(f

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$ .

Renyi introdujo esto en su artículo.

A. Renyi, Sobre medidas de información y entropía , Proc. Cuarto Berkeley Symp. en matemáticas., Stat. y prob.(1960), págs. 547–561.

que vale la pena leer, no solo por las ideas sino por el estilo de exposición ejemplar.

El caso es una de las opciones más comunes para α y este caso especial (también) a menudo se conoce como la entropía de Renyi. Aquí vemos que H 2 ( f ) = - log ( ∫ f 2 d μ ) = - log ( E f ( X ) ) para una variable aleatoria distribuida con densidad $\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$ .

Tenga en cuenta que es una función convexa y, por desigualdad de Jensen, tenemos H 2 ( f ) = - log ( E f ( X ) ) ≤ E ( - log f ( X ) ) = - E log f ( X ) = H ( f $- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$ donde el lado derecho denota la entropía de Shannon. Por lo tanto, la entropía de Renyi proporciona un límite inferior para la entropía de Shannon y, en muchos casos, es más fácil de calcular.

Otra instancia natural en la que surge la entropía de Renyi es cuando se considera una variable aleatoria discreta y una copia independiente X ⋆ . En algunos escenarios, queremos saber la probabilidad de que X = X ⋆ , que mediante un cálculo elemental es P ( X = X ⋆ ) $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

La entropía (general) de Renyi también está aparentemente relacionada con la energía libre de un sistema en equilibrio térmico, aunque no estoy personalmente interesado en eso. Un artículo (muy) reciente sobre el tema es

JC Baez, Renyi entropía y energía libre , arXiv [quant-ph] 1101.2098 (febrero de 2011).