Conexión entre la métrica de Fisher y la entropía relativa

20

¿Alguien puede probar la siguiente conexión entre la métrica de información de Fisher y la entropía relativa (o divergencia KL) de una manera puramente matemática rigurosa?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ donde

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ ,

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$ y

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ es la convención de suma de Einstein.

Encontré lo anterior en el bonito blog de John Baez donde Vasileios Anagnostopoulos dice sobre eso en los comentarios.

mathematical-statistics kullback-leibler fisher-information Kumara
fuente

1

Estimado Kumara: Para aclarar, ayudaría a explicar mejor su notación, específicamente el significado de

g_{i, j}

$g_{i,j}$ . Además, creo que a su expresión le falta un factor constante de

1 / 2

$1/2$ delante del primer término del lado derecho de la ecuación de visualización. Tenga en cuenta que lo que Kullback mismo llamó divergencia (usando la notación

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ) es la versión simétrica de lo que se conoce como divergencia KL, es decir,

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ . La divergencia KL se denota

I (\cdot, \cdot)

$I(\cdot,\cdot)$ en los escritos de Kullback. Esto explica el factor de

1 / 2

$1/2$ también. Aclamaciones.

cardenal

19

En 1946, el geofísico y estadístico bayesiano Harold Jeffreys introdujo lo que hoy llamamos la divergencia Kullback-Leibler, y descubrió que para dos distribuciones que están "infinitamente cercanas" (esperemos que los chicos de Math SE no vean esto ;-) podemos escribir su divergencia Kullback-Leibler como una forma cuadrática cuyos coeficientes están dados por los elementos de la matriz de información de Fisher. Interpretó esta forma cuadrática como el elemento de longitud de una variedad riemanniana, con la información de Fisher jugando el papel de la métrica riemanniana. De esta geometrización del modelo estadístico, derivó su anterior de Jeffreys como la medida inducida naturalmente por la métrica de Riemann, y esta medida puede interpretarse como una distribución intrínsecamente uniforme en la variedad, aunque, en general, no es una medida finita.

Para escribir una prueba rigurosa, deberá detectar todas las condiciones de regularidad y cuidar el orden de los términos de error en las expansiones de Taylor. Aquí hay un breve bosquejo del argumento.

La divergencia simétrica de Kullback-Leibler entre dos densidades y se define como $f$ $g$

re [F, sol] = \int (F (X) - sol (X)) Iniciar sesión (\frac{F (X)}{sol (X)}) re X .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

Si tenemos una familia de densidades parametrizadas por , entonces $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ en el que . Al presentar la notación poco de álgebra simple da Usando la expansión de Taylor para el logaritmo natural, tenemos

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ pags (X ∣ θ) = pags (X ∣ θ) - pags (X ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

re [pags (\cdot ∣ θ), pags (\cdot ∣ θ + Δ θ)] = \int \frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)} Iniciar sesión (1 + \frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)}) pags (X ∣ θ) re X .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

Iniciar sesión (1 + \frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)}) \approx \frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$

y por lo tanto, Pero Por lo tanto, en el que

re [pags (\cdot ∣ θ), pags (\cdot ∣ θ + Δ θ)] \approx \int {(\frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)})}^{2} pags (X ∣ θ) re X .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ pags (X ∣ θ)}{pags (X ∣ θ)} \approx \frac{1}{pags (X ∣ θ)} \sum_{yo = 1}^{k} \frac{\partial pags (X ∣ θ)}{\partial θ_{yo}} Δ θ_{yo} = \sum_{yo = 1}^{k} \frac{\partial Iniciar sesión pags (X ∣ θ)}{\partial θ_{yo}} Δ θ_{yo} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

re [pags (\cdot ∣ θ), pags (\cdot ∣ θ + Δ θ)] \approx \sum_{yo, j = 1}^{k} {sol}_{yo j} Δ θ_{yo} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

{sol}_{yo j} = \int \frac{\partial Iniciar sesión pags (X ∣ θ)}{\partial θ_{yo}} \frac{\partial Iniciar sesión pags (X ∣ θ)}{\partial θ_{j}} pags (X ∣ θ) re X .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

Este es el artículo original:

Jeffreys, H. (1946). Una forma invariable para la probabilidad previa en problemas de estimación. Proc. Royal Soc. de Londres, Serie A, 186, 453–461.

zen
fuente

1

Muchas gracias por la buena escritura. Sería bueno si puedes ayudar esto también.

Kumara

Sí, has dicho con razón. Debo salir de esta "trampa de abstracción".

Kumara

@zen Está utilizando la expansión Taylor del logaritmo bajo la integral, ¿por qué es válido?

Sus20200

1

Parece crucial que comience con la divergencia KL simétrica, a diferencia de la divergencia KL estándar. El artículo de Wikipedia no menciona la versión simétrica, por lo que posiblemente sea incorrecta. en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

Surgical Commander

11

Prueba de la divergencia KL habitual (no simétrica)

La respuesta de Zen utiliza la divergencia KL simétrica, pero el resultado también es válido para la forma habitual, ya que se vuelve simétrica para distribuciones infinitamente cercanas.

Aquí hay una prueba de distribuciones discretas parametrizadas por un escalar (porque soy perezoso), pero puede reescribirse fácilmente para distribuciones continuas o un vector de parámetros: $\theta$

re ({pags}_{θ}, {pags}_{θ + re θ}) = \sum {pags}_{θ} Iniciar sesión {pags}_{θ} - \sum {pags}_{θ} Iniciar sesión {pags}_{θ + re θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ Taylor-expandiendo el último término: Suponiendo algunas regularidades, he usado los dos resultados:

= \underset{= 0 0}{\underset{⏟}{\sum {pags}_{θ} Iniciar sesión {pags}_{θ} - \sum {pags}_{θ} Iniciar sesión {pags}_{θ}}} - re θ \underset{= 0 0 †}{\underset{⏟}{\sum {pags}_{θ} \frac{re}{re θ} Iniciar sesión {pags}_{θ}}} - \frac{1}{2} {re θ}^{2} \underset{= - \sum {pags}_{θ} (\frac{re}{re θ} Iniciar sesión {pags}_{θ})^{2} ‡}{\underset{⏟}{\sum {pags}_{θ} \frac{{re}^{2}}{re θ^{2}} Iniciar sesión {pags}_{θ}}} + O ({re θ}^{3}) = \frac{1}{2} {re θ}^{2} \underset{Información de Fisher}{\underset{⏟}{\sum {pags}_{θ} (\frac{re}{re θ} Iniciar sesión {pags}_{θ})^{2}}} + O ({re θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : \sum {pags}_{θ} \frac{re}{re θ} Iniciar sesión {pags}_{θ} = \sum \frac{re}{re θ} {pags}_{θ} = \frac{re}{re θ} \sum {pags}_{θ} = 0 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : \sum {pags}_{θ} \frac{{re}^{2}}{re θ^{2}} Iniciar sesión {pags}_{θ} & = \sum {pags}_{θ} \frac{re}{re θ} (\frac{1}{{pags}_{θ}} \frac{re {pags}_{θ}}{re θ}) \\ = \sum {pags}_{θ} [\frac{1}{{pags}_{θ}} \frac{{re}^{2} {pags}_{θ}}{re θ} - (\frac{1}{{pags}_{θ}} \frac{re {pags}_{θ}}{re θ})^{2}] \\ = \sum \frac{{re}^{2} {pags}_{θ}}{re θ^{2}} - \sum {pags}_{θ} (\frac{1}{{pags}_{θ}} \frac{re {pags}_{θ}}{re θ})^{2} \\ = \underset{= 0 0}{\underset{⏟}{\frac{{re}^{2}}{re θ^{2}} \sum {pags}_{θ}}} - \sum {pags}_{θ} (\frac{re}{re θ} Iniciar sesión {pags}_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

Abhranil Das
fuente

4

Puede encontrar una relación similar (para un parámetro unidimensional) en la ecuación (3) del siguiente documento

D. Guo (2009), Entropía relativa y función de puntuación: nuevas relaciones de información-estimación a través de la perturbación aditiva arbitraria , en Proc. Simposio internacional de IEEE sobre teoría de la información , 814–818. ( enlace estable ).

Los autores se refieren a

S. Kullback, Teoría de la información y estadística . Nueva York: Dover, 1968.

para una prueba de este resultado.

Primo Carnera
fuente

1

Una versión multivariada de la ecuación (3) de ese documento se prueba en el texto de Kullback citado en las páginas 27-28. La constante parece haberse perdido en la pregunta del OP. :)

1 / 2

$1/2$

cardenal

Conexión entre la métrica de Fisher y la entropía relativa

Respuestas:

Prueba de la divergencia KL habitual (no simétrica)