Demuestre que la distribución máxima de entropía con una matriz de covarianza fija es gaussiana

Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía.

¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento, etc.?

El paso marcado es válido porque (a) y q tienen los mismos momentos cero y segundo y (b) log ( p ) es una función polinómica de los componentes de x cuyos términos tienen grados totales 0 o 2 .$p$$q$$\log(p)$$\mathbf{x}$$0$$2$

---

Solo necesita saber dos cosas acerca de una distribución normal multivariada con media cero:

1. es una función cuadrática de x = ( x 1 , x 2 , ... , x n ) sin términos lineales. Específicamente, hay constantes C y p i j para las cuales log ( p ( x ) ) = C + n ∑ i , j = 1 p i $\log(p)$$\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$$p_{ij}$

   $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   (Por supuesto, y p i j pueden escribirse en términos de Σ , pero este detalle no importa).$C$$p_{ij}$$\Sigma$

2. da los segundos momentos de la distribución. Es decir, Σ i j = E p ( x i x j ) = ∫ p ( x$\Sigma$

   $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Podemos usar esta información para elaborar una integral:

$$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Se divide en la suma de dos partes:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$$q$$p$

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ because each of the integrals on the right hand side, $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ and $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$, has the same value (to wit, $\Sigma_{ij}$) Esto es lo que pretende decir la observación "producir los mismos momentos de la forma cuadrática".

El resultado sigue inmediatamente: desde $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$, concluimos que $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

Creo que lo que sucede es que en las integrales en (4.27) y (4.28) tienes $q(x)$ y $p(x)$ multiplicando los términos del formulario $\sigma_{ij}x_ix_j$ (porque $p(x)$es una densidad normal, cuando toma el registro obtiene exactamente ese tipo de términos del exponente más las constantes). Pero entonces la condición en el teorema asegura que esos términos se multipliquen por$p(x)$ de $q(x)$ integrarse al mismo valor.