¿Cómo probar esta desigualdad de la mezcla gaussiana? (Ajuste / sobreajuste)

Sea f [x] una mezcla de Gauss pdf con n términos de peso uniforme, significa $\{\mu_{1},...,\mu_{n}\}$, y las variaciones correspondientes $\{\sigma_{1},...,\sigma_{n}\}$:

$$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$$

Parece intuitivo que la probabilidad logarítmica muestreada en los n centros gaussianos sería mayor que (o igual a) la probabilidad logarítmica media:

$$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$$

Esto es obviamente cierto para pequeñas variaciones (cada $\mu_{i}$ está encima de un gaussiano estrecho) y para variaciones muy grandes (todos los $\mu_{i}$están encima de un amplio Gaussiano juntos), y ha sido cierto para cada conjunto de $\mu_i$'s y $\sigma_i$He generado y optimizado, pero no puedo entender cómo demostrar que siempre es cierto. ¿Ayuda?

Este es más un comentario extendido, así que tómalo como tal. Definir:

$$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$$ (Estoy usando la notación estándar para distribuciones gaussianas).

Quieres probar que:

$$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$$ cual es $$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$$

Debido a la desigualdad de Jensen (véase, por ejemplo, Huber et al., On Entropy Approximation for Gaussian Mixture Random Vectors, 2008 ),

$$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$$ con $g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$, que proviene de la convolución de dos densidades gaussianas. Entonces obtenemos: $$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$$ Curiosamente, el $g_i$ siguen siendo mezclas de gaussianos con medios componentes iguales a los de $f$, pero cada componente de $g_i$ tiene una varianza estrictamente mayor que su componente correspondiente en $f$. ¿Puedes hacer algo con esto?

Creo que lo tengo. Solo toma pasos elementales, aunque debe combinarlos correctamente.

Vamos a denotar por $f_i$ la densidad de $i$-th Gaussian, eso es $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

Comenzamos con la desigualdad de Jensen. La función$g(x) = x log(x)$ es convexo, por lo tanto tenemos: $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$. Después de integrar obtenemos:

$$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$$ Editar: la desigualdad a continuación es incorrecta y también lo es la solución en sí

Ahora el RHS. Para todos$i$ tenemos $f \geq f_i$, entonces:

$$log(f(\mu_i)) \geq log(f_i(\mu_i))$$ Por lo tanto: $$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$$ Nos queda por demostrar: $$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$$ Pero tenemos: $$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$$ Resumiendo $i$ y dividiendo por $n$ obtenemos lo que necesitábamos