¿Es la distribución de entropía máxima consistente con las distribuciones marginales dadas la distribución del producto de los marginales?

Generalmente hay muchas distribuciones conjuntas consistentes con un conjunto conocido de distribuciones marginales .$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

De estas distribuciones conjuntas, ¿el producto formado tomando el producto de los marginales el que tiene la mayor entropía?$\prod_i f_i(x_i)$

Ciertamente creo que esto es cierto, pero realmente me gustaría ver una prueba.

Estoy más interesado en el caso donde todas las variables son discretas, pero también me interesaría el comentario sobre la entropía en relación con las medidas del producto en el caso continuo.

Una forma es usar las propiedades de la divergencia Kullback-Leibler .

Dejar $\mathfrak{P}$ ser la familia de distribuciones con los márgenes dados, y dejar $Q$ ser la distribución del producto (y obviamente $Q \in \mathfrak{P}$)

Ahora para cualquier $P \in \mathfrak{P}$, la entropía cruzada es:

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

es decir, la suma de la entropía cruzada de los márgenes. Dado que todos los márgenes son fijos, este término en sí mismo debe ser fijo.

Ahora podemos escribir la divergencia KL como:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

y por lo tanto:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

es decir, la distribución que maximiza la entropía es la que minimiza la divergencia KL con , que por las propiedades de la divergencia KL , sabemos que es sí misma.$P$$Q$$Q$