Bayesiana vs máxima entropía

Suponga que la cantidad que queremos inferir es una distribución de probabilidad. Todo lo que sabemos es que la distribución proviene de un conjunto determinado, por ejemplo, por algunos de sus momentos y tenemos una previa .$E$$Q$

El principio de entropía máxima (MEP) dice que que tiene la entropía menos relativa de (es decir, ) es el mejor para seleccionar. Mientras que la regla de selección bayesiana tiene un proceso de selección de la posterior dada la anterior que es compatible con el teorema de Bayes.$P^{\star}\in E$$Q$$P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

Mi pregunta es si existe alguna conexión entre estos dos métodos de inferencia (es decir, si los dos métodos se aplican al mismo problema y tienen algo en común). ¿O si en la inferencia bayesiana la configuración es completamente diferente de la configuración mencionada anteriormente? ¿O no tengo sentido?

Esto puede llegar un poco tarde, pero la pregunta debe reformularse: según lo definido por Jaynes , la entropía máxima es una forma de construir una distribución previa que (a) satisfaga las restricciones impuestas por y (b) tenga la entropía máxima, en relación con una medida de referencia en el caso continuo: Por lo tanto, la entropía máxima (de Jaynes) es claramente parte de la caja de herramientas bayesiana. Y la máxima entropía previa no proporciona la distribución previa más cercana a la verdadera anterior, como lo sugiere la pregunta de Ashok .$E$

La inferencia bayesiana sobre una distribución es un problema completamente diferente, manejado por no paramétricos bayesianos (véase, por ejemplo, este libro reciente de Hjort et al.). Requiere tener observaciones de , que no parece ser el escenario de la pregunta actual ...$Q$$Q$