Ayuda en Expectativa Maximización del papel: ¿cómo incluir la distribución previa?

9

La pregunta se basa en el artículo titulado: Reconstrucción de imágenes en tomografía óptica difusa utilizando el modelo acoplado de transporte radiativo-difusión

Enlace de descarga

Los autores aplican el algoritmo EM con regularización de dispersión de un vector desconocido para estimar los píxeles de una imagen. El modelo viene dado por $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ La estimación se da en la ecuación (8) como

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

En mi caso, he considerado que es un filtro de longitud y son vectores que representan los filtros. Entonces, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

El modelo puede reescribirse como

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Pregunta: Formulación del problema: (n por 1) es la entrada no observada y es la media cero con varianza desconocida ruido aditivo. La solución MLE se basará en la maximización de expectativas (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

En el artículo, la ecuación (19) es la función : la probabilidad de registro completa, pero para mi caso no entiendo cómo puedo incluir la distribución de en la expresión de probabilidad de registro completa. $A$ $A, \mu$

¿Cuál será la probabilidad de registro completa usando EM de incluyendo la distribución previa? $y$

self-study bayesian maximum-likelihood expectation-maximization moving-average SKM
fuente

¿Realmente quieres el log-verosimilitud o en cambio quieres el log-posterior? Solo este último incluirá el prior laplaciano. El primero puede ser sólo obtiene tomando el logaritmo de la probabilidad, que parece que ya ha escrito a cabo

Hay dos expresiones que quiero: (1) Una que se usará para encontrar la Matriz de información de Fisher y la (2) otra será el pdf del conjunto de datos completo que incluye la variable oculta y las observancias que es la articulación densidad de probabilidad de los datos observados en función del parámetro . El pdf que he escrito es aplicable al modelo MA para la estimación ciega de . Pero, ¿cómo será diferente para la restricción de dispersión = Laplaciano anterior para que se pueda encontrar la matriz de información de Fisher de las derivadas parciales de la probabilidad logarítmica.

Z

$Z$

θ

$\theta$

θ

$\theta$

SKM

@ Xi'an: No entiendo cómo enchufar los 3 pdf que incluyen lo anterior en la formulación del log-verosimilitud. Puedo calcular la maximización que consiste en tomar la derivada parcial y equipararla a cero. ¿Podría por favor poner una respuesta con la expresión de probabilidad explícitamente escrita? Esto realmente ayudará

SKM

3

Si consideramos el objetivo como la representación en la base de EM es para un arbitrario , debido a la descomposición o que funciona para un valor arbitrario de (ya que no hay ninguno en lhs ) y, por lo tanto, también funciona para cualquier expectativa en :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ para cualquier distribución condicional de dada , por ejemplo . Por lo tanto, si maximizamos en con la solución tenemos mientras mediante los argumentos estándar de EM. Por lo tanto,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ y usando como un paso E el objetivo conduce a un aumento en la parte posterior en cada M paso, lo que significa que el algoritmo EM modificado converge a un MAP local.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

Xi'an
fuente

Gracias por su respuesta. ¿ representa el pdf de ? ¿Podría por qué hay 2 expectativas con Restando en la ecuación mencionada en la segunda línea?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

SKM

Agregué algunas explicaciones, pero debe verificar en un libro de texto la derivación del algoritmo EM ya que este es un material estándar.

Xi'an

1

No creo que mostrar un aumento logarítmico monotónico posterior (o probabilidad de logaritmo para MLE) sea suficiente para mostrar la convergencia al punto estacionario de la estimación MAP (o MLE). Por ejemplo, los incrementos pueden volverse arbitrariamente pequeños. En el famoso artículo de Wu 1983 , una condición suficiente para converger al punto estacionario de EM es la diferenciabilidad en ambos argumentos de la función de límite inferior.

Jim.Z
fuente

Ayuda en Expectativa Maximización del papel: ¿cómo incluir la distribución previa?

Respuestas: