Multivariante normal posterior

18

Esta es una pregunta muy simple, pero no puedo encontrar la derivación en ningún lugar de Internet o en un libro. Me gustaría ver la derivación de cómo un Bayesiano actualiza una distribución normal multivariada. Por ejemplo: imagina que

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Después de observar un conjunto de , me gustaría calcular . Sé que la respuesta es donde P ( μ | x 1 . . . x n ) P ( μ | x 1 . . . x n )=N( μ n , Σ n )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Estoy buscando la derivación de este resultado con todo el álgebra de matriz intermedia.

Cualquier ayuda es muy apreciada.

Alex
fuente
2
También se resuelve en nuestro libro Bayesian Core , Cap. 3, Sección 3.2, páginas 54-57 con lo que creemos que es álgebra matricial detallada.
Xi'an
1
El OP dijo que no era un problema de tarea e incluso explicó por qué lo hizo y cómo quiere usar la respuesta. ¿Por qué no publicarlo para otros? Entiendo por qué no queremos proporcionar un servicio de resolución de problemas de tarea, pero esto lo lleva un poco demasiado lejos.
Michael R. Chernick
3
@Alex: Lo siento, enlace incorrecto, me refería a Bayesian Core . Tenga en cuenta que también publicamos soluciones a todos los problemas en arXiv . ¡Publicar una solución completa aquí no estaría de más!
Xi'an
1
He eliminado la parte de los comentarios que equivale a un intercambio privado entre individuos con un acuerdo para compartir una respuesta privada a la pregunta. Ese tipo de cosas está abusando de este sitio, que tiene que ver con públicos preguntas y públicos respuestas.
whuber
1
Al igual que para su información, la derivación está en Clasificación de patrones por Duda, Hart y Stork. Sin embargo, estaba teniendo dificultades para seguir algunos de sus pasos, lo que solo me importa. Si esto fuera simplemente tarea, uno podría escribir exactamente lo que tiene.
Alex

Respuestas:

6

Con las distribuciones en nuestros vectores aleatorios:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Por la regla de Bayes, la distribución posterior se ve así:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Entonces:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Which is the log density of a Gaussian:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Using the Woodbury identity on our expression for the covariance matrix:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Which provides the covariance matrix in the form the OP wanted. Using this expression (and its symmetry) further in the expression for the mean we have:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Which is the form required by the OP for the mean.

conjectures
fuente