¿Cómo interpretar una matriz de covarianza inversa o precisión?

Me preguntaba si alguien podría señalarme algunas referencias que discutan la interpretación de los elementos de la matriz de covarianza inversa, también conocida como matriz de concentración o matriz de precisión.

Tengo acceso a las dependencias multivariadas de Cox y Wermuth , pero lo que estoy buscando es una interpretación de cada elemento en la matriz inversa. Wikipedia dice : "Los elementos de la matriz de precisión tienen una interpretación en términos de correlaciones parciales y variaciones parciales", lo que me lleva a esta página. ¿Hay una interpretación sin usar regresión lineal? IE, en términos de covarianzas o geometría?

Básicamente hay dos cosas que decir. La primera es que si observa la densidad para la distribución normal multivariada (con media 0 aquí) es proporcional a donde es el inverso de la matriz de covarianza, también llamada precisión. Esta matriz es positiva definida y define a través de un producto interno en . La geometría resultante, que da un significado específico al concepto de ortogonalidad y define una norma relacionada con la distribución normal, es importante, y para comprender, por ejemplo, el contenido geométrico de LDA , necesita ver las cosas a la luz de la geometría dada por

La otra cosa que hay que decir es que las correlaciones parciales se pueden leer directamente desde , ver aquí . La misma página de Wikipedia da que las correlaciones parciales, y por lo tanto las entradas de , tienen una interpretación geométrica en términos de coseno a un ángulo. Lo que quizás sea más importante en el contexto de las correlaciones parciales es que la correlación parcial entre y es 0 si y solo si la entrada en es cero. Para la distribución normal, las variables y son condicionalmente independientes$P$$P$$X_i$$X_j$$i,j$$P$$X_i$$X_j$dadas todas las demás variables. De esto se trata el libro de Steffens, al que me referí en el comentario anterior. Independencia condicional y modelos gráficos. Tiene un tratamiento bastante completo de la distribución normal, pero puede no ser tan fácil de seguir.

Me gusta este modelo gráfico probabilístico para ilustrar el punto de NRH de que la correlación parcial es cero si y solo si X es condicionalmente independiente de Y dado Z, con el supuesto de que todas las variables involucradas son gaussianas multivariadas (la propiedad no se cumple en el caso general) :

( son variables aleatorias gaussianas; ignore T y k)$y_i$

Fuente: Charla de David MacKay sobre Gaussian Process Basics , 25 minutos.

La interpretación basada en correlaciones parciales es probablemente la más útil estadísticamente, ya que se aplica a todas las distribuciones multivariadas. En el caso especial de la distribución Normal multivariante, la correlación parcial cero corresponde a la independencia condicional.

Puede derivar esta interpretación utilizando el complemento de Schur para obtener una fórmula para las entradas de la matriz de concentración en términos de las entradas de la matriz de covarianza. Ver http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

La matriz de covarianza puede representar la relación entre todas las variables, mientras que la covarianza inversa, calza la relación del elemento con sus vecinos (como dice Wikipedia en relación par / par sabio).

Tomo prestado el siguiente ejemplo de aquí en 24:10, imagino que 5 masas están conectadas juntas y vocales con 6 resortes, la matriz de covarianza contendría la correlación de todas las masas, si una va bien, otras también pueden ir bien. pero la matriz de covarianza inversa calza la relación de esas masas que están conectadas por el mismo resorte (vecino) y contiene muchos ceros y no es necesariamente positivo.

Bar-Shalom y Fortmann (1988) mencionan la covarianza inversa en el contexto del filtrado de Kalman de la siguiente manera:

... [T] aquí hay una recursión para la covarianza inversa (o matriz de información )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... De hecho, se puede desarrollar un conjunto completo de ecuaciones de predicción y actualización, conocido como filtro de información [8, 29, 142], para la covarianza inversa y un vector de estado transformado .$\mathbf{P}^{-1}\hat{\mathbf{x}}$

El libro está indexado en Google .