¿Por qué la inversión de una matriz de covarianza produce correlaciones parciales entre variables aleatorias?

Escuché que se pueden encontrar correlaciones parciales entre variables aleatorias invirtiendo la matriz de covarianza y tomando celdas apropiadas de dicha matriz de precisión resultante (este hecho se menciona en http://en.wikipedia.org/wiki/Partial_correlation , pero sin una prueba) .

¿Por qué es este el caso?

covariance covariance-matrix linear-algebra partial-correlation matrix-inverse michal
fuente

Si quiere obtener una correlación parcial en una celda controlada para todas las demás variables, entonces el último párrafo aquí puede arrojar luz.

ttnphns

Respuestas:

Cuando una variable aleatoria multivariada tiene una matriz de covarianza no degenerada , el conjunto de todas las combinaciones lineales reales de forman un espacio vectorial real dimensional con base y un producto interno no degenerado dado por $(X_1,X_2,\ldots,X_n)$ $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ $X_i$ $n$ $E=(X_1,X_2,\ldots, X_n)$

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

Su base dual con respecto a este producto interno , , está definida de manera única por las relaciones $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

el delta de Kronecker (igual a cuando y caso contrario). $1$ $i=j$ $0$

La base dual es de interés aquí porque la correlación parcial de y se obtiene como la correlación entre la parte de que queda después de proyectarla en el espacio abarcado por todos los otros vectores (llamémosla simplemente "residual", ) y la parte comparable de , su residual . Sin embargo, es un vector que es ortogonal a todos los vectores además de y tiene un producto interno positivo con donde debe ser algún múltiplo no negativo de , y de la misma manera para $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ $X_{i\circ}$ $X_i^{*}$ $X_j$ . Por lo tanto, escribamos

X_{yo \circ} = λ_{yo} X_{yo}^{*}, X_{j \circ} = λ_{j} X_{j}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

para números reales positivos y . $\lambda_i$ $\lambda_j$

La correlación parcial es el producto puntual normalizado de los residuos, que no cambia al cambiar la escala:

ρ_{i j \circ} = \frac{⟨ X_{yo \circ}, X_{j \circ} ⟩}{\sqrt{⟨ X_{yo \circ}, X_{yo \circ} ⟩ ⟨ X_{j \circ}, X_{j \circ} ⟩}} = \frac{λ_{yo} λ_{j} ⟨ X_{yo}^{*}, X_{j}^{*} ⟩}{\sqrt{λ_{yo}^{2} ⟨ X_{yo}^{*}, X_{yo}^{*} ⟩ λ_{j}^{2} ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} = \frac{⟨ X_{yo}^{*}, X_{j}^{*} ⟩}{\sqrt{⟨ X_{yo}^{*}, X_{yo}^{*} ⟩ ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

(En cualquier caso, la correlación parcial será cero siempre que los residuos sean ortogonales, sean o no distintos de cero).

Necesitamos encontrar los productos internos de elementos de base dual. Para este fin, expanda los elementos de base dual en términos de la base original : $E$

X_{yo}^{*} = \sum_{j = 1}^{norte} β_{yo j} X_{j} .

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

Entonces por definición

δ_{yo k} = ⟨ X_{yo}^{*}, X_{k} ⟩ = \sum_{j = 1}^{norte} β_{yo j} ⟨ X_{j}, X_{k} ⟩ = \sum_{j = 1}^{norte} β_{yo j} γ_{j k} .

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

En notación matricial con la matriz de identidad y la matriz de cambio de base, esto indica $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

yo = si do .

$\mathbb{I} = \mathbb{BC}\ .$

Es decir, , que es exactamente lo que afirma el artículo de Wikipedia. La fórmula anterior para la correlación parcial da $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{i j \cdot} = \frac{β_{i j}}{\sqrt{β_{i i} β_{j j}}} = \frac{C_{i j}^{- 1}}{\sqrt{C_{i i}^{- 1} C_{j j}^{- 1}}} .

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

whuber
fuente

+1, gran respuesta. Pero, ¿por qué llamas a esta base dual "base dual con respecto a este producto interno"? ¿Qué significa exactamente "con respecto a este producto interno"? Parece que usa el término "base dual" como se define aquí mathworld.wolfram.com/DualVectorSpace.html en el segundo párrafo ("Dada una base de espacio vectorial para existe una base dual .. . ") o aquí en.wikipedia.org/wiki/Dual_basis , y es independiente de cualquier producto escalar.

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

ameba dice Reinstate Monica

@amoeba Hay dos tipos de duales. El dual (natural) de cualquier espacio vectorial sobre un campo es el conjunto de funciones lineales , llamado . No hay forma canónica de identificar con , a pesar de que tienen la misma dimensión cuando es de dimensión finita. Cualquier producto interno corresponde a dicho mapa , y viceversa , a través de(La no generación de asegura que es un isomorfismo de espacio vectorial). Esto proporciona una forma de ver elementos de

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

g (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$ como si fueran elementos de la doble pero depende de .

V^{*}

$V^*$

γ

$\gamma$

whuber

@mpettis Esos puntos fueron difíciles de notar. Los he reemplazado con pequeños círculos abiertos para que la notación sea más fácil de leer. Gracias por señalar esto.

whuber

Las respuestas de avión de @Andy Ron Christensen a preguntas complejas podrían ser el tipo de cosa que estás buscando. Desafortunadamente, su enfoque hace que (IMHO) dependa indebidamente de los argumentos y cálculos de coordenadas. En la introducción original (ver p. Xiii), Christensen explica que es por razones pedagógicas.

whuber

@whuber, tu prueba es asombrosa. Me pregunto si algún libro o artículo contiene tal prueba para que pueda citar.

Harry

Aquí hay una prueba con solo cálculos matriciales.

Agradezco la respuesta de whuber. Es muy perspicaz en las matemáticas detrás de la escena. Sin embargo, todavía no es tan trivial cómo usar su respuesta para obtener el signo menos en la fórmula establecida en la wikipedia Correlación parcial # Using_matrix_inversion .

ρ_{X_{yo} X_{j} \cdot V ∖ {X_{yo}, X_{j}}} = - \frac{{pags}_{yo j}}{\sqrt{{pags}_{yo yo} {pags}_{j j}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

Para obtener este signo menos, aquí hay una prueba diferente que encontré en "Graphical Models Lauriten 1995 Page 130". Simplemente se realiza mediante algunos cálculos matriciales.

La clave es la siguiente identidad matricial: donde , y .

{(\begin{matrix} UNA & si \\ do & re \end{matrix})}^{- 1} = (\begin{matrix} {mi}^{- 1} & - {mi}^{- 1} sol \\ - F {mi}^{- 1} & {re}^{- 1} + F {mi}^{- 1} sol \end{matrix})

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

G = B D^{- 1}

$G = BD^{-1}$

Escriba la matriz de covarianza como donde es La matriz de covarianza de y es la matriz de covarianza de .

Ω = (\begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix})

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

Deje . Del mismo modo, escriba como $P = \Omega^{-1}$ $P$

PAGS = (\begin{matrix} {PAGS}_{11} & {PAGS}_{12} \\ {PAGS}_{21} & {PAGS}_{22} \end{matrix})

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

Por la identidad de matriz clave,

{PAGS}_{11}^{- 1} = Ω_{11} - Ω_{12} Ω_{22}^{- 1} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

También sabemos que es la matriz de covarianza de (de Multivariate_normal_distribution # Conditional_distributions ). Por lo tanto, la correlación parcial es Utilizo la notación de que la entrada de la matriz se denota por . $\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$

ρ_{X_{yo} X_{j} \cdot V ∖ {X_{yo}, X_{j}}} = \frac{[{PAGS}_{11}^{- 1}]_{12}}{\sqrt{[{PAGS}_{11}^{- 1}]_{11} [{PAGS}_{11}^{- 1}]_{22}}} .

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

Simplemente fórmula de inversión simple de matriz 2 por 2,

(\begin{matrix} [P_{11}^{- 1}]_{11} & [P_{11}^{- 1}]_{12} \\ [P_{11}^{- 1}]_{21} & [P_{11}^{- 1}]_{22} \end{matrix}) = P_{11}^{- 1} = \frac{1}{det P_{11}} (\begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix})

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

Por lo tanto, que es exactamente lo que afirma el artículo de Wikipedia .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} = \frac{- \frac{1}{det P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1}{det P_{11}} [P_{11}]_{22} \frac{1}{det P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

Po C.
fuente

Si dejamos i=j, entonces rho_ii V\{X_i, X_i} = -1, ¿cómo interpretamos esos elementos diagonales en la matriz de precisión?

Jason

Buen punto. La fórmula solo debe ser válida para i = / = j. De la prueba, el signo menos proviene de la inversión matricial de 2 por 2. No sucedería si i = j.

Po C.

Por lo tanto, los números diagonales no pueden asociarse con una correlación parcial. ¿Qué representan? No son solo inversos de las variaciones, ¿verdad?

Jason

Esta fórmula es válida para i = / = j. No tiene sentido para i = j.

Po C.

Tenga en cuenta que el signo de la respuesta en realidad depende de cómo defina la correlación parcial. Hay una diferencia entre la regresión de y en las otras variables por separado frente a la regresión de y en las otras variables juntas. Bajo la segunda definición, deje que la correlación entre los residuos y sea . Entonces la correlación parcial de los dos (regresando en y viceversa) es . $X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

Esto explica la confusión en los comentarios anteriores, así como en Wikipedia. La segunda definición se usa universalmente por lo que puedo decir, por lo que debería haber un signo negativo.

Originalmente publiqué una edición en la otra respuesta, pero cometí un error, ¡perdón por eso!

Johnny Ho
fuente