Por que

En primer lugar, aprecio que las discusiones sobre generalmente provoquen explicaciones sobre (es decir, el coeficiente de determinación en la regresión). El problema que estoy tratando de responder es generalizar eso a todas las instancias de correlación entre dos variables. $r^2$ $R^2$

Entonces, me ha intrigado la variación compartida durante bastante tiempo. Me han ofrecido algunas explicaciones, pero todas parecen problemáticas:

Es solo otro término para covarianza. Esto no puede ser el caso, ya que se diferencia de la literatura de análisis factorial entre la ACP y la EPT al afirmar que este último representa la varianza compartida y la antigua no (PCA, obviamente, se Contabilización de covarianza en el que está operando a través de una matriz de covarianza, por lo compartido la varianza debe ser un concepto distinto).
Es el coeficiente de correlación al cuadrado ( $r^2$ ) Ver:
- http://www.philender.com/courses/linearmodels/notes1/var1.html , o
- http://www.strath.ac.uk/aer/materials/4dataanalysisineducationalresearch/unit6/correlationcoefficient/

Esto tiene un poco más de sentido. El problema aquí es interpretar cómo eso implica que es una varianza compartida. Por ejemplo, una interpretación de 'compartir varianza' es ${\rm cov}(A,B)/[{\rm var}(A)+{\rm var}(B)]$ . $r^2$ no se reduce a eso, o de hecho un concepto fácilmente intuitivo [ ${\rm cov}(A,B)^2/({\rm var}(A)\times{\rm var}(B))$ ; que es un objeto de 4 dimensiones].

Los enlaces anteriores intentan explicarlo a través de un diagrama de Ballentine. No ayudan En primer lugar, los círculos son del mismo tamaño (lo que parece ser importante para la ilustración por alguna razón), lo que no tiene en cuenta las variaciones desiguales. Se podría suponer que se trata de los diagramas de Ballentine para las variables estandarizadas, por lo tanto, la misma varianza, en cuyo caso el segmento superpuesto explicaría la covarianza entre dos variables estandarizadas (la correlación). Entonces $r$ no $r^2$ .

TL; DR: Las explicaciones de la varianza compartida dicen esto:

Al cuadrar el coeficiente, usted sabe cuánta varianza, en términos porcentuales, comparten las dos variables.

¿Por qué sería ese el caso?

correlation variance covariance r-squared Sue Doh Nimh
fuente

Ambos puntos ("covarianza" y "r-cuadrado") son interpretaciones correctas. Te recomiendo esta mi respuesta:

r^{2}

$r^2$ es el producto de dos magnitudes relativas de la covarianza, y es una probabilidad cuasi conjunta.

ttnphns

Dentro de la EPT, generalmente dicen "varianza común", no "varianza compartida". La varianza común es el reino de la colinealidad total. Por otro lado, el término "varianza compartida" no está del todo definido (su pregunta es sobre cómo definirlo).

ttnphns

Los diagramas de Venn (Ballentine) no pueden relacionar adecuadamente el concepto de

r^{2}

$r^2$ porque la magnitud de covarianza no es el área de intersección de los dos círculos (varianzas). La covarianza depende de ambas variaciones. El tamaño de la covarianza puede ser mayor que el tamaño de la varianza más pequeña (que ciertamente es imposible de mostrar en Venn por intersección).

ttnphns

Eso nos lleva de vuelta a la definición regresiva de

r^{2}

$r^2$ como

1 - S S r e s i d / S S t o t

$1-SSresid/SStot$ . Así que si la situación es homoscedastic se puede ver fácilmente a sí mismo ...

ttnphns

La covarianza es "varianza compartida", magnitud bruta de if. Normalizado a una magnitud relativa, puede ser de dos versiones, r y r-sq. r-sq puede interpretarse como% de la varianza compartida en la varianza combinada.

ttnphns

Uno solo puede adivinar lo que un autor en particular podría decir con "variación compartida". Podríamos esperar circunscribir las posibilidades considerando qué propiedades debería tener este concepto (intuitivamente). Sabemos que "las variaciones agregan": la varianza de una suma $X+\varepsilon$ es la suma de las variaciones de $X$ y $\varepsilon$ cuando $X$ y $\varepsilon$ tener cero covarianza Es natural definir la "varianza compartida" de $X$ con la suma como la fracción de la varianza de la suma representada por la varianza de $X$ . Esto es suficiente para implicar las variaciones compartidas de cualquiera de las dos variables aleatorias. $X$ y $Y$ debe ser el cuadrado de su coeficiente de correlación.

Este resultado da sentido a la interpretación de un coeficiente de correlación al cuadrado como una "varianza compartida": en un sentido adecuado, realmente es una fracción de una varianza total que puede asignarse a una variable en la suma.

Los detalles siguen.

Principios y sus implicaciones

Por supuesto si $Y=X$ , su "varianza compartida" (llamémosla "SV" de ahora en adelante) debería ser del 100%. Pero que si $Y$ y $X$ son versiones escaladas o desplazadas una de otra? Por ejemplo, ¿y si $Y$ representa la temperatura de una ciudad en grados F y $X$ representa la temperatura en grados C? Me gustaría sugerir que en tales casos $X$ y $Y$ aún debe tener un 100% de SV, para que este concepto siga siendo significativo independientemente de cómo $X$ y $Y$ podría medirse:

\begin{matrix} (1) & SV (α + β X, γ + δ Y) = SV (X, Y) \end{matrix}

$\operatorname{SV}(\alpha + \beta X, \gamma + \delta Y) = \operatorname{SV}(X,Y)\tag{1}$

para cualquier número $\alpha, \gamma$ y números distintos de cero $\beta, \delta$ .

Otro principio podría ser que cuando $\varepsilon$ es una variable aleatoria independiente de $X$ , entonces la varianza de $X+\varepsilon$ puede descomponerse únicamente en dos partes no negativas,

Var (X + ε) = Var (X) + Var (ε),

$\operatorname{Var}(X+\varepsilon) = \operatorname{Var}(X) + \operatorname{Var}(\varepsilon),$

sugiriendo que intentemos definir SV en este caso especial como

\begin{matrix} (2) & SV (X, X + ε) = \frac{Var (X)}{Var (X) + Var (ϵ)} . \end{matrix}

$\operatorname{SV}(X, X+\varepsilon) = \frac{\operatorname{Var}(X)}{\operatorname{Var}(X) + \operatorname{Var}(\epsilon)}.\tag{2}$

Dado que todos estos criterios son solo de segundo orden, solo involucran el primer y segundo momento de las variables en forma de expectativas y variaciones, relajemos el requisito de que $X$ y $\varepsilon$ ser independiente y solo exigir que no estén correlacionados . Esto hará que el análisis sea mucho más general de lo que podría ser.

Los resultados

Estos principios, si los acepta, conducen a un concepto único, familiar e interpretable. El truco será reducir el caso general al caso especial de una suma, donde podemos aplicar la definición $(2)$ .

Dado $(X,Y)$ , simplemente intentamos descomponer $Y$ en una versión escalada y cambiada de $X$ más una variable que no está correlacionada con $X$ : es decir, busquemos constantes (si es posible) $\alpha$ y $\beta$ y una variable aleatoria $\epsilon$ para cual

\begin{matrix} (3) & Y = α + β X + ε \end{matrix}

$Y = \alpha + \beta X + \varepsilon\tag{3}$

con $\operatorname{Cov}(X, \varepsilon)=0$ . Para que la descomposición tenga alguna posibilidad de ser única, debemos exigir

mi [ε] = 0 0

$\mathbb{E}[\varepsilon]=0$

para que una vez $\beta$ es encontrado, $\alpha$ Esta determinado por

α = mi [Y] - β mi [X] .

$\alpha = \mathbb{E}[Y] - \beta\, \mathbb{E}[X].$

Esto se parece mucho a la regresión lineal y de hecho lo es. El primer principio dice que podemos reescalar $X$ y $Y$ tener una varianza unitaria (suponiendo que cada una tenga una varianza distinta de cero) y que cuando se hace, los resultados de regresión estándar afirman el valor de $\beta$ en $(3)$ es la correlación de $X$ y $Y$ :

\begin{matrix} (4) & β = ρ (X, Y) . \end{matrix}

$\beta = \rho(X,Y)\tag{4}.$

Además, tomando las variaciones de $(1)$ da

1 = Var (Y) = β^{2} Var (X) + Var (ε) = β^{2} + Var (ε),

$1 = \operatorname{Var}(Y) = \beta^2 \operatorname{Var}(X) + \operatorname{Var}(\varepsilon) = \beta^2 + \operatorname{Var}(\varepsilon),$

Insinuando

\begin{matrix} (5) & Var (ε) = 1 - β^{2} = 1 - ρ^{2} . \end{matrix}

$\operatorname{Var}(\varepsilon) = 1-\beta^2 = 1-\rho^2.\tag{5}$

Por consiguiente

\begin{aligned} SV (X, Y) & = SV (X, α + β X + ε) & (Modelo 3) \\ = SV (β X, β X + ε) & (Propiedad 1) \\ = \frac{Var (β X)}{Var (β X) + Var (ϵ)} & (Definición 2) \\ = \frac{β^{2}}{β^{2} + (1 - β^{2})} = β^{2} & (Resultado 5) \\ = ρ^{2} & (Relación 4) . \end{aligned}

$\eqalign{ \operatorname{SV}(X,Y) &= \operatorname{SV}(X, \alpha+\beta X + \varepsilon) &\text{(Model 3)}\\ &= \operatorname{SV}(\beta X, \beta X + \varepsilon) &\text{(Property 1)}\\ &= \frac{\operatorname{Var}(\beta X)}{\operatorname{Var}(\beta X) + \operatorname{Var}(\epsilon)} & \text{(Definition 2)}\\ &= \frac{\beta^2}{\beta^2 + (1-\beta^2)} = \beta^2 &\text{(Result 5)}\\ & = \rho^2 &\text{(Relation 4)}. }$

Tenga en cuenta que debido al coeficiente de regresión en $Y$ (cuando está estandarizado a la varianza de la unidad) es $\rho(Y,X)=\rho(X,Y)$ , la "varianza compartida" en sí es simétrica, lo que justifica una terminología que sugiere el orden de $X$ y $Y$ No importa:

SV (X, Y) = ρ (X, Y)^{2} = ρ (Y, X)^{2} = SV (Y, X) .

$\operatorname{SV}(X,Y) = \rho(X,Y)^2 = \rho(Y,X)^2 = \operatorname{SV}(Y,X).$

whuber
fuente

Por que

Respuestas:

Principios y sus implicaciones

Los resultados