¿Existe alguna relación entre la similitud del coseno, la correlación de Pearson y la puntuación z?

Me pregunto si hay alguna relación entre estas 3 medidas. Parece que no puedo establecer una conexión entre ellos al referirme a las definiciones (posiblemente porque soy nuevo en estas definiciones y me está costando un poco entenderlas).

Sé que el rango de la similitud del coseno puede ser de 0 a 1, y que la correlación de Pearson puede variar de -1 a 1, y no estoy seguro sobre el rango de la puntuación z.

Sin embargo, no sé cómo un cierto valor de similitud de coseno podría decirle algo sobre la correlación de Pearson o la puntuación z, y viceversa.

correlation z-score cosine-similarity Jaken Herman
fuente

z puntaje de qué ? Las puntuaciones z de algunas cosas pueden estar relacionadas con la correlación de Pearson, las puntuaciones Z de otras cosas pueden no estarlo. Por ejemplo, si estandariza internamente sus variables originales, entonces la correlación de Pearson entre x e y es el producto esperado de sus puntajes z. O podría estar hablando de puntajes z de correlaciones de Pearson (correlaciones de Pearson menos sus expectativas bajo alguna condición, todo dividido por el error estándar de la correlación de Pearson), que sin duda estaría relacionado con la correlación de Pearson.

Glen_b -Reinstalar Monica

Relación directa: stats.stackexchange.com/a/22520/3277

ttnphns

Respuestas:

$a$ $b$

\cos θ = \frac{un \cdot si}{‖ un ‖ ‖ si ‖}

$\cos\theta = \frac{a\cdot b}{\lVert{a}\rVert \, \lVert{b}\rVert}$

Para un vector el vector " -score" se definiría típicamente como donde y son la media y la desviación estándar de . Entonces, tiene media 0 y desviación estándar 1, es decir, es la versión estandarizada de . $x$ $z$

z = \frac{X - \bar{X}}{s_{X}}

$z=\frac{x-\bar{x}}{s_x}$

\bar{x} = \frac{1}{n} \sum_{i} x_{i}

$\bar{x}=\frac{1}{n}\sum_ix_i$

s_{x}^{2} = \bar{(x - \bar{x})^{2}}

$s_x^2=\overline{(x-\bar{x})^2}$

x

$x$

z

$z$

z_{x}

$z_x$

x

$x$

Para dos vectores e , su coeficiente de correlación sería $x$ $y$

ρ_{x, y} = \bar{(z_{x} z_{y})}

$\rho_{x,y}=\overline{(z_xz_y)}$

Ahora, si el vector tiene media cero, entonces su varianza será , por lo que su vector unitario y su puntaje z estarán relacionados por $a$ $s_a^2=\frac{1}{n}\lVert{a}\rVert^2$

\hat{a} = \frac{a}{‖ a ‖} = \frac{z_{a}}{\sqrt{n}}

$\hat{a}=\frac{a}{\lVert{a}\rVert}=\frac{z_a}{\sqrt n}$

Así que si los vectores de y están centradas (es decir, tienen cero medios), entonces su similitud coseno serán los mismos como su coeficiente de correlación. $a$ $b$

TL; DR La similitud del coseno es un producto escalar de vectores unitarios. La correlación de Pearson es la similitud de coseno entre vectores centrados. La "transformación de puntuación Z" de un vector es el vector centrado escalado a una norma de . $\sqrt n$

GeoMatt22
fuente

+1. Comentario latexnazi: a \|menudo se ve mejor ||y \lVert ... \rVertes la mejor manera de escribirlo.

ameba dice Reinstate Monica