Cómo puedo convertir la distancia (Euclidiana) a puntaje de similitud

13

Estoy usando $k$ significa agrupamiento para agrupar las voces de los hablantes. Cuando comparo un enunciado con datos de altavoces agrupados obtengo una distorsión promedio (basada en la distancia euclidiana). Esta distancia puede estar en el rango de $[0,\infty]$ . Quiero convertir esta distancia en una puntuación de similitud $[0,1]$ . Por favor, guíame sobre cómo puedo lograr esto.

clustering k-means distance euclidean Mahoma
fuente

15

Si $d(p_1,p_2)$ representa la distancia euclidiana desde el punto $p_1$ hasta el punto $p_2$ ,

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

es de uso general

TrynnaDoStat
fuente

Por favor, corríjanme si me equivoco, si tenemos

y

donde cada

y

es de dimensión

. Entonces podemos definir similitudes como,

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$

x

$x$

y

$y$

D

$D$

.

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$

Muhammad

Entiendo que el más 1 en el denominador es evitar dividir por cero error. Pero he descubierto que el valor más uno afecta desproporcionadamente a los valores de d (p1, p2) que son mayores que 1 y, en última instancia, reduce significativamente la puntuación de similitud. Hay otra manera de hacer esto? Quizás s = 1-d (p1, p2)

aamir23

9

También puedes usar: $\frac{1}{e^{dist}}$ dónde distestá su función de distancia deseada.

Excepción no controlada
fuente

¿Puede dar algún libro de referencia / documentación relacionada con esta ecuación en la que la encontró? @Dougal

Justlife

@AnimeshKumarPaul No escribí esta respuesta, solo mejoré su formato. Pero se usa con frecuencia como una versión de, por ejemplo, un "núcleo RBF generalizado"; ver, por ejemplo, aquí . Esa pregunta se refiere a si la salida es un núcleo positivo definido; Sin embargo, si no te importa eso, al menos satisface una noción intuitiva de similitud de que los puntos más distantes son menos similares.

Dougal

@Justlife: busca en Google esta "enciclopedia de distancias" y elige el resultado con el documento pdf.

Excepción no controlada

6

Parece que quiere algo similar a la similitud del coseno, que es en sí mismo un puntaje de similitud en el intervalo de la unidad. De hecho, existe una relación directa entre la distancia euclidiana y la similitud del coseno.

Observa que

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

Mientras que la similitud del coseno es

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$ where

θ

$\theta$ is the angle between

x

$x$ and

x^{'}

$x^\prime$ .

Cuando tenemos y $||x||=||x^\prime||=1,$

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

entonces

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$

Desde una perspectiva computacional, puede ser más eficiente simplemente calcular el coseno, en lugar de la distancia euclidiana y luego realizar la transformación.

Sycorax dice reinstalar a Mónica
fuente

‖ x, x^{'} ‖^{2}

$\lVert x, x' \rVert^2$

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ (in which case I think the relation is incorrect, as it doesn't account for

‖ x ‖

$\lVert x \rVert$ or

‖ x^{'} ‖

$\lVert x' \rVert$ ), or something based on

⟨ x, x^{'} ⟩

$\langle x, x' \rangle$ ? The cosine similarity I'm familiar with is simply

x^{T} x^{'} / (‖ x ‖ ‖ x^{'} ‖)

$x^T x' / (\lVert x \rVert \lVert x' \rVert)$ , though Wikipedia says the "angular similarity"

1 - \frac{2}{π} \frac{x^{T} x^{'}}{‖ x ‖ ‖ x^{'} ‖}

$1 - \frac2\pi \frac{x^T x'}{\lVert x \rVert \lVert x' \rVert}$ is also sometimes called that.

Dougal

@Dougal Blah. Correct. I've revised to make it intelligible.

Sycorax says Reinstate Monica

Cool. Note though that since the OP said distances are unbounded, it seems like we don't have

‖ x ‖ = 1

$\lVert x \rVert = 1$ . Also, your expansion of

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ is mistaken; it should be

‖ x ‖^{2} + ‖ x^{'} ‖^{2} - 2 x^{T} x^{'}

$\lVert x \rVert^2 + \lVert x' \rVert^2 - 2 x^T x'$ , though the rest of your post handles it correctly. :)

Dougal

3

How about a Gaussian kernel ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

wij
fuente

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

Brad
fuente

Cómo puedo convertir la distancia (Euclidiana) a puntaje de similitud

Respuestas: