En el algoritmo SVM, ¿por qué el vector w es ortogonal al hiperplano de separación?

Soy un principiante en Machine Learning. En SVM, el hiperplano de separación se define como . Por eso decimos vector ortogonal al hiperplano que separa?$y = w^T x + b$$w$

Geométricamente, el vector w se dirige ortogonal a la línea definida por . Esto se puede entender de la siguiente manera:$w^{T} x = b$

Primero toma . Ahora está claro que todos los vectores, , con un producto interno que desaparece con satisfacen esta ecuación, es decir, todos los vectores ortogonales a w satisfacen esta ecuación.x $b = 0$$x$$w$

Ahora traduzca el hiperplano lejos del origen sobre un vector a. La ecuación para el plano ahora se convierte en: , es decir, encontramos que para el desplazamiento , que es la proyección del vector sobre el vector .b = a T w a $(x − a)^{T} w = 0$$b = a^{T} w$$a$$w$

Sin pérdida de generalidad, podemos elegir una perpendicular al plano, en cuyo caso la longitud que representa el más corto, ortogonal distancia entre el origen y el hiperplano.$\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Por lo tanto, se dice que el vector es ortogonal al hiperplano de separación.$w$

La razón por la cual es normal para el hiperplano es porque lo definimos así:$w$

Supongamos que tenemos un (hiper) plano en el espacio 3d. Sea un punto en este plano, es decir, . Por lo tanto, el vector desde el origen hasta este punto es solo . Supongamos que tenemos un punto arbitrario en el plano. El vector que une y viene dado por: Tenga en cuenta que este vector se encuentra en el plano.$P_0$$P_0 = x_0, y_0, z_0$$(0,0,0)$$<x_0,y_0,z_0>$$P (x,y,z)$$P$$P_0$

$$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$$

Ahora dejemos que sea ​​el vector normal (ortogonal) del plano. Por lo tanto: Por lo tanto: Tenga en cuenta que es solo un número y es igual a en nuestro caso, mientras que es solo y es . Entonces, por definición, es ortogonal al hiperplano.$\hat{n}$

$$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$$ $$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$$ $-\hat{n} \bullet \vec{P_0}$$b$$\hat{n}$$w$$\vec{P}$$x$$w$

Deje que el límite de decisión se defina como . Considere los puntos y , que se encuentran en el límite de decisión. Esto nos da dos ecuaciones:$w^Tx + b = 0$$x_a$$x_b$

$$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$$

Restar estas dos ecuaciones nos da . Tenga en cuenta que el vector encuentra en el límite de decisión, y se dirige de a . Dado que el producto punto es cero, debe ser ortogonal a y, a su vez, al límite de decisión.$w^T.(x_a - x_b) = 0$$x_a - x_b$$x_b$$x_a$$w^T.(x_a - x_b)$$w^T$$x_a - x_b$

Usando la definición algebraica de un vector que es ortogonal a un hiperplano:

$\forall \ x_1, x_2$ en el hiperplano de separación,

$$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$$