Mapa de características para el núcleo gaussiano

x,y∈Rn

$$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$$ $x, y\in \mathbb{R^n}$$\phi$

También quiero saber si

$$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$$ donde $c_i\in \mathbb R$ . Ahora, creo que no es igual, porque el uso de un núcleo maneja la situación en la que el clasificador lineal no funciona. Sé que $\phi$ proyecta x en un espacio infinito. Entonces, si sigue siendo lineal, no importa cuántas dimensiones tenga, svm aún no puede hacer una buena clasificación.

Puede obtener la ecuación explícita de para el núcleo gaussiano a través de la expansión de la serie Tailor de e x . Para simplificar la notación, suponga x ∈ R 1 :$\phi$$e^x$$x\in \mathbb{R}^1$

$$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$$

Esto también se discute con más detalle en estas diapositivas por Chih-Jen Lin de NTU (diapositiva 11 específicamente). Tenga en cuenta que en las diapositivas se usa como parámetro del núcleo.$\gamma=\frac{1}{2\sigma^2}$

La ecuación en el OP solo se cumple para el núcleo lineal.

Para cualquier psd válido kernel , existe un mapa de características φ : X → H tal que k ( x , y ) = ⟨ φ ( x ) , φ ( y ) ⟩ H . De hecho, el espacio H y la incrustación φ no necesitan ser únicos, pero hay un par único importante ( H , φ ) conocido como el espacio de reproducción de Hilbert del núcleo (RKHS).$k : \mathcal X \times \mathcal X \to \mathbb R$$\varphi : \mathcal X \to \mathcal H$$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$$\mathcal H$$\varphi$$(\mathcal H, \varphi)$

El RKHS es discutido por: Steinwart, Hush and Scovel, Una descripción explícita del espacio de reproducción Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , citeeer pdf gratuito ).

Es algo complicado, pero se reduce a esto: defina como e n ( z ) : = $e_n : \mathbb C \to \mathbb C$

$$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$$

Sea una secuencia que abarca todas las d -tuplas de enteros no negativos; si d = 3 , quizás n ( 0 ) = ( 0 , 0 , 0 ) , n ( 1 ) = ( 0 , 0 , 1 ) , n ( 2 ) = ( 0 , 1 , 1 $n : \mathbb{N}_0 \to \mathbb{N}_0^d$$d$$d = 3$$n(0) = (0, 0, 0)$$n(1) = (0, 0, 1)$$n(2) = (0, 1, 1)$, y así. Denotan la componente ésimo de la i º tupla por n i j .$j$$i$$n_{ij}$

Entonces el componente número de φ ( x ) es ∏ d j = 1 e n i j ( x j ) . Entonces φ asigna vectores en R d a vectores complejos de dimensiones infinitas.$i$$\varphi(x)$$\prod_{j=1}^d e_{n_{ij}}(x_j)$$\varphi$$\mathbb R^d$

El problema con esto es que además tenemos que definir normas para estos vectores complejos de dimensión infinita de una manera especial; Vea el documento para más detalles.

---

Steinwart y col. También proporciono una integración más directa (a mi parecer) en , el espacio de Hilbert de funciones integrables al cuadrado de R d → R : Φ σ ( x ) = ( 2 σ ) $L_2(\mathbb R^d)$$\mathbb R^d \to \mathbb R$

$$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$$ $\Phi_\sigma(x)$$\mathbb R^d$$\mathbb R$$d$$x$$\frac{1}{4 \sigma^2} I$; only the normalizing constant is different. Thus when we take $$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$$ we're taking the product of Gaussian density functions, which is itself a certain constant times a Gaussian density functions. When you do that integral by $t$, then, the constant that falls out ends up being exactly $k(x, y)$.

---

These are not the only embeddings that work.

Another is based on the Fourier transform, which the celebrated paper of Rahimi and Recht (Random Features for Large-Scale Kernel Machines, NIPS 2007) approximates to great effect.

You can also do it using Taylor series: effectively the infinite version of Cotter, Keshet, and Srebro, Explicit Approximations of the Gaussian Kernel, arXiv:1109.4603.

It seems to me that your second equation will only be true if $\phi$ is a linear mapping (and hence $K$ is a linear kernel). As the Gaussian kernel is non-linear, the equality will not hold (except perhaps in the limit as $\sigma$ goes to zero).