¿El proceso gaussiano (regresión) tiene la propiedad de aproximación universal?

¿Puede cualquier función continua en [a, b], donde a y b son números reales, ser aproximada o arbitrariamente cercana a la función (en alguna norma) por Procesos Gaussianos (Regresión)?

gaussian-process approximation Michael D
fuente

¡Sé más específico!

Henry.L

¡si! Bueno, en realidad, depende de la función de covarianza, pero para algunos de ellos lo hacen . Dustin Tran y col. También demostró un teorema de aproximación universal en el marco Bayesiano para el Proceso Gaussiano Variacional , que es un modelo más complejo debido a las funciones de deformación, pero está muy relacionado. Escribiré una respuesta si la pregunta se vuelve a abrir. PS tenga en cuenta que la aproximación universal, como para las redes neuronales, solo se mantiene sobre un conjunto compacto, no sobre todo

R^{p}

$\mathbb{R}^p$

DeltaIV

La declaración de "aproximación universal" en esta pregunta parece tener poco o nada que ver con la declaración en el artículo de Wikipedia al que se hace referencia. De hecho, ni siquiera está claro cómo se puede aproximar una función con un proceso . ¿Podría dar más detalles sobre lo que está tratando de preguntar?

whuber

f

$f$

f

$f$

f

$f$

f

$f$

x = x

$x=x$

Respuestas:

Como señala @Dougal, hay dos formas diferentes de interpretar su pregunta. Están estrechamente relacionados, incluso si no lo parece.

$X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

$f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

$K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$

$f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ $f$

DeltaIV
fuente