Problema de juguete de regresión de proceso gaussiano

Estaba tratando de ganar algo de intuición para la regresión del Proceso Gaussiano, así que hice un simple problema de juguete 1D para probar. Tomé como las entradas, y como las respuestas. ('Inspirado' de ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Para la regresión, utilicé una función de kernel exponencial cuadrática estándar:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Supuse que había ruido con desviación estándar , por lo que la matriz de covarianza se convirtió en: $\sigma_n$

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Los hiperparámetros se estimaron maximizando la probabilidad logarítmica de los datos. Para hacer una predicción en un punto , encontré la media y la varianza respectivamente por lo siguiente $(\sigma_n,l,\sigma_f)$ $x_\star$

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (X_{⋆}, X_{⋆}) - k_{⋆}^{T} (K + σ_{norte}^{2} yo)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

donde es el vector de la covarianza entre y las entradas, e es un vector de las salidas. $k_\star$ $x_\star$ $y$

Mis resultados para se muestran a continuación. La línea azul es la media y las líneas rojas marcan los intervalos de desviación estándar. $1<x<3$

Los resultados

Sin embargo, no estoy seguro de si esto es correcto; mis entradas (marcadas con 'X') no se encuentran en la línea azul. La mayoría de los ejemplos que veo tienen la media de intersección de las entradas. ¿Es esta una característica general que se espera?

regression gaussian-process Comp_Warrior
fuente

Si tuviera que adivinar, en los ejemplos que estaba viendo no había ningún error residual. En ese caso, la línea pasaría por todos los puntos.

chico

@Guy exactamente correcto.

Respuestas:

La función media que pasa por los puntos de datos suele ser una indicación de sobreajuste. La optimización de los hiperparámetros al maximizar la probabilidad marginal tenderá a favorecer modelos muy simples a menos que haya suficientes datos para justificar algo más complejo. Como solo tiene tres puntos de datos, que están más o menos en una línea con poco ruido, el modelo que he encontrado me parece bastante razonable. Esencialmente, los datos pueden explicarse como una función subyacente lineal con ruido moderado, o una función subyacente moderadamente no lineal con poco ruido. La primera es la más simple de las dos hipótesis, y es favorecida por la "navaja de afeitar de Occam".

Dikran Marsupial
fuente

Gracias por el aporte. ¿Me puede decir más acerca de "ajuste excesivo"; ¿Es una característica positiva / negativa?

Comp_Warrior

El ajuste excesivo es algo negativo, básicamente significa que el modelo está memorizando la variación aleatoria en los datos, lo que tiende a empeorar el rendimiento de la generalización. Idealmente, desea que el modelo aprenda la forma subyacente de los datos mientras ignora el ruido que los contamina. La mayoría de los buenos libros de texto de aprendizaje automático cubrirán esto en un capítulo temprano.

Dikran Marsupial

solo por interés, ¿por qué el voto negativo?

Dikran Marsupial

No te menosprecié; De hecho, he votado!

Comp_Warrior

no hay problema Comp_Warrior, no pensé que eras tú, pero alguien rechazó mi respuesta y me complacería recibir comentarios sobre por qué. Todos somos falibles y si tengo algo mal en mi respuesta, estoy dispuesto a corregirlo.

Dikran Marsupial

Está utilizando los estimadores de Kriging con la adición de un término de ruido (conocido como efecto de pepita en la literatura del proceso gaussiano). Si el término de ruido se estableció en cero, es decir,

σ_{norte}^{2} δ_{pag q} = 0 0

$\sigma^2_n \delta_{pq}=0$

entonces sus predicciones actuarían como una interpolación y pasarían por los puntos de datos de muestra.

fuente

Esto me parece bien, en el libro GP de Rasmussen definitivamente muestra ejemplos en los que la función media no pasa por cada punto de datos. Tenga en cuenta que la línea de regresión es una estimación de la función subyacente, y suponemos que las observaciones son los valores de la función subyacente más algo de ruido. Si la línea de regresión se basa en los tres puntos, esencialmente estaría diciendo que no hay ruido en los valores observados.

$\sigma_n = 0$

$l$

$l$ $l$

Como señaló Dikran Marsupial, esta es una característica incorporada de los procesos gaussianos, la probabilidad marginal penaliza los modelos que son demasiado específicos y prefiere los que pueden explicar muchos conjuntos de datos.

Max S.
fuente