Selección de hiperparámetros completamente bayesianos en GPML

8

¿Es posible realizar una selección aproximada de hiperparámetros completamente bayesianos (1) (por ejemplo, escala de covarianza) con el código GPML, en lugar de maximizar la probabilidad marginal (2)? Creo que usar métodos MCMC para resolver las integrales que involucran hiperparámetros antes debería conducir a mejores resultados cuando se trata de sobreajuste. Hasta donde yo sé, el marco GPML no incluye estos cálculos, pero quizás haya otros códigos de terceros.

(1) Sec. 5.2, cap. 5 en Proceso Gaussiano para Machine Learning, Rasmussen & Williams, 2006

(2) Sección "Regresión" en la documentación GPML

bayesian model-selection gaussian-process hyperparameter Emile
fuente
¿Has oído hablar del INLA? puede ser lo que buscas.
probabilistico
Esto no se suma a su pregunta, pero ¿ha logrado encontrar trabajo útil en esta área de poner prioridades en escalas de longitud? Absolutamente odio la idea de optimizar numéricamente las escalas de longitud de un GP
sachinruk
(+1) Gran pregunta. Esto no es MCMC, pero hay paquetes de terceros que permiten la marginación parcial de hiperparámetros con GPML a través de la aproximación de Laplace, si está interesado. Vea esta pregunta y las respuestas relacionadas.
lacerbi 01 de

Respuestas:

1

Hay otro paquete para el aprendizaje automático usando procesos gaussianos llamado GPstuff que lo tiene todo en mi opinión. Puede usar MCMC, integración en una cuadrícula, etc. para marginar sus hiperparámetros.

Nota: en la documentación llaman hiperparámetros simplemente parámetros.

Mehrdad
fuente