El descenso de gradiente y muchos otros métodos son útiles para encontrar mínimos locales en las funciones de costos. Pueden ser eficientes cuando la función de costo se puede evaluar rápidamente en cada punto, ya sea numérica o analíticamente. Tengo lo que me parece una situación inusual. Cada...
Existe una importante investigación contemporánea sobre la optimización bayesiana (1) para ajustar los hiperparámetros ML. La motivación principal aquí es que se requiere un número mínimo de puntos de datos para tomar decisiones informadas sobre qué puntos vale la pena intentar (las llamadas a...
Antecedentes y problema Estoy usando procesos gaussianos (GP) para la regresión y la posterior optimización bayesiana (BO). Para la regresión, uso el paquete gpml para MATLAB con varias modificaciones personalizadas, pero el problema es general. Es un hecho bien conocido que cuando dos entradas...
Soy bastante nuevo en el aprendizaje automático y las estadísticas, pero me preguntaba por qué la optimización bayesiana no se refiere con mayor frecuencia en línea cuando se aprende el aprendizaje automático para optimizar los hiperparámetros de su algoritmo. Por ejemplo, utilizando un marco como...
Estoy probando la optimización bayesiana, siguiendo a Snoek, Larochelle y Adams [ http://arxiv.org/pdf/1206.2944.pdf] , usando GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Implementé la función de adquisición Mejora esperada que se describe en la página 3, y supongo que estoy...
Parece que ambos procesos se usan para estimar el valor máximo de una función desconocida, y ambos obviamente tienen diferentes formas de hacerlo. Pero en la práctica, ¿cualquier método es esencialmente intercambiable? ¿Dónde me gustaría usar uno sobre el
Una función de caja negra F:Rnorte→ RF:Rnorte→Rf: \mathbb{R}^n \rightarrow \mathbb{R}, que se evalúa puntualmente sujeto al ruido gaussiano, es decir, F( x ) + N( μ ( x ) , σ( x)2)F(X)+norte(μ(X),σ(X)2)f(x) + \mathcal{N}(\mu(x),\sigma(x)^2), puede minimizarse utilizando la optimización bayesiana...