Nombre de un enfoque de optimización para reducir el tamaño del espacio variable

8

Estoy lidiando con un problema de optimización que tiene una gran cantidad de variables para optimizar, por ejemplo, llamemos a estas variables , y y deseo minimizar la función . El método de optimización que estoy usando no puede manejar la optimización de todas las variables a la vez. En cambio, estoy simplificando el problema optimizando sobre una sola variable a la vez mientras mantengo las otras variables fijas.y z f ( x , y , z )xyzf(x,y,z)

Es decir, arreglo , y y luego optimizo la función solo sobre . Esta optimización 1D produce un valor óptimo . Luego arreglo , , luego optimizo sobre . Me doy cuenta de que esto no necesariamente me proporciona una solución óptima a nivel mundial, pero debería producir un mínimo local. z = z 0 x x x = x z = z 0 yy=y0z=z0xxx=xz=z0y

Me pregunto cuál es el nombre de este método y dónde puedo encontrar información al respecto. Además, si hay una comunidad más apropiada para preguntar, hágamelo saber. Gracias

Editar: la optimización se realiza sobre , luego , luego , luego , y así sucesivamente hasta que la solución converja.y z xxyzx

usuario69813
fuente

Respuestas:

9

Este es el descenso coordinado . Creo que se usa en problemas a gran escala cuando otros métodos como el descenso de gradiente pueden ser demasiado lentos (por ejemplo, http://epubs.siam.org/doi/abs/10.1137/100802001 ). Debería converger a un mínimo local, pero también requeriría más pasos que algo como el descenso de gradiente o los métodos de tipo Newton.

Kirill
fuente
4

No se garantiza que el enfoque que describió originalmente (solo una optimización de iteración en cada una de las tres variables x, y, z) converja a la solución óptima a menos que F (x, yz) sea variable separable en funciones univariadas. Por lo tanto, lo que describe no es técnicamente un "método" de optimización, sino una "heurística" de optimización, similar a un método de división de operador o métodos implícitos de dirección alterna (ADI).

Paul
fuente
Tiene razón, este método no garantiza alcanzar la solución óptima. La función que intento minimizar es no convexa con múltiples mínimos locales. Por lo tanto, estoy satisfecho con encontrar un mínimo local y no necesariamente la solución óptima. Todavía tengo curiosidad por saber si esta heurística se ha utilizado antes en la literatura
Usuario69813
Ni siquiera se garantiza encontrar un mínimo local, ni siquiera algo remotamente cercano a él.
Paul
@Paul, creo que los métodos convergen para funciones suaves: "Se puede demostrar que esta secuencia tiene propiedades de convergencia similares al descenso más pronunciado. Ninguna mejora después de un ciclo de búsqueda de línea a lo largo de direcciones coordinadas implica que se alcanza un punto estacionario". Esta referencia discute al respecto.
nicoguaro
3
@nicoguaro Creo que antes de la edición de OP, parecía que el método solo hacía una iteración y luego se detenía. Estaba un poco confundido también.
Kirill
@ Kirill, lo entiendo. Borraré mi comentario entonces. Por otro lado, si la pregunta cambió, entonces debería responder, ¿no?
nicoguaro