Resolviendo la ecuación de Hamilton-Jacobi-Bellman; necesario y suficiente para la optimización?

13

Considere la siguiente ecuación diferencial donde es el estado la variable de control. La solución viene dada por donde es el estado inicial dado.

x˙(t)=f(x(t),u(t))
xu
x(t)=x0+0tf(x(s),u(s))ds.
x0:=x(0)

Ahora considere el siguiente programa donde \ rho> 0 denota preferencia de tiempo, V (\ cdot) es el valor y F (\ cdot) una función objetivo. Una aplicación económica clásica es el modelo de crecimiento óptimo de Ramsey-Cass-Koopmans. La ecuación de Hamilton-Jacobi-Bellman viene dada por \ begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \ en [0, \ infty). \ end {alinear} ρ>0V()F() ρ V ( x ) = max u [ F ( x , u ) + V ( x ) f ( x , u ) ] ,

V(x0):=maxu0eρtF(x(t),u(t))dts.t. x˙(t)=f(x(t),u(t))x(0)=x0
ρ>0V()F()
ρV(x)=maxu[F(x,u)+V(x)f(x,u)],t[0,).

Decir que he resuelto el HJB de V . El control óptimo viene dado por

u=argmaxu[F(x,u)+V(x)f(x,u)].
Obtendré trayectorias óptimas para el estado y controlaré {(x(t),u(t)):t[0,)} .

El artículo wiki dice

... pero cuando se resuelve en todo el espacio de estados, la ecuación HJB es una condición necesaria y suficiente para un óptimo.

En Bertsekas (2005), Programación dinámica y control óptimo , Vol. 1, 3ª ed., En la Proposición 3.2.1, afirma que resolver para V es la función óptima de costo de operación y que la u ^ * asociada ues óptima. Sin embargo, lo declara explícitamente como un teorema de suficiencia.

En realidad, solo quiero asegurarme de que, si he resuelto el HJB y recuperado el estado asociado y las trayectorias de control, no tengo que preocuparme por ninguna condición de optimización adicional.

Solución

Intento

Creo que pude derivar las condiciones necesarias del principio máximo mediante la ecuación HJB misma.

Defina el hamiltoniano

H(x,u,V(x)):=F(x,u)+V(x)f(x,u)

entonces tenemos

ρV(x)=maxuH(x,u,V(x))

que es

ρV(x)=H(x,u,V(x)).

Defina una función arbitraria con . Ahora arregle q:[0,)Rq(0)=limtq(t)=0

x=x+εq

donde es un parámetro. Inserte el término en el hamiltoniano maximizado que da εR

ρV(x+εq)=H(x+εq,u,V(x+εq)).

En tenemos la solución óptima. Por lo tanto, se diferencia sobre para obtener una condición de primer orden ε=0ε

ρVq=Hxq+HVVq.

Ahora defina la variable adjunta con

λ=V(x).

Diferenciar con el tiempo

λ˙=Vx˙.

y tenga en cuenta que

HV=f(x,u)=x˙.

Conecte todo al foc que da

ρλ=Hx+λ˙.

Eso es todo. Por lo tanto, resolver el HJB es realmente necesario y suficiente (omitido aquí) para la optimización. Alguien debería agregarlo a la wiki. Podría ahorrar tiempo para las personas que piensan en tales problemas (no creo que sea mucho).

Sin embargo, falta la condición de transversalidad .

limteρtλ(t)=0

II intento

Defina el resultado funcional

J(u):=0eρtF(x,u)dt

Tenga en cuenta que por definición de . Agregue el término neutral a la función de pago

0eρtλ[f(x,u)x˙]dt=0
x˙=f(x,u)
J(u)=0eρt[F(x,u)+λf(x,u)]dt0eρtλx˙dt=0eρtH(x,u,λ)0eρtλx˙dt

Integración por partes del término correcto y los rendimientos rhs

0eρtλx˙dt=[eρtλ(t)x(t)]00eρtx(λ˙ρλ)dt

Vuelva a sustituir ese término

J(u)=0eρt[H(x,u,λ)+x(λ˙ρλ)]dtlimteρtλ(t)x(t)+λ(0)x(0)

Definir

x=x+εqu=u+εp

que da

J(ε)=0eρt[H(x+εq,u+εp,λ)+(x+εq)(λ˙ρλ)]dtlimteρtλ(t)[x(t)+εq(t)]+λ(0)x(0)

FOC para el máximoJ ε = 0 e - ρ t [ H x q + H u p + q ( ˙ λJε=0

Jε=0eρt[Hxq+Hup+q(λ˙ρλ)]dtlimteρtλ(t)q(t)=0

Dado que y no están restringidos, debemos tener qp

Hu=0Hx=ρλλ˙limteρtλ(t)=0
despistado
fuente
¿Ya ha identificado las condiciones necesarias y suficientes?
Jamzy
¿En qué contexto económico surge esto?
Stan Shunpike
Modelo de Ramsey, por ejemplo cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf
despistado
1
Creo que este hilo es más adecuado para math.stackexchange.com ya que no está realmente vinculado a econ. Un mod puede transferirlo.
despistado
No estoy seguro de lo que se pregunta aquí: si por Bertsekas, resolver HJB es suficiente , entonces no tiene que "preocuparse por las condiciones de optimización adicionales". El "suficiente" contra "necesario y suficiente" surgiría en caso de que HJB no se resolviera, en cuyo caso uno diría "esto no significa que no hay solución". Por cierto, sus Intentos I y II son contenido valioso aquí: el primero muestra un enlace entre HJB y Optimal Control, el segundo muestra cómo se pueden derivar los FOC de Control Óptimo.
Alecos Papadopoulos

Respuestas:

1

(Esto quizás debería considerarse un comentario).

Si ha resuelto la ecuación HJB, es suficiente para obtener la solución óptima. Por lo tanto, no "tiene que preocuparse por ninguna otra condición de optimización", que creo que parece responder a su pregunta.

Parece que le preocupa el componente "necesario" del teorema. El lado de la necesidad del enunciado es el siguiente: si hay una solución óptima, debe existir una solución para la ecuación HJB.

No he trabajado con este problema en particular, pero la respuesta en general es que no esperamos tener una función diferenciable V. Por lo tanto, no tenemos una solución a la ecuación como se afirma. En cambio, tenemos que mirar derivados generalizados y convertir la ecuación HJB en una desigualdad. En cuyo caso, puede obtener una "solución de viscosidad". Si nos extendemos para usar derivados generalizados, puede ser posible demostrar que siempre existe una solución de este tipo. Echando un vistazo a sus pruebas, no ayudarán en las condiciones de necesidad, ya que está asumiendo la diferenciabilidad.

Brian Romanchuk
fuente