Considere la siguiente ecuación diferencial donde es el estado la variable de control. La solución viene dada por donde es el estado inicial dado.
Ahora considere el siguiente programa donde \ rho> 0 denota preferencia de tiempo, V (\ cdot) es el valor y F (\ cdot) una función objetivo. Una aplicación económica clásica es el modelo de crecimiento óptimo de Ramsey-Cass-Koopmans. La ecuación de Hamilton-Jacobi-Bellman viene dada por \ begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \ en [0, \ infty). \ end {alinear} ρ>0V(⋅)F(⋅) ρ V ( x ) = max u [ F ( x , u ) + V ′ ( x ) f ( x , u ) ] ,
Decir que he resuelto el HJB de . El control óptimo viene dado por
El artículo wiki dice
... pero cuando se resuelve en todo el espacio de estados, la ecuación HJB es una condición necesaria y suficiente para un óptimo.
En Bertsekas (2005), Programación dinámica y control óptimo , Vol. 1, 3ª ed., En la Proposición 3.2.1, afirma que resolver para es la función óptima de costo de operación y que la u ^ * asociada es óptima. Sin embargo, lo declara explícitamente como un teorema de suficiencia.
En realidad, solo quiero asegurarme de que, si he resuelto el HJB y recuperado el estado asociado y las trayectorias de control, no tengo que preocuparme por ninguna condición de optimización adicional.
Solución
Intento
Creo que pude derivar las condiciones necesarias del principio máximo mediante la ecuación HJB misma.
Defina el hamiltoniano
entonces tenemos
que es
Defina una función arbitraria con . Ahora arregle
donde es un parámetro. Inserte el término en el hamiltoniano maximizado que da
En tenemos la solución óptima. Por lo tanto, se diferencia sobre para obtener una condición de primer orden
Ahora defina la variable adjunta con
Diferenciar con el tiempo
y tenga en cuenta que
Conecte todo al foc que da
Eso es todo. Por lo tanto, resolver el HJB es realmente necesario y suficiente (omitido aquí) para la optimización. Alguien debería agregarlo a la wiki. Podría ahorrar tiempo para las personas que piensan en tales problemas (no creo que sea mucho).
Sin embargo, falta la condición de transversalidad .
II intento
Defina el resultado funcional
Tenga en cuenta que por definición de . Agregue el término neutral a la función de pago
Integración por partes del término correcto y los rendimientos rhs
Vuelva a sustituir ese término
Definir
que da
FOC para el máximoJ ε = ∫ ∞ 0 e - ρ t [ H x q + H u p + q ( ˙ λ
Dado que y no están restringidos, debemos tener
Respuestas:
(Esto quizás debería considerarse un comentario).
Si ha resuelto la ecuación HJB, es suficiente para obtener la solución óptima. Por lo tanto, no "tiene que preocuparse por ninguna otra condición de optimización", que creo que parece responder a su pregunta.
Parece que le preocupa el componente "necesario" del teorema. El lado de la necesidad del enunciado es el siguiente: si hay una solución óptima, debe existir una solución para la ecuación HJB.
No he trabajado con este problema en particular, pero la respuesta en general es que no esperamos tener una función diferenciable V. Por lo tanto, no tenemos una solución a la ecuación como se afirma. En cambio, tenemos que mirar derivados generalizados y convertir la ecuación HJB en una desigualdad. En cuyo caso, puede obtener una "solución de viscosidad". Si nos extendemos para usar derivados generalizados, puede ser posible demostrar que siempre existe una solución de este tipo. Echando un vistazo a sus pruebas, no ayudarán en las condiciones de necesidad, ya que está asumiendo la diferenciabilidad.
fuente