Optimización Dinámica

Universidad Nacional Mayor de San Marcos Facultad de Ciencias Económicas Taller de Macrodinámica Programación Dinámica

Miguel Ataurima Arellano  [email protected]  [email protected]  [email protected]

Febrero 2011 En este artículo se presentan ideas y métodos básicos de la programación dinámica. Se establecen los elementos básicos de un problema de optimización recursivo, se describe el funcionamiento la ecuación (la ecuación de Bellman), se presenta tres métodos para resolver la eecuación de Bellman, y se da la fórmula de Benveniste-Scheinkman de la derivada de la función de valor óptima.

1

El Prob Proble lem ma Sec Secue uenc ncia iall

Sea   2 [0; 1] un factor de descuento. Se desea escoger una secuencia in…nita de controles fut g1 t=0 = fu0 ; u1 ; : : :g para maximizar

1

X

 t r (xt ; ut )

(1)

t=0

sujeto a

xt+1 = g (xt ; ut )

con x0 dado. Asumimos que r (xt ; ut ) es una función cóncava y que el conjunto



(xt+1 ; xt ) : xt+1  g (xt ; ut ) ; ut 2 Rk



es convexo y compacto. La programación dinámica busca encontrar una función de política h invariante en el tiempo que mapee el estado xt en el control ut , de tal manera que la secuencia fus gs1=0 generada mediante la iteración de las siguientes dos funciones ut xt+1

= h (xt ) = g (xt ; ut )

(2)

iniciando desde la condición inicial x0 en t = 0, resuelva el problema general Una solución de la forma de las ecuaciones (2) se dice que es recursiva. Para encontrar la función de política h necesitamos conocer una función V  (x) que exprese el valor óptimo óptimo del problema original, iniciando desde una condición arbitraria arbitraria x 2 X . Esta Esta es la llam llamad adaa función valor. En particular, de…nimos 1

V  (x0 ) = max

fus gs=0 1

1

X t=0

 t r (xt ; ut )

(3)

Taller de Macrodinámica

Programación Dinámica

donde una vez mas, la maximización está sujeta a xt+1 = g (xt ; ut )

con x0 dado. Como es de esperarse, no podemos conocer V  (x0 ) hasta después de haber resuelto el problema, sin embargo, embargo, vamos vamos a proceder proceder con fé. Si conociécemos conociécemos V  (x0 ), entonces la función de política h puede ser calculada resolvendo para cada x 2 X  el problema max fr (x; u) + V   (x)g u

sujeto a v = g (x; u)

(4)

e

con x dado, y x denota el estado del periodo siguiente. Así, hemos intercambiado el problema original de encontrar una in…nita secuencia de controles que maximizan la expresión (1) por el problema de encontrar la función valór óptima V  (x) y una función h que resuelva la continuidad de los problemas de maximización (4) - un problema de maximización para cada valor de x. Este intercambio no parece un progreso, pero veremos que a menudo si lo es. Nuestro trabajo se convertido a resolver en forma conjunta para V  (x), h (x), que están asociados por la ecuación de Bellman V  (x) = max fr (x; u) + V   (g (x; u))g ))g (5)

e

u

El maximizador del lado derecho de la ecuación (5) es la función de política h (x) que satisface V  (x) = r (x; h (x)) + V   (g (x; h (x)))

(6)

La ecuación (5) o (6) es una ecuación funcional a ser resuelta para el par de funciones desconocidas V  (x) ; h (x). Los métodos de solución de la ecuación de Bellman están basados en estructuras matemáticas que varían en sus detalles dependiendo de la naturaleza de la precisión de las funciones r y g: Todas estas estas estructura estructurass contien contienen en versione versioness de las siguientes siguientes cuatro. cuatro. Bajo varios varios supuestos supuestos particuparticulares acerca de r y g , resulta que: 1. La ecuación ecuación funcional funcional (5) es una única solución estríctamente cóncava. 2. Esta solución solución es aproximada aproximada en el límite límite cuando j ! 1 mediante iteraciones en V  j +1 (x) = max fr (x; u) + V  j (x)g

e

u

sujeto a x = g (x; u)

e

con x dado, iniciando desde cualquier valor inicial V  0 acotado y contínuo. 3. Existe una única política óptima e invariante en el tiempo de la forma ut = h (xt ), donde h es elegido para maximizar el lado derecho de (5) 4. Fuera de las esquinas, la función de valor valor límite V   dada por la ecuación (6) es diferenciable respecto ax V  0 (x)

=

V  0 (x)

=

@  @  r (x; h (x)) +   V  (g (x; h (x))) @x @x @  @  r (x; h (x)) + V  0 (g (x; h (x)))  g (x; h (x)) @x @x

(7)

Esta es una versión de una fórmula de Benveniste y Scheinkman (1979). A menudo nos encontraremos estableciendo en cual la ley de transición puede ser formulada de tal @g manera que el estado x no aparezca en ella, o sea que @x = 0, de tal manera que la ecuación (7) se convierta en @  V  0 (x) = r (x; h (x)) @x

y por lo tanto V  0 (x) =

Miguel Ataurima Arellano (UNMSM-FCE)

@  r (x; x; h (x)) @ x

e ee e 2

(8)

http://economiadinamica.blogspot.com

Taller de Macrodinámica

1.1 1.1

Programación Dinámica

La Ecu Ecuac ació ión n de Eule Euler r

En diversos problemas, no hay una forma única de de…nir los estados y controles, y varias diversas de…nic de…nicion iones es altern alternati ativ vas que conducen conducen a la misma misma soluci solución ón del problema problema.. A veces veces los estado estadoss y los controles pueden ser de…nidos de tal manera que x no aparece en la ecuación de transición, de modo que @g = 0. 0. @x En este caso, la condición de primer orden (CPO) para el problema en el lado derecho de la ecuación de Bellman V  (x) = max fr (x; u) + V   (g (x; u))g ))g u

en relación con la Fórmula de Benveniste-Scheinkman implica que @  fr (x; u) + V   (g (x; u))g ))g = 0 @u

o sea

@  @  r (x; u) + V  0 (g (x; u))  g (x; u) = 0 @u @u

como x = g (x; u) entonces

e

(9)

V  0 (g (x; u)) = V  0 (x)

y por el Teorema de la Envolvente V  0 (x) =

e

e e e e ee e e e

@  r (x; x; h (x)), )), @ x e

V  0 (g (x; u)) V  0 (g (x; u))

entonces

@  r (x; x; h (x)) @ x @  r (x; x; u) @ x

= =

(10)

reemplazando (10) en (9) obtenemos la Ecuación de Euler

@  @  @  r (x; u) +   r (x; x; u)  g (x; u) = 0; @u @ x @u

e ee

x = g (x; u)

e

Bajo circunstancias en las que la segunda ecuación puede ser invertida para obtener u como una función de x, usando la segunda ecuación para eliminar u desde la primera ecuación produce una ecuación en diferencia de segundo orden, a partir de la eliminación de u se determina x: x:

e

2

e

Los Los Prob Problem lemas as de de Con Control trol Estoc Estocást ástico ico

e

Consideraremos ahora una modi…cación al problema (1) para permitir incertidumbre . Esencialmente, añadiremos algunos choques (bien ubicados) a los problemas anteriores no estocásticos. En tanto que los choques son de forma independiente e idénticamente distribuidas o de Markov, las sencillas modi…caciones al método para el manejo del problema no estocástico funcionará. Así, modi…camos la ecuación de transición y consideramos el problema de maximización 1

E 0

X

 t r (xt ; ut ) ;

0