14408911121

May 4, 2017 | Author: Drizz Yosser House Rousseau | Category: N/A

Short Description

Descripción: d...

Description

Clase 2: Programaci´ on din´ amica

Clase 2: Programaci´ on din´ amica Matem´ atica avanzada para macroeconom´ıa

Hamilton Galindo

Junio - Agosto 2015

Clase 2: Programaci´ on din´ amica

Contenido

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de c´ alculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

¿Qu´ e tipo de problema queremos resolver? I Queremos resolver un problema de “optimizaci´ on dinámica”, al cual llamaremos Problema Secuencial (PS): Problema secuencial (PS) sup

∞ X

β t r (xt , ut )

{ut } t=0

s.a xt+1

: = g (xt , ut )

ut

∈

Γ(xt ),

x0

∈

X

t = 0, 1, 2, ...

dado

Donde: 1

r(xt , ut ) : funci´ on de retorno (instantáneo) r (xt , ut ) : XxRm → R

(1)

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

¿Qu´ e tipo de problema queremos resolver? II 2

β : factor de descuento, β ∈ [0, ∞)

3

xt : vector de variables de estado (xt ∈ Rn )

4

ut : vector de variables de control (ut ∈ Rm )

5

g(xt , ut ) : funci´ on que describe la evoluci´ on de la variables de estado (funci´ on de transici´ on o ley de movimiento): g (xt , ut ) : XxRm → X

6

Γ(xt ) : es una correspondencia que describe las posibilidades de la variable de control cuando la econom´ıa se encuentra en el estado “xt ”. Γ : X ⇒ Rm

7

X : es el espacio de los valores que puede tomar la variable de estado (X ⊂ Rn )

8

x0 : el valor inicial de la variable de estado (estado inicial)

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

Ejemplo: crecimiento o ´ptimo (Brock y Mirman, 1972) I

El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales): Max ∞

{ct ,kt+1 }t=0

∞ X

β t lnct

t=0

s.a: kt+1 = (1 − δ)kt + it ct + it = f (kt ) ct , kt ≥ 0∀t A este problema lo llamamos problema secuencial (PS). Considerando las α siguientes forma funcionales u(c )lnc , f (k ) = k , y supuestos α ∈ t t t t (0, 1), δ = 1 y k0 dado se tiene:

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

Ejemplo: crecimiento o ´ptimo (Brock y Mirman, 1972) II

Problema secuencial: Brock y Mirman (1972) Max ∞

{ct ,kt+1 }t=0

∞ X

β t lnct

t=0

s.a: kt+1 = ktα − ct c t , kt ≥ 0

Clase 2: Programaci´ on din´ amica Problema de optimizaci´ on din´ amica

Formas de resolver un problema de optimizaci´ on din´ amica

Tres formas de resolver este tipo de problemas: 1

Método de apr´ oximaciones sucesivas

2

Programaci´ on dinámica Es el estudio de problemas de optimizaci´ on din´ amica a través del an´ alisis de ecuaciones funcionales.

3

Método de Lagrange

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Funci´ on valor

Funci´ on valor

Bellman (1974) indica que el PS tiene una propiedad recursiva. Esto permite transformar el PS en un Problema Funcional (PF). Funci´ on valor 1

Se define una “funci´ on valor V (x0 )” que indica el valor máximo de la funci´ on objetivo para cada x0 > 0. X ∞ V (x0 ) = max β t r (xt , ut ) {ut }

2

(2)

t=0

Por ejemplo: en t = 1 se tiene x1 X ∞ t−1 V (x1 ) = max β r (xt , ut ) {ut }

t=1

(3)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Ecuaci´ on de Bellman

Ecuaci´ on de Bellman I

Ecuaci´ on de Bellman Bellman (1974) transform´ o la funci´ on objetivo del PS en una ecuación funcional: X ∞ V (x0 ) = max β t r (xt , ut ) {ut }

t=0

max r (x0 , u0 ) + βr (x1 , u1 ) + β 2 r (x2 , u2 )... {ut } = max r (x0 , u0 ) + β r (x1 , u1 ) + β 2 r (x2 , u2 )... {z } | {ut } =

V (x1 )

V (x0 ) = max r (x0 , u0 ) + βV (x1 ) {ut }

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Ecuaci´ on de Bellman

Ecuaci´ on de Bellman II

A esta u ´ltima ecuaci´ on se le conoce como ecuaci´ on de Bellman. Esta ecuaci´ on es una ecuaci´ on funcional; es decir, es una ecuación cuya soluci´ on es una funci´ on (funci´ on valor).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Problema funcional

Problema funcional I Al reemplazar la ecuaci´ on de Bellman en el PS se obtiene el PF (para t): Problema funcional V (xt ) = max r (x0 , u0 ) + βV (g (xt , ut )) {ut }

s.a ut x0

: ∈ Γ(xt ), ∈ X

(4)

t = 0, 1, 2, ...

dado

1

El problema de infinitos periodos (PS) se ha convertido en un problema de dos periodos.

2

Se está utilizando (explotando) la recursividad del PS.

3

Ahora el problema consiste en encontrar la funci´ on que resuelve el PF; es decir, la funci´ on valor.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Del PS al PF

Proceso de transformaci´ on del PS al PF 2

1

Problema Secuencial (PS)

Problema Funcional (PF)

Se transforma

6

3 Se transforma

4

5

Solución PS

Teorema de Equivalencia

(valor supremo)

Problema punto fijo

Solución PF

Es…

Por el teorema del punto fijo para contracciones

Solución Encontrar el punto fijo del operador T en Ca(X): T[V](x) = V(x) Se encuentra la función valor (V) Resolviendo paso a paso el problema de maximización del PF

Se encuentra la función de política: h(x)

Ca(X): conjunto de todas las funciones acotadas

Se encuentra el plan óptimo: {(xt, ut)}

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: panorama Del PS al PF

Principales hip´ otesis, proposiciones y teoremas Hipótesis

Proposiciones

Teoremas

Función objetivo

H1 al H3

P1: ῦ resuelve el PF P2: ῦ resuelve el PS P3: din. fac. en el PF P4: din. fac. en el PS

T1 (teorema de equivalencia) Principio de optimalidad

Supremo

H4 y H5

Monotonicidad

H4 al H7

P5: función valor estrictamente monótona

Concavidad

H4, H5 y H7 al H10

P6: función valor estrictamente cóncava

PS

PF

Diferenciabilidad 3 propiedades de la función valor

H4, H5 y H7 al H12

T2 (punto fijo para contracciones)

T3 (teorema de diferenciabilidad de la función valor) Teorema de BenvenisteScheinkman

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Principio de optimalidad I

Bellman (1974) propuso un principio el cual permit´ıa encontrar una relación entre la soluci´ on del PS y el PF. A este principio se le conoce como el “Principio de optimalidad”. Teorema 1 (Principio de optimalidad) ´ n V del PF, evaluado en x0 , brinda el valor del supremo La solucio ´ s, una secuencia en el PS cuando el estado inicial es x0 . Adema {ut }∞ alcanza el supremo si y solo si esta secuencia satisface [5]: t=0

V (xt ) = r (xt , ut ) + βV (xt+1 )

(5)

La pregunta que surge es: ¿Bajo qué condiciones el principio de optimalidad se mantiene?

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

¿Bajo qu´ e condiciones el principio de optimalidad se mantiene? I Cuatro proposiciones juntas establecen condiciones bajo las cuales la soluci´ on del PS y del PF coinciden exactamente, y que la pol´ıticas óptimas son aquellas que satifacen [5]: 1 Proposici´ on 1: establece que la funci´ on del supremo Ve para el PS satisface el PF (del PS al PF). No obstante, la ecuación funcional (además de Ve ) puede tener otras soluciones. 2

3

Proposici´ on 2: establece lo inverso de manera parcial (del PF al PS). Es parcial porque se impone una condici´ on de acotamiento. Esta proposici´ on impide que la ecuaci´ on funcional tenga otras soluciones porque no cumplen la condici´ on de transversalidad fuerte. La u ńica soluci´ on que cumple dicha condici´ on es Ve . Proposici´ on 3: Muestra que si {ut }∞ t=0 es una secuencia que alcanza el supremo en el PS, entonces este satisface [5] para: V |{z}

sol. del PF

=

Ve |{z}

sol. del PS

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

¿Bajo qu´ e condiciones el principio de optimalidad se mantiene? II

4

Proposici´ on 4: Establece que cualquier secuencia {ut }∞ t=0 que satisface [5] para V = Ve y que también satisface una condición de acotamiento, entonces también alcanza el supremo en el PS.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Definiciones Antes de ver las hip´ otesis que sustentan las cuatro proposiciones es importante mencionar algunas definiciones: 1 Dinámica factible desde x0 : es una sucesi´ on de estados y controles m {(xt , ut )}∞ t=0 en XxR para el PS si: ut ∈ Γ(xt ) y xt+1 = g (xt , ut ) para todo t = 0, 1, 2... 2

3 4

5

Π(x0 ): conjunto de todas las dinámicas factibles desde x0 . Π(x0 ) : {(xt , ut )}∞ tal que u ∈ Γ(x ), ∀t = 0, 1, 2... t t t=0 Plan factible desde x0 : es una sucesi´ on de controles {(ut )}∞ t=0 Plan ´ optimo desde x0 : es un plan factible {(ut∗ )}∞ t=0 que permite alcanzar el supremo del PS. Cabe mencionar que un plan factible determina un´ıvocamente una dinámica factible. Por tanto, un plan ´ optimo {(ut )}∞ t=0 determina ∗ ∗ ∞ una dinámica ´ optima {(xt , ut )}t=0 .

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Hip´ otesis que sustentan las proposiciones I

Las cuatro proposiciones anteriores están basadas en tres hipótesis: Hip´ otesis 1: Γ(x) Γ(x) 6= φ para todo x ∈ X . La hip´ otesis 1 asegura que Π(x0 ) (conjunto de dinámicas factibles desde x0 ) no sea vac´ıo ∀x0 ∈ X . Esto indica que todos los planes factibles pueden ser evaluados usando r (x, u) y β. P∞ En el PS, t=0 β t r (xt , ut ) podr´ıa tomar tres valores: un n´ umero finito, +∞ o −∞. Deseamos que esta funci´ on objetivo esté acotada: es decir que la sumatoria infinita tenga un valor finito. P∞ La hip´ otesis 2 elimina la posibilidad que t=0 β t r (xt , ut ) sea +∞. Para ello se restringe el conjunto de dinámicas factibles de tal forma que dicha sumatoria esté acotada (superiormente).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Hip´ otesis que sustentan las proposiciones II

Hip´ otesis 2: funci´ on objetivo P∞ t Para todo x0 ∈ X , ∃Mx0 ∈ R, tal que t=0 β r (xt , ut ) ≤ Mx0 para toda dinámica factible {(xt , ut )}t=0,1,2... desde x0 . No obstante, la funci´ on objetivo (suma infinita) a´ un puede tomar, para ciertas dinámicas factibles, el valor de −∞. La hipótesis 3 busca acotar dicha dinámicas. Hip´ otesis 3: funci´ on objetivo Para todo x0 ∈ X , ∃ una dinámica factible {(xt , ut )}t=0,1,2... desde x0 y un R, tal que la sucesi´ on de sumas parciales {Sn }t=0,1,2... Sn = Pnmx0 ∈ t β r (x , u ) satisface m ≤ Sn . t t x 0 t=0

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Hip´ otesis que sustentan las proposiciones III

Por tanto, las hip´ otesis 2 y 3 tienen como u ńico fin garantizar la existencia de un valor finito para el supremo del PS; es decir, que la funci´ on objetivo esté bien definida para cada dinámica factible {(xt , ut )} ∈ Γ(x0 ). Seg´ un las condiciones anteriores podemos definir la “función supremo” Ve : X → R que sea el valor supremo del PS: Ve (x0 ) =

sup

∞ X

β t r (xt , ut )

(6)

{(xt ,ut )}∈Π(x0 ) t=0

Donde Ve (x0 ) es el valor supremo del PS. A esta función Ve se le llama “funci´ on valor”.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Funci´ on supremo

Nota: Por definici´ on, la funci´ on supremo Ve : X → R es u ńica y satisface tres condiciones (condiderando una funci´ on objetivo genérica µ(x)): Ve (x0 ) = sup µ(x) x∈Π(x0 ) 1

Si |Ve (x0 )| < ∞, entonces: Ve (x0 ) ≥ µ(x), ∀(para todo) x ∈ Π(x0 ) Para cualquier > 0: Ve (x0 ) ≤ µ(x) + , para alg´ un x ∈ Π(x0 )

2

Si |Ve (x0 )| = +∞, entonces existe una secuencia {x k } en Π(x0 ) tal que: Lim µ(x k ) = +∞ k→∞

3

Si |Ve (x0 )| = −∞, entonces µ(x) = −∞, para todo x ∈ Π(x0 )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad I

Proposici´ on 1 (del PS al PF) ´ tesis 1, 2 y 3, Ve resuelve el PF. Bajo las hipo

Demostraci´ on (proposici´ on 1): La estrategia de demostraci´ on tiene dos pasos: el primero es encontrar la relaci´ on entre la funci´ on supremo Ve y la ecuaci´ on funcional para dos valores iniciales distintos x1 y x0 . El segundo consiste en unir el resultado del paso 1 para x1 y x0 . 1

Evaluando en x1 : Sea > 0, u0 ∈ Γ(x0 ) y x1 = g (x0 , u0 ) Como Ve (x1 ) es el valor supremo del PS con valor inicial x1 (t = 1), entonces ∃ una din´ amica factible desde x1 , {(x1 , u1 ), (x2 , u2 ), ...} tal que (por la propiedad del supremo): ∞ X t=1

β t−1 r (xt , ut ) ≥ Ve (x1 ) −

(7)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad II

Se sabe que {(x0 , u0 ), (x1 , u1 ), ...} ∈ Π(x0 ) y que por la propiedad del supremo: Ve (x0 )

≥

∞ X

β t r (xt , ut )

t=0 ∞ X

β t−1 r (xt , ut )

≥

r (x0 , u0 ) + β

≥

r (x0 , u0 ) + β Ve (x1 ) − β r (x0 , u0 ) + β Ve (g (x0 , u0 )) − β

t=1

Ve (x0 )

≥

Para pasar de la segunda a la tercera l´ınea se utiliza la ecuaci´ on [7]. Como la u ´ltima ecuaci´ on es verdad para todo > 0 y u0 es cualquier elemento de Γ(x0 ), entonces tenemos que: Ve (x0 ) ≥ r (x0 , u0 ) + β Ve (g (x0 , u0 )),

∀u0 ∈ Γ(x0 )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad III Como la ecuaci´ on anterior se cumple para todo u0 , entonces: Ve (x0 ) ≥ sup r (x0 , u0 ) + β Ve (g (x0 , u0 )) u0 ∈Γ(x0 )

Generalizando para todo “t”: Ve (x) ≥ sup r (x, u) + β Ve (g (x, u))

(8)

u∈Γ(x) 2

Evaluando en x0 : Sea > 0, entonces por definición del supremo, ∃ una dinámica factible desde x0 {(x0 , u0 ), (x1 , u1 ), ...} tal que: Ve (x0 ) ≤

∞ X

β t r (xt , ut ) +

t=0

Ve (x0 ) ≤ r (x0 , u0 ) + β Ve (x1 ) +

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad IV

Como es arbitrario, entonces: Ve (x0 )

≤

Ve (x0 )

≤

r (x0 , u0 ) + β Ve (g (x0 , u0 )) sup r (x0 , u0 ) + β Ve (g (x0 , u0 )) u0 ∈Γ(x0 )

Generalizando para todo “t”: Ve (x) ≤ sup r (x, u) + β Ve (g (x, u))

(9)

u∈Γ(x) 3

Uniendo resultados: uniendo las dos ecuaciones [8] y [9] se tiene: sup u∈Γ(x)

r (x, u)+β Ve (g (x, u))

≤ Ve (x) ≤ sup u∈Γ(x)

r (x, u)+β Ve (g (x, u))

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad V

4

Por tanto: Ve (x) = sup

r (x, u) + β Ve (g (x, u))

(10)

u∈Γ(x)

5

Lo cual indica que la funci´ on supremo (o funci´ on valor) es una solución de la ecuaci´ on funcional (PF). La proposici´ on 1 indica que Ve es una soluci´ on del PF, pero no indica que sea la u ńica. Con el fin de asegurar que esta sea la u ńica soluci´ on del PF se impone una restricci´ on adicional: “condición de transversalidad fuerte”. La proposici´ on 2 asegura lo anterior.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad I

Proposici´ on 2 (del PF al PS) ´ n las hipo ´ tesis 1, 2 y 3, V resuelve el PF, y si adema ´ s se Segu ´ n de transversalidad fuerte: cumple la condicio Lim β t V (xt ) = 0

t→∞

´ mica factible {(xt , ut )} desde x0 , entonces para todo x0 ∈ X y dina Ve = V (es decir, V resuelve el PS).

Demostraci´ on (proposici´ on 2): En este caso hay que demostrar que V es la funci´ on supremo Ve . La estrategia de demostraci´ on tiene dos pasos: el primero es demostrar que para toda din´ amica P t factible desde x0 se cumple que V (x0 ) ≥ ∞ t=0 β r (xt , ut ). El segundo es demostrar que para todo > 0, ∃ una din´ amica factible {(xt , ut )} desde x0 de modo que: P t V (x0 ) ≤ ∞ on supremo t=0 β r (xt , ut ) + . Ambos pasos aseguran que V es la funci´ (o funci´ on valor).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad II

1

Paso 1a: Como V es soluci´ on del PF, entonces ∀ dinámica factible {(xt , ut )} ∈ Π(x0 ) tenemos: V (x0 ) ≥ r (x0 , u0 ) + βV (x1 )

(por propiedad del supremo)

V (x1 ) ≥ r (x1 , u1 ) + βV (x2 ) (para x1 ) r (x0 , u0 ) + βV (x1 ) ≥ r (x0 , u0 ) + βr (x1 , u1 ) + β βV (x2 ) por transitividad en la 1era inecuaci´ on:

V (x0 ) ≥ r (x0 , u0 ) + βr (x1 , u1 ) + β 2 V (x2 ) V (x0 ) ≥

1 X

β t r (xt , ut ) + β 2 V (x2 )

(en forma compacta)

t=0 Por inducci´ on (k pasos):

V (x0 ) ≥

k X t=0

β t r (xt , ut ) + β k+1 V (xk+1 )

(11)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad III

2

Paso 1b: Haciendo k → ∞ y usando la condici´ on de transversalidad fuerte: V (x0 ) ≥ V (x0 ) ≥

Lim

k→∞

Lim

k→∞

X k

t

β r (xt , ut ) + β

k+1

V (xk+1 )

t=0

X k

t

β r (xt , ut ) + Lim β

t=0

k→∞

k+1

V (xk+1 )

por condici´ on de transversalidad fuerte:

V (x0 ) ≥

∞ X

β t r (xt , ut ) + 0

t=0

V (x0 ) ≥

∞ X t=0

β t r (xt , ut )

(12)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad IV 3

Paso 2a: Sea > 0 y {δt }t=0,1,2... una sucesi´ on de n´ umeros reales positivos, tal que: ∞ X δt β t ≤ (13) t=0

4

Paso 2b: Como V resuelve el PF, entonces ∃u0 ∈ Γ(x0 ) de modo que: (por propiedad del supremo)

V (x0 )

≤

r (x0 , u0 ) + βV (x1 ) + δ0

V (x1 )

≤

r (x1 , u1 ) + βV (x2 ) + δ1

r (x0 , u0 ) + βV (x1 )

≤

r (x0 , u0 ) + βr (x1 , u1 ) + β βV (x2 ) + βδ1

V (x0 )

≤

r (x0 , u0 ) + βr (x1 , u1 ) + β 2 V (x2 ) + βδ1

tambi´ en existe u1 ∈ Γ(x1 ) tal que:

por transitividad en la 1era inecuaci´ on:

(en forma compacta)

V (x0 )

≤

1 X t=0

β t r (xt , ut ) + β 2 V (x2 ) +

1 X t=1

β t δt

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad V 5

Paso 2c: Por inducci´ on (k pasos): V (x0 ) ≤

k X

β t r (xt , ut ) + β k+1 V (xk+1 ) +

t=0 6

k X

β t δt

t=1

Paso 2d: Haciendo k → ∞ y usando la expresi´ on [13]: V (x0 )

V (x0 )

≤

≤

Lim

X k

k→∞

Lim

t=0

X k

k→∞

β t r (xt , ut ) + β k+1 V (xk+1 ) +

k X

β t δt

t=1

β t r (xt , ut )

t=0

X k + Lim β k+1 V (xk+1 ) + Lim β t δt k→∞

k→∞

t=1

por condici´ on de transversalidad fuerte y [13]:

V (x0 )

≤

∞ X

β t r (xt , ut ) + 0 +

t=0

V (x0 )

≤

∞ X t=0

β t r (xt , ut ) +

(14)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad VI

7

De las inecuaciones [12] y [14] se concluye que V es la función supremo (funci´ on valor).

8

El PF puede tener muchas soluciones, pero la proposición 2 muestra que dichas soluciones (excepto Ve ) violan la condición de transversalidad fuerte y la u ńica que satisface dicha condici´ on es Ve . Por tanto V = Ve

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad I

Proposici´ on 3 (dina´mica factible del PS al PF) ´ tesis 1,2 y 3: sea {(xt∗ , ut∗ )} una dina ´ mica factible Bajo las hipo ∗ desde x0 que permite alcanzar el supremo del PS, entonces dicha ´ mica factible cumple con [5]: dina ∗ Ve (xt∗ ) = r (xt∗ , ut∗ ) + β Ve (xt+1 )

(15)

Es decir, permite alcanzar el supremo en el PF.

Demostraci´ on (proposici´ on 3): La estrategia de demostración tiene dos pasos: primero demostramos que la ecuaci´ on [15] se cumple para t = 0. El segundo es extender este resultado para todo t = 1, 2, 3 (por inducci´ on).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad II 1

Paso 1a: debido a que {(xt∗ , ut∗ )} es una dinámica factible desde x0∗ que permite alcanzar el supremo del PS, entonces se cumple: Ve (x0∗ )

=

∞ X

β t r (xt∗ , ut∗ )

t=0 ∞ X

β

t

r (xt∗ , ut∗ )

=

r (x0∗ , u0∗ )

+β

t=0 2

∞ X

∗ ∗ β t r (xt+1 , ut+1 )

(16)

t=0

Paso 1b: para toda dinámica factible {(x1∗ , u1 ), (x2 , u2 ), (x3 , u3 ), ...} ∈ Π(x1∗ ), por la definici´ on del supremo se cumple: ∞ X

β t r (xt∗ , ut∗ ) ≥ r (x0∗ , u0∗ ) + β

t=0

∞ X

β t r (xt+1 , ut+1 )

(17)

t=0

Por tanto, de la expresi´ on [16] y [17] se tiene que: ∞ X t=0

∗ ∗ β t r (xt+1 , ut+1 )≥

∞ X t=0

β t r (xt+1 , ut+1 )

(18)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad III 3

Paso 1c: además, como la dinámica factible {(x1∗ , u1∗ ), (x2∗ , u2∗ ), (x3∗ , u3∗ ), ...} ∈ P∞ ∗ ∗ ∗ ) tiene que ser el , ut+1 Π(x1 ), entonces se cumple que t=0 β t r (xt+1 ∗ valor supremo con valor inicial en x1 : Ve (x1∗ ) =

∞ X

∗ ∗ β t r (xt+1 , ut+1 )

(19)

t=0 4

Paso 1d: reemplazando la expresi´ on [19] en [16] se tiene: Ve (x0∗ ) = r (x0∗ , u0∗ ) + β Ve (x1∗ )

5

Paso 2a: se prob´ o que: Ve (x0∗ )

= r (x0∗ , u0∗ ) + β Ve (x1∗ ) ∞ X ∗ ∗ Ve (x1∗ ) = β t r (xt+1 , ut+1 ) t=0

(20)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad IV

6

Paso 2b: se propone una hip´ otesis inductiva: ∗ Ve (xk∗ ) = r (xk∗ , uk∗ ) + β Ve (xk+1 )

(21)

Donde Ve (xk∗ )∀k ∈ N se define como: Ve (xk∗ ) =

∞ X

∗ ∗ β t r (xt+k , ut+k )

(22)

t=0

Si la hip´ otesis (ecuaci´ on [21]) se cumple para “k + 1”, entonces la hipotesis es verdadera.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad V

7

Paso 2c: verificando para “k + 1”: de [21] y de [22]

∗ r (xk∗ , uk∗ ) + β Ve (xk+1 )

=

Ve (xk∗ ) =

∞ X

∗ ∗ β t r (xt+k , ut+k )

t=0 ∗ r (xk∗ , uk∗ ) + β Ve (xk+1 )

=

r (xk∗ , uk∗ ) + β

∞ X

∗ ∗ β t r (xt+(k+1) , ut+(k+1) )

t=0 ∗ Ve (xk+1 )

=

∞ X

∗ ∗ β t r (xt+(k+1) , ut+(k+1) )

t=0 ∗ ) Ve (xk+1

=

∗ ∗ r (xk+1 , uk+1 )+β

∞ X

∗ ∗ β t r (xt+(k+2) , ut+(k+2) )

t=0 ∗ Ve (xk+1 )

=

∗ ∗ ∗ r (xk+1 , uk+1 ) + β Ve (xk+2 )

(23)

Por tanto la hip´ otesis inductiva es verdadera y generalizable para todo “t=0, 1, 2, ...”

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad I

Proposici´ on 4 (dina´mica factible del PF al PS) ´ tesis 1,2 y 3: si {(xt∗ , ut∗ )} una dina ´ mica factible desde Bajo las hipo ∗ ´ n de transversalidad x0 que satisface [15] y se cumple la condicio ´bil: de Lim β t V (xt ) ≤ 0, t→∞

entonces {(xt∗ , ut∗ )} resuelve el PS.

Demostraci´ on (proposici´ on 4): La estrategia es la siguiente: que {(xt∗ , ut∗ )} resuelve el PS significa que permite al P∞ t P canzar el supremo: Ve (x0 ) = sup β r (xt , ut ) . Es decir, Ve (x ∗ ) = ∞ β t r (x ∗ , u ∗ ). {ut }

t=0

0

t=0

t

Esto u ´ltimo es lo que tenemos que demostrar. 1

Paso 1: Como {(xt∗ , ut∗ )} es una dinámica factible desde x0 , entonces: Ve (x0∗ ) ≥

∞ X t=0

β t r (xt∗ , ut∗ )

(24)

t

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad II

2

Paso 2: Además, {(xt∗ , ut∗ )} satisface [15]; es decir, permite alcanzar el supremo en el PF: Ve (xt∗ )

=

∗ r (xt∗ , ut∗ ) + β Ve (xt+1 ) ∀t = 0, 1, 2, ... :

Ve (x0∗ ) = Ve (x1∗ ) = Ve (x ∗ ) = 2

r (x0∗ , u0∗ ) + β Ve (x1∗ ) r (x ∗ , u ∗ ) + β Ve (x ∗ ) 1

1

2

r (x2∗ , u2∗ ) + β Ve (x3∗ ) ...

Ve (xk∗ )

=

∗ r (xk∗ , uk∗ ) + β Ve (xk+1 )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad III

3

Paso 3: reemplazando Ve (x2∗ ) en Ve (x1∗ ): Ve (x2∗ ) Ve (x1∗ )

= r (x2∗ , u2∗ ) + β Ve (x3∗ ) = r (x1∗ , u1∗ ) + β r (x2∗ , u2∗ ) + β Ve (x3∗ ) e (x ∗ ) en V e (x ∗ ): reemplazando V 1 0

Ve (x0∗ )

=

r (x0∗ , u0∗ )

∗ ∗ ∗ ∗ 2e ∗ + β r (x1 , u1 ) + βr (x2 , u2 ) + β V (x3 )

de forma compacta:

Ve (x0∗ )

=

2 X

β t r (xt∗ , ut∗ ) + β 3 Ve (x3∗ )

t=0 por inducci´ on (k pasos):

Ve (x0∗ )

=

k X t=0

∗ β t r (xt∗ , ut∗ ) + β k+1 Ve (xk+1 )

(25)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad IV

4

Paso 4: tomando k → ∞ en la ecuci´ on [25]: Ve (x0∗ ) Ve (x0∗ )

= =

Lim

X k

k→∞ ∞ X

β

∗ β t r (xt∗ , ut∗ ) + β k+1 Ve (xk+1 )

t=0 t

r (xt∗ , ut∗ )

t=0

k+1 e ∗ + Lim β V (xk+1 ) k→∞

por condici´ on de transversalidad d´ ebil:

Ve (x0∗ ) ≤

∞ X t=0

β t r (xt∗ , ut∗ )

t Lim β V (xt ) ≤ 0 t→∞

(26)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles Principio de optimalidad

Las 4 proposiciones que sutentan el principio de optimalidad V 5

Paso 5: de la inecuaci´ on [24] y [26] se tiene: ∞ X

β t r (xt∗ , ut∗ ) ≤ Ve (x0∗ ) ≤

t=0

∞ X

β t r (xt∗ , ut∗ )

(27)

t=0

Por tanto: Ve (x0∗ ) =

∞ X

β t r (xt∗ , ut∗ )

(28)

t=0

Lo cual indica que la dinámica factible {(xt∗ , ut∗ )} resuelve el PS. Conclusi´ on Las proposiciones 1 al 4 implican que (bajo las hip´ otesis 1, 2 y 3) la solución a la ecuaci´ on [5]: V (xt ) = r (xt , ut )+βV (xt+1 ) (PF) coincide exactamente (en términos de valores y planes ´ optimos) con la soluci´ on del PS. Es decir, el principio de optimalidad se mantiene.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

M´ etodo para solucionar el PF I

1

Hasta aqu´ı se ha estudiado la relaci´ on entre el PS y el PF, pero no se ha dado ning´ un método para solucionar el PF.

2

Lo interesante de la programaci´ on dinámica es que ofrece varios métodos de soluci´ on del PF: métodos te´ oricos y numéricos.

3

El principal método es considerar al PF como un problema de punto fijo (PptoFijo). Para ello necesitamos dos hip´ otesis adicionales: sobre la correspondencia Γ(x) y la funci´ on de retorno r (x, u).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Hip´ otesis que permiten considerar el PF como un PptoFijo I

Hip´ otesis 4: Γ(x) Γ : X ⇒ X es una correspondencia de valores compactos (i.e. Γ(x) es compacto para todo x), continua y Γ(x) 6= φ para todo x. Hip´ otesis 5: β y r (x, u) β ∈ (0, 1) y r (xt , ut ) es acotada y continua sobre el grafo de Γ. Donde: Grafo de Γ : (x, u) ∈ XxR m tal que u ∈ Γ(x) Las hip´ otesis 4 y 5 implican las hip´ otesis 1, 2 y 3. Por tanto, las proposiciones 1 al 4 se mantienen, y por ende el principio de optimalidad. Por la hip´ otesis 5, Ve (y por lo tanto “V” por el principio de optimalidad) que es una funci´ on real, también es a acotada y continua.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Hip´ otesis que permiten considerar el PF como un PptoFijo II Definamos Ca (X ) : Espacio de las funciones reales, continuas y acotadas. Entonces: Ve = V ∈ Ca (X ). Definimos un operador T: Ca (X ) → Ca (X ) del PF: T [V ](x) = sup r (x, u) + βV (g (x, u))

(29)

{u}∈Γ(x)

Del PF sabemos: V (x) =

sup

r (x, u) + βV (g (x, u))

(30)

{u}∈Γ(x)

De [29] y [30], el PF se convierte en un “Problema de punto fijo (PptoFijo)”: T [V ](x) = V (x) (31) Donde la funci´ on V es el punto fijo. Si encontramos la función V que resuelve [31] (PptoFijo), entonces tendremos la solución del PF y por el principio de optimalidad tendremos la soluci´ on del PS.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Hip´ otesis que permiten considerar el PF como un PptoFijo III

Debido a que se tiene la funci´ on valor, se puede encontrar el plan optimo: ´ Forma 1: resolviendo paso a paso el problema del m´ aximo que aparece en el PF (i.e. encontrar la funci´ on de pol´ıtica). Forma 2: resolviendo el sistema de ecuaciones: ∗ V (xt∗ ) = r (xt∗ , ut∗ ) + βV (xt+1 ),

t = 0, 1, 2, 3...

Necesitamos un teorema que asegure que el operador “T : Ca (X ) → Ca (X )” tiene un u ńico punto fijo y por tanto una solución al PptoFijo. El teorema del punto fijo para contracciones asegura lo anterior.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Teorema del punto fijo Teorema 2 (Punto fijo para contracciones) ´ tesis 4 y 5: sea Ca (X ) (espacio de las funciones reales, Bajo las hipo continuas y acotadas sobre X) con la norma del supremo k · k, ´ n de entonces el operador “T” definido en Ca (X ) es una aplicacio este espacio en s´ı mismo, T: Ca (X ) → Ca (X ) , definido como: T [V ](x) = sup r (xt , ut ) + βV (g (xt , ut )) (32) sujeto a: ut ∈ Γ(xt ), Satisface: 1

T [V ] ∈ Ca (X )

2

´ nico punto fijo “V”: T [V ] = V “T” tiene un u

3

Para cualquier V0 ∈ Ca (X ) se tiene: kT n (V0 ) − V k ≤ β n kV0 − V k En particular:

Lim T n (V0 ) = V

n→∞

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Teorema del punto fijo

Nota: la norma del supremo k · k está definido como: kf k = sup{|f (x)|}

(33)

El teorema del punto fijo ofrece un método de solución del PF: “la convergencia de iteraciones sucesivas de una función contractiva al punto fijo”, la cual consiste en: la sucesi´ on de funciones {Vn }∞ n=0 definida como: Vn = T [Vn−1 ], n ≥ 1 (34) converge al punto fijo (V) de la contracci´ on T; es decir: Lim Vn = V

n→∞

(35)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Teorema del punto fijo: demostraci´ on I Demostraci´ on (teorema 2): 1

Paso 1: bajo las hip´ otesis 4, 5 y 8 se tiene que para cada f ∈ Ca (X ) ∧ x ∈ X el problema del punto de fijo: (36) T [f ](x) = max r (xt , ut ) + βf (ut ) ut ∈Γ(X )

se reduce a maximizar la funci´ on continua: r (xt , ·) + βf (·)

(37)

sobre el conjunto compacto Γ(X ). Esto permite alcanzar el máximo. Una pregunta que tenemos que responder es: ¿T [f ] es acotada y continua? se sabe que su dominio lo es. 2

Paso 2a: debido a que r (xt , ut ) y f (ut ) son acotadas, entonces: T [f ], también es acotada.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Teorema del punto fijo: demostraci´ on II 3

Paso 2b: debido a que r (xt , ut ) y f (ut ) son continuas, y Γ(X ) es compacto, entonces: por el teorema del máximo se tiene que T [f ] es continua.

Por tanto, del paso 2a y 2b se tiene que: T [f ] es continua y acotada, y dado que T fue definido (dominio) en Ca (X ), entonces se obtiene que el operador T [f ] es: T [f ] : Ca (X ) → Ca (X ) 4

Paso 4: ¿T es una contracci´ on? S´ı. Esto se debe a que el operador T cumple con las condiciones de Blackwell.

5

Paso 5: ¿T tiene un u ńico punto fijo? S´ı. Debido a que Ca (X ) es un espacio de Banach, entonces por el teorema de la “aplicaci´ on contractiva”, T tiene un u ńico punto fijo V ∈ Ca (X ) y se cumple que: kT n (V0 ) − V k ≤ β n kV0 − V k

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) I

El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales): Max ∞

{ct ,kt+1 }t=0

∞ X

β t lnct

t=0

s.a: kt+1 = (1 − δ)kt + it ct + it = f (kt ) ct , kt ≥ 0∀t A este problema lo llamamos problema secuencial (PS). Considerando las α siguientes forma funcionales u(c )lnc , f (k ) = k , y supuestos α ∈ t t t t (0, 1), δ = 1 y k0 dado se tiene:

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) II

Problema secuencial: Brock y Mirman (1972) Max ∞

{ct ,kt+1 }t=0

∞ X

β t lnct

t=0

s.a: kt+1 = ktα − ct c t , kt ≥ 0 La ecuaci´ on funcional (o de Bellman) es: V (kt ) = Max ∞ lnct + βV (kt+1 ) {ct ,kt+1 }t=0

Al reemplazar la restricci´ on en la ecuaci´ on de Bellman kt+1 = ktα − ct , el problema funcional asociado queda descrito de la siguiente manera:

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) III

Problema funcional: Brock y Mirman (1972) V (kt ) = Max lnct + βV (ktα − ct ) ∞ {ct }t=0

0 ≤ ct ≤ ktα Encontrando la funci´ on valor 1

Para resolver el PF utilizaremos el método de iteración de la función valor (propuesto por el teorema del punto fijo para contracciones), la expresi´ on [34]: Vn = T [Vn−1 ], n ≥ 1 (38) Se inicia con la funci´ on más sencilla: V0 = 0

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) IV

2

Encontrando V1 V1

= = =

T [V0 ] ↓ Max lnct + β V0 (ktα − ct ) ∞ | {z } {ct }t=0 =0 Max lnct ∞ {ct }t=0

(39)

(a) En esta etapa se aplica la condici´ on de primer orden: ∂ funci´ on objetivo =0 ∂ct No obstante, en este caso, por ser “ln” mon´ otona entonces el valor m´ aximo se alcanza cuando ct = ktα (ver la restricci´ on del PF).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) V

(b) Reemplazando ct que maximiza la funci´ on objetivo en [39] se obtiene T [V0 ] y por ende V1 : V1 = T [V0 ] = ln ktα V1 3

=

αlnkt

(40)

Encontrando V2 V2

=

T [V1 ]

=

↓ lnct + β V1 (ktα − ct ) Max ∞ | {z } {ct }t=0

=

Max lnct + βαln(ktα − ct ) ∞

=αln(ktα −ct )

{ct }t=0

(41)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) VI

(a) En esta etapa se aplica la condici´ on de primer orden: ∂ funci´ on objetivo =0 ∂ct ct =

ktα 1 + βα

(42)

(b) Reemplazando ct que maximiza la funci´ on objetivo en [41] se obtiene T [V1 ] y por ende V2 : βα − ln(1 + βα) V2 = T [V1 ] = α(1 + βα)lnkt + βαln 1 + βα βα V2 = α(1 + βα)lnkt + βαln − ln(1 + βα) (43) 1 + βα

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) VII 4

De igual forma podemos hacer para V3 y luego en forma general vemos que: X n−1 Vn (kt ) = An + α (βα)i lnkt (44) i=0

Donde hacemos que n → ∞ por la propiedad [35]: Lim Vn = V

n→∞

Lim Vn (kt )

n→∞

V

=

X n−1 Lim An + Lim α (βα)i lnkt

n→∞

n→∞

i=0

=

X ∞ i A+ α (βα) lnkt

=

α A+ lnkt 1 − βα

i=0

V

(45)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) VIII La constante “A” la podemos encontrar reemplazando “V” y la dinámica óptima en la ecuaci´ on de Bellman. Encontrando la funci´ on de pol´ıtica Dado que ya conocemos la funci´ on valor (V ), la cual reemplazamos en la ecuaci´ on de Bellman del PF. 1

Reemplezando la funci´ on valor en el PF: V (kt ) = Max lnct + β ln(ktα − ct ) ∞ {ct }t=0

0 ≤ ct ≤ ktα El problema funcional se convierte en un problema de optimización estándar (en “t”), a la cual se puede aplicar las condiciones de primer orden. Aplicando CPO: ∂ funci´ on objetivo =0 ∂ct

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) IX Encontramos la funci´ on de pol´ıtica: ct = h(kt ) ct = (1 − αβ)ktα 2

(46)

Encontrando la constante “A”: reemplazando la función valor y la funci´ on de pol´ıtica en la ecuaci´ on de Bellman (el max desaparece porque la funci´ on de pol´ıtica permite alcanzar dicho máximo): A+

α lnkt = ln(h(kt )) + β ln(ktα − h(kt )) 1 − βα

Resolviendo e igualando los coeficientes de los términos similares: 1 αβ A= (ln(1 − αβ) + lnαβ) 1−β 1 − αβ Encontrando la din´ amica ´ optima

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 1: modelo de Brock y Mirman (1972) X

1

La dinámica ´ optima: es la sucesi´ on {ct , kt }∞ t=0 descrita por este sistema de ecuaciones (con k0 dado):

´ n de la variable de estado Ec. de evolucio

kt+1

=

ktα − (1 − αβ)ktα = αβktα

(47)

´ n de pol´ıtica Funcio

ct

=

(1 − αβ)ktα

(48)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo para solucionar el PF

Ejemplo 2: modelo con h´ abitos de consumo

Max ∞

∞ X

{ct ,kt+1 }t=0

β t (lnct + γlnct−1 )

t=0

sujeto a: ct + kt+1 ≤ Aktα Donde: β ∈ (0, 1), γ < 0, A > 0 y α ∈ (0, 1). k0 y c−1 dado. 1 2

Escribir la ecuaci´ on de Bellman. Demuestre que la soluci´ on de dicha ecuaci´ on tiene la forma: v (kt , ct−1 ) = E + Flnkt + Glnct−1

3

Demostrar que la dinámica ´ optima del capital tiene la forma: lnkt+1 = I + Hlnkt Donde E,F,G,H,I son constantes. Dé f´ ormulas expl´ıcitas para estas constantes en términos de los parámetros del problema.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

1

Problema de optimizaci´ on din´ amica

2

Programaci´ on din´ amica: panorama Funci´ on valor Ecuaci´ on de Bellman Problema funcional Del PS al PF

3

Programaci´ on din´ amica: detalles Principio de optimalidad Método para solucionar el PF Método de cálculo diferencial para solucionar el PF

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

M´ etodo de c´ alculo diferencial para solucionar el PF

Para aplicar los métodos de cálculo diferencial en la solución de problemas de optimizaci´ on dinámica se requiere que la funci´ on valor tenga tres propiedades importante: 1

Monotonicidad:

2

Concavidad:

3

Diferenciabilidad:

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt )

Hip´ otesis 6: r (x, u) y g (x, u) Para cada u ∈ Rm , las funciones: r (xt , u)

: X → R es estrictamente creciente

g (xt , u)

: X → X es creciente

Hip´ otesis 7: Γ(x) Γ es mon´ otona (i.e. si x 0 > x → Γ(x 0 ) ⊇ Γ(x) )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt ) I Proposici´ on 5 (monotonicidad de V (x)) ´ tesis 4 al 7, entonces la funcio ´ n valor es Bajo las hipo estrictamente creciente.

Demostraci´ on (proposici´ on 5): La estrategia tiene dos pasos: el primero es demostrar que “T[f]” es una funci´ on estrictamente creciente; el segundo paso es considerar el “PptoFijo” y de all´ı derivar que “V” es tambi´ en estrictamente creciente. 1

Sabemos: Ca (X ) es el espacio de las funciones reales, continuas y acotadas con la norma del supremo. Cc (X ) ⊂ Ca (X ) es el espacio de las funciones reales, continuas, acotadas y crecientes. Se observa que Cc (X ) es un subespacio cerrado en Ca (X ), y por tanto es un espacio completo en la norma del supremo.

2

Paso 1: vamos a probar que “si f ∈ Ca (X ) es creciente, entonces T [f ] es una funci´ on estrictamente creciente”

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt ) II 3

Paso 1a: por la hip´ otesis 6: si x 0 ≥ x entonces g (x 0 , u) ≥ g (x, u) ∀u. dado que f es creciente:

0

f (g (x , u)) ≥ f (g (x, u)) 0

r (x , u) + βf (g (x 0 , u)) ≥ r (x 0 , u) + βf (g (x, u)) por la hip´ otesis 6 r (x, u) es creciente: 0 r (x , u) ≥ r (x, u), entonces:

r (x 0 , u) + βf (g (x 0 , u)) > r (x, u) + βf (g (x, u)) 4

(49)

Paso 1b: Aplicando “max” en la relaci´ on [49]: max r (x 0 , u) + βf (g (x 0 , u)) > max r (x, u) + βf (g (x, u)) u∈Γ(x)

u∈Γ(x)

(50) 5

0

0

Paso 1c: por la hip´ otesis 7 se tiene que: “si x ≥ x ⇒ Γ(x ) ⊇ Γ(x)”

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt ) III

Γ(X’)

Γ(X) u

Donde u ∈ Γ(x), entonces u ∈ Γ(x 0 ). Reemplazando este resultado en [50] se tiene: max0 r (x 0 , u) + βf (g (x 0 , u)) > max r (x, u) + βf (g (x, u)) u∈Γ(x )

u∈Γ(x)

(51)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt ) IV 6

Paso 1d: por la definici´ on del operador “T” para una función “f” cualquiera: T [f ](x) = sup r (x, u) + βf (g (x, u)) {u}∈Γ(x)

La expresi´ on [51] se convierte en: T [f ](x 0 ) > T [f ](x)

(52)

Es decir T [f ] es estrictamente creciente. Conclusi´ on 1 Por tanto se cumple lo que queriamos probar en el paso 1: “si f ∈ Ca (X ) es creciente, entonces T [f ] es una función estrictamente creciente” 7

Paso 2: como Cc (X ) es un subespacio cerrado de Ca (X ), entonces la funci´ on valor “V” está en Cc (X ):

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Monotonicidad de V (xt ) V

Ca(X)

Cc(X) V

Además, como T [V ] = V , y T es estrictamente creciente entonces “V” también es estrictamente creciente. Conclusi´ on 2 Por tanto la funci´ on valor (V) es estrictamente creciente.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) I

Hip´ otesis 8: X X es un subconjunto convexo de R n . Definici´ on conjunto convexo: el conjunto “X ” es convexo si para dos elementos de dicho conjunto x e y , la combinación lineal (con t ∈ [0, 1]) también se encuentra dentro de dicho conjunto. Es decir: ∀x ∧ y ∈ X y ∀t ∈ [0, 1] se cumple que [(1 − t)x + ty ] ∈ X

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) II Hip´ otesis 9: r (x, u) y g (x, u) r (xt , ut ) es estrictamente c´ oncava y g (xt , ut ) es c´ oncava. Definici´ on funci´ on c´ oncava: una funci´ on real definida en un conjunto convexo (dominio) es c´ oncava, si para dos puntos x e y cualesquiera definidas en su dominio, y para cualquier t ∈ [0, 1] se cumple: f (tx + (1 − t)y ) ≥ tf (x) + (1 − t)f (y )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) III

Hip´ otesis 10: Γ(x) Γ(xt ) es convexa; es decir: 1 2

Γ(x) es un conjunto convexo para todo x ∈ X . Dado λ ∈ [0, 1], x, x 0 ∈ X y x 6= x 0 , entonces si u ∈ Γ(x) y u 0 ∈ Γ(x 0 ) implica que: λu + (1 − λ)u 0 ∈ Γ(λx + (1 − λ)x 0 )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) I

Proposici´ on 6 (concavidad de V (x)) ´ n las hipo ´ tesis 4,5,8,9 y 10, la funcio ´ n valor es estrictamente Segu ´ ncava y la correspondencia de pol´ıtica es una funcio ń co continua.

Demostraci´ on (proposici´ on 6): La estrategia tiene dos pasos: el primero es demostrar que “T[f]” es una funci´ on creciente y estrictamente c´ oncava; el segundo paso es considerar el “PptoFijo” y de all´ı derivar que “V” tambi´ en es creciente y estrictamente c´ oncava. 1

2

Paso 1: vamos a probar que “si f ∈ Ca (X ) es creciente y cóncava, entonces T [f ] es una funci´ on creciente y estrictamente cóncava”. (que sea creciente lo sabemos de la proposici´ on 5). Paso 1a: dado λ ∈ [0, 1], x, x 0 ∈ X y x 6= x 0 , y sea u, u 0 tales que resuelven el problema del máximo definido por: T [f ](x) y T [f ](x 0 ) respectivamente.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) II 3

Paso 1b: además, por la hip´ otesis 10 se tiene que: λu + (1 − λ)u 0 ∈ Γ(λx + (1 − λ)x 0 ) entonces, tenemos que (por la definici´ on del supremo): T [f ](e x ) ≥ r (e x , ue) + βf (g (e x , ue))

(53)

Donde: xe = λx + (1 − λ)x 0 ue = u + (1 − λ)u 0 4

Paso 1c: pero r (·, ·) es estrictamente c´ oncava (hipótesis 9), entonces para r (e x , ue) que es igual a r (λx + (1 − λ)x 0 , u + (1 − λ)u 0 ) se tiene que: r (λx + (1 − λ)x 0 , u + (1 − λ)u 0 ) > λr (x, u) + (1 − λ)r (x 0 , u 0 ) (54)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) III

5

Paso 1d: además, dado que g (·, ·) es c´ oncava (hipótesis 9), entonces se tiene que: g (e x , ue) ≥ λg (x, u) + (1 − λ)g (x 0 , u 0 )

(55)

y dado que f es creciente, entonces aplicando “f” a la ecuación anterior (ecu.55): f (g (e x , ue)) ≥ f (λg (x, u) + (1 − λ)g (x 0 , u 0 ))

(56)

y como f es c´ oncava: f (λg (x, u) + (1 − λ)g (x 0 , u 0 )) ≥ λf (g (x, u)) + (1 − λ)f (g (x 0 , u 0 )) (57)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) IV 6

Paso 1e: introduciendo la expresi´ on [54] y [57] (multiplicada por β) en la expresi´ on inicial [53] se tiene: T [f ](e x)

≥ > > >

r (e x , ue) + βf (g (e x , ue))

λr (x, u) + (1 − λ)r (x 0 , u 0 ) + β[λf (g (x, u)) + (1 − λ)f (g (x 0 , u 0 ))] λr (x, u) + λβf (g (x, u)) + (1 − λ)r (x 0 , u 0 ) + (1 − λ)βf (g (x 0 , u 0 ) λ r (x, u) + βf (g (x, u)) + (1 − λ) r (x 0 , u 0 ) + βf (g (x 0 , u 0 )) | {z } | {z } T [f ](x)

T [f ](e x)

>

T [f ](x 0 )

λT [f ](x) + (1 − λ)T [f ](x 0 )

Conclusi´ on 1 Por tanto se cumple lo que queriamos probar en el paso 1: “si f ∈ Ca (X ) es creciente y c´ oncava, entonces T [f ] es una función creciente y estrictamente c´ oncava”

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Concavidad de V (xt ) V 7

Paso 2: como Cc (X ) (acotado para las funciones estrictamente cóncava) es un subespacio cerrado de Ca (X ), entonces la función valor “V” está en Cc (X ) (acotado para las funciones estrictamente cóncava): Ca(X) Cc(X) Estrictamente Cóncava V

Además, como T [V ] = V , y T es estrictamente cóncava entonces “V” también es estrictamente c´ oncava. Conclusi´ on 2 Por tanto la funci´ on valor (V) es estrictamente c´ oncava.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Diferenciabilidad de V (xt ) I

Hip´ otesis 11: r (x, u) y g (x, u) r (xt , ut ) y g (xt , ut ) son continuamente diferenciables en el interior del grafo de Γ(xt ). Hip´ otesis 12: diferenciabilidad Sea (x ∗ , u ∗ ) en el interior del grafo de Γ, tal que ∃ una función diferenciable “τ ” definida en una vecindad abierta V de x ∗ tal que: τ :V →U y para todo x ∈ V : τ (x) ∈ Γ(x) y g (x, τ (x)) = g (x ∗ , u ∗ )

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Diferenciabilidad de V (xt ) II

´ n valor Teorema 3 (Diferenciabilidad de la funcio (Benveniste-Scheinkman 1)) ´ tesis 4, 5, 8, 9, 10, 11 y 12; si x0 ∈ Int(X ) y h(x0 ) ∈ Int(Γ(x0 )), enBajo las hipo ´ n valor es continuamente diferenciable en x0 y su derivada tonces la funcio ´ dada por: esta ∂V (x0 ) ∂r (x0 , h(x0 )) ∂V (g (x0 , h(x0 ))) = +β ∂x0 ∂x0 ∂x0 Esto es generalizado para todo t.

(58)

1

Este teorema es un paso previo para demostrar el teorema del envolvente.

2

Requiere que en la ecuaci´ on de Bellman se introduzca la función de pol´ıtica h(x) (además de la ecuaci´ on de movimiento de la variable de estado g (x, h(x))).

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Diferenciabilidad de V (xt ) III

3

Las hip´ otesis descritas aseguran que la funci´ on valor sea dos veces diferenciable (Stokey y Lucas, 1989. pag 84), la cual asegura que la funci´ on de pol´ıtica h(x) sea diferenciable. Esta propiedad es recogida en el teorema de BS (1 y 2).

Teorema 4 (Teorema de la envolvente (Benveniste-Scheinkman 2)) ´ tesis 4, 5, 8, 9, 10, 11 y 12; si x0 ∈ Int(X ) y h(x0 ) ∈ Int(Γ(x0 )), y Bajo las hipo cumpiendose el teorema BS 1, entonces para x, u se cumple: ∂V (x0 ) ∂r (x0 , u0 ) = ∂x0 ∂u0

(59)

Esto es generalizado para todo t. 1

Este teorema asegura una relaci´ on entre la funci´ on de valor y la función de utilidad.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Pasos para utilizar el m´ etodo de BS

1

En la ecuaci´ on de Bellman aplicar las CPO. Es decir, derivar el lado derecho de dicha ecuaci´ on con respecto a la variable de control.

2

Aplicar el teorema del envolvente. Recordar que el teorema de la diferenciabilidad es solo para demostrar el teorema del envolvente.

Nota: Este método (teorema de BS) brinda explicitamente las CPO sin necesidad de conocer la funci´ on valor; no obstante, no brinda la solución al problema; es decir, no especifica la funci´ on de pol´ıtica.

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Ejemplo: aplicaci´ on del teorema de la envolvente I Un ejemplo t´ıpico del consumidor: Problema de optimizaci´ on de un consumidor Max ∞

∞ X

{ct ,wt+1 }t=0

β t u(ct )

t=0

sujeto a: wt+1 = (1 + r )(wt + ct ) Donde: β ∈ (0, 1), wt es la riqueza del individuo y w0 dado. Soluci´ on: Ecuaci´ on de Bellman V (wt ) = Max ∞

{ct }t=0

u(ct ) + βV (wt+1 )

Introduciendo la ecuaci´ on de la variable de estado:

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Ejemplo: aplicaci´ on del teorema de la envolvente II

V (wt ) = Max ∞

{ct }t=0

u(ct ) + βV ((1 + r )(wt + ct ))

(60)

Condiciones de primer orden Derivamos el lado derecho de la ecuaci´ on de Bellman con respecto a la variable de control ct : ∂u(ct ) ∂V (wt+1 ) [(1 + r )(wt + ct )] +β = 0 ∂ct ∂wt+1 ∂ct ∂u(ct ) ∂V (wt+1 ) +β (−1)(1 + r ) = 0 ∂ct ∂wt+1 ∂u(ct ) ∂V (wt+1 ) = β(1 + r ) ∂ct ∂wt+1

(61)

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Ejemplo: aplicaci´ on del teorema de la envolvente III Teorema de la envolvente El teorema del envolvente indica: ∂V (wt ) ∂u(ct ) = ∂wt ∂ct

(62)

∂u(ct+1 ) ∂V (wt+1 ) = ∂wt+1 ∂ct+1

(63)

Un periodo hacia adelante:

Encontrando la ecuaci´ on de Euler Introduciendo la ecuaci´ on [63] (teorema de la envolvente) en la ecuación [64] (CPO), se tiene la ecuaci´ on de Euler: ∂u(ct ) ∂V (wt+1 ) = β(1 + r ) ∂ct ∂wt+1

Clase 2: Programaci´ on din´ amica Programaci´ on din´ amica: detalles M´ etodo de c´ alculo diferencial para solucionar el PF

Ejemplo: aplicaci´ on del teorema de la envolvente IV

∂u(ct ) ∂u(ct+1 ) = β(1 + r ) ∂ct ∂ct+1

(64)

14408911121

Short Description

Description

Comments

We need your help!