3 - Gradiente Descendente

 

 

Método del gradiente descendiente

1

 

 

Idea general del método del gradiente descendiente (Tomando un problema de minimización sin restricciones) Tomar un punto inicial x0. ●

●

●

●

Calcular el grandiente ∇f(x0). Dar un paso en la dirección de descenso, de tamaño α0>0. Repetir para sucesivos xi. 3

Detalles a considerar ●

●

 

Tamaño del paso αi. Cuando parar.

4

 

 

Tamaño del paso ●

Cada paso nos debe acercar más al mínimo, es decir se debe cumplir

●

Idea: Escoger el α que mínimiza f(xi+1), es decir minimizar la función observando que xi y f(xi) son valores conocidos, α

esta es una función en una variable:

5

 

 

Interpretación geométrica ●

El vector ∇f(xi) es perpendicular al vector ∇f(xi+1).

●

Como esto se cumple para todo paso i, el recorrido es un zig-zag en ángulos rectos.

7

Ilustración 3 7        5        .6         

2

6        6        6        7       

1        1        3       

1

0

3       8       .3         3       3       3       3      

      3       3       3       3 .       0         5       1

. 3        3        3        3       

7       5      . 6      6      6      6      7      

-1 1       1       3      

-2 1      5       0      . 3       3       -3 8      3       7       3       . 6       6       6       7      

-4

1     1     3     

-5 -3

 

       3         1        1

      3       3       3       3       3 .       8       3

-2

    3     3     3     3     3  .     8     3

3     8    . 3     3     3     3     3    

7    5    .6    6    6    6    7   

 

-1

0

 

   7    6    6    6    6  .    5 7

1

      7      6      6      6      6  .      5       7

      3       1       1

     3      3      3      3  .      7      0       6      5      6      1      6  .      7      8 1

    3     1     1

2

3

8

 

 

Limitantes de esta técnica ●

Solo aplicable a funciones diferenciables

●

No garantiza llegar a un óptimo global – a lo sumo acercarse a un óptimo local. ●

Dependiendo de la función f(), en muchos casos converge lentamente.

10