Metodos Optimizacion No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

República Bolivariana De Venezuela Ministerio Del Poder Popular Para La Defensa Universidad Nacional Experimental Politécnica De la Fuerza Armada UNEFA - Núcleo Barinas

Método de Cuasi Newton & Método de la Métrica Variable Optimización No Lineal

BACHILLERES: C.I: 19.192.119 Burgos Raibellys C.I: 20.867.895 Suarez Lindy

Ing. Sistemas VI Semestre “S61” Ing. Walter Ayala

Diciembre de 2012

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Método de Cuasi Newton

En optimización, métodos Cuasi-Newton (también conocido como métodos métricos variables) son los algoritmos bien conocidos para encontrar locales máximos y mínimos de funciones. Los métodos Cuasi-Newton se basan en el método de Newton para encontrar el punto fijo de una función, donde el gradiente es 0. El método de Newton supone que la función puede localmente aproximarse como una ecuación cuadrática en la región alrededor del grado óptimo, y utiliza las primeras y segundas derivadas para encontrar el punto estacionario. En dimensiones más altas, el método de Newton utiliza el gradiente y la matriz hessiana de segundas derivadas de la función que debe reducirse al mínimo. Los métodos Quasi-Newton se basan en utilizar aproximaciones sucesivas de la matriz Hessiana para acelerar el proceso de convergencia. Teniendo en cuenta que: 

Gradiente: es un vector formado por las derivadas parciales de una función. El

gradiente evaluado en un punto dado apunta en la dirección de mayor ascenso de la función:



Matriz Hessiana: matriz simétrica formada por las derivadas parciales del

gradiente de una función. La matriz Hessiana da información de la curvatura de una función:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Cuando no es posible evaluar analíticamente las primeras y segundas derivadas, se pueden emplear métodos de diferencias finitas para calcularlas:

Descripción del método: Como en el método de Newton , se utiliza una aproximación de segundo orden para encontrar el mínimo de una función

. La serie de Taylor de

alrededor de

una iteración es:

donde (

) Es el gradiente y

esta aproximación (con respecto a

una aproximación a la matriz de Hesse . El gradiente de ) Es:

y el establecimiento de este gradiente a cero proporciona el paso de Newton:

La aproximación de Hesse

se elige para satisfacer:

que se llama la ecuación secante (la serie de Taylor de la propia gradiente). En más de una dimensión

es bajo determinado . En una dimensión, para resolver

y la etapa de

aplicación de Newton con el valor actualizado es equivalente al método de la secante .Los diversos métodos cuasi-Newton difieren en su elección de la solución a la ecuación de la secante (en una dimensión, todas las variantes son equivalentes). La mayoría de los métodos (aunque con excepciones, como el método de Broyden ) buscan una solución simétrica (

), Por otro lado, las variantes que figuran a continuación pueden

estar motivados por la búsqueda de una actualización posible a

en algunos norma , es decir,

que está tan cerca como sea donde

es

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

cierta matriz definida como matriz positiva que define la norma. Un valor aproximado inicial de desconocido

a menudo es suficiente para lograr una rápida convergencia. Lo se actualiza aplicando el paso de Newton, que se calcula utilizando la

actual matriz hessiana aproximada de

Con

:

elegido para satisfacer las condiciones Wolfe ; ;

El gradiente calculado en el nuevo punto:

,Y

se utiliza para actualizar la aproximación de Hessian inversa

, O directamente su

utilizando la fórmula Sherman-Morrison . Una propiedad clave de los BFGS y actualizaciones de DFP es que si

positiva y

se elige para satisfacer las condiciones Wolfe luego

es definida También es

definida positiva. Otra manera de interpretar este método es de la siguiente manera: 

Calcular la matriz Hessiana de una función y su

inversa puede ser un

procedimiento muy costoso e impráctico. 

Una solución a este problema es utilizar aproximaciones a la inversa de la matriz

Hessiana en lugar de la inversa real. Esta es la idea subyacente de los métodos Cuasi Newton 

Las aproximaciones se construyen a partir de información del gradiente durante

un proceso de descenso. 

Sea f(x) en Rn una función con segundas derivadas parciales continuas. Para dos

puntos Xk+1 y Xk, con 𝒈𝒊 = 𝛁𝒇(𝒙𝒊 ) y matriz Hessiana constante F se cumple:

𝑞𝑘 = 𝑔𝑘+1 − 𝑔𝑘 ; 𝑝𝑘 = 𝑥𝑘+1 − 𝑥𝑘 𝒒𝒌 = 𝑭𝒑𝒌 (1)

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable



Esto implica que F puede ser determinada de manera única a partir de n

direcciones linealmente independientes y sus respectivos valores del gradiente. 

Si llamamos P a la matriz cuyas columnas son los vectores pk y Q la matriz cuyas

columnas son los vectores qk, a partir de (1), se cumple: F=QP-1 Ejemplo Ilustrativo: Método: Descenso más rápido 𝒇(𝒙) = 𝟐. 𝟓𝒙𝟐 + 𝟐. 𝟓𝒚𝟐 + 𝟐. 𝟓𝒛𝟐 + 𝟐. 𝟓𝒘𝟐 + 𝟐𝒙𝒚 + 𝟐𝒘𝒛 − 𝒙 − 𝟐𝒚 − 𝟑𝒛 − 𝟒𝒘 𝒇(𝒙) =

𝟏 𝟐

𝒙𝑻 𝑭𝒙 − 𝒃𝒙

𝛁𝒇(𝒙) = 𝒈(𝒙) = 𝑭𝒙 − 𝒃

Primera Iteración:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Segunda Iteración:

Tercera Iteración:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Cuarta Iteración:

Condición Cuasi Newton: 

Es natural intentar construir aproximaciones sucesivas Hk de F-1 de forma tal que

en cada iteración estas sean consistentes con 𝒒𝒌 = 𝑭𝒑𝒌 para todas las direcciones utilizadas. Es decir:

𝐻𝑘+1 𝑞𝑘 = 𝑝𝑘 ; 0 ≤ i ≤ k 

Condición de Cuasi Newton

Al hacer esto, después de n pasos linealmente independientes, tenemos que:

Hn = F-1, si la matriz Hessiana es constante, o Hn ~= F (xk)-1 en caso contrario. 

Para k < n existen infinitas soluciones a este problema ya que hay más grados de

libertad que restricciones Aproximación de rango a uno: 

Una solución sencilla es actualizar iterativamente añadiendo una matriz simétrica

de (a lo sumo) rango uno que satisfaga la condición Quasi-Newton. Una forma de conseguir esto es hacer:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

𝐻𝑘+1 = 𝐻𝑘 +

(𝑝𝑘 −𝐻𝑘 𝑞𝑘 )(𝑝𝑘 − 𝐻𝑘 𝑞𝑘 )𝑇

Matriz Simétrica de (a lo sumo) rango a uno

𝑞𝑘 𝑇 (𝑝𝑘 −𝐻𝑘 𝑞𝑘 )

Siendo 𝑞𝑘 ≣ 𝑔𝑘+1 − 𝑔𝑘 y 𝑝𝑘 ≣ 𝑥𝑘+1 − 𝑥𝑘 

Este proceso se inicia a partir de una matriz simétrica H0 cualquiera.



Este algoritmo no garantiza que la aproximación a la inversa de la matriz hessiana

sea positiva definida. Además puede presentar dificultades numéricas. Ejemplo Ilustrativo: Descripción y Puntos Iniciales: Métodos: Descenso Rápido, Actualización del Hessiano de rango a uno

(𝒙) = 𝟐. 𝟓𝒙𝟐 + 𝟐. 𝟓𝒚𝟐 + 𝟐. 𝟓𝒛𝟐 + 𝟐. 𝟓𝒘𝟐 + 𝟐𝒙𝒚 + 𝟐𝒘𝒛 − 𝒙 − 𝟐𝒚 − 𝟑𝒛 − 𝟒𝒘 𝒇(𝒙) =

𝟏 𝟐

𝒙𝑻 𝑭𝒙 − 𝒃𝒙

𝛁𝒇(𝒙) = 𝒈(𝒙) = 𝑭𝒙 − 𝒃

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Primera Iteración:

Segunda Iteración:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Tercera Iteración:

Cuarta Iteración:

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

Método de la Métrica Variable

Existe una gran similitud entre los esfuerzos actuales por mejorar los métodos de métrica variable y aquellos que buscan mejorar los métodos de gradiente conjugado. Por tanto, mucho de lo descrito en métodos de gradiente conjugado aplica también para los métodos de métrica variable. Davidon (1975) ha propuesto una clase de actualizaciones que permiten búsquedas lineales inexactas. Powell (1977) estableció posteriormente la propiedad de terminación cuadrática de estos métodos en la ausencia de búsquedas lineales. Pareciera ser que un método de métrica variable con terminación cuadrática pero sin la necesidad de búsquedas lineales costosas seria robusto y rápido en funciones generales. Goldfarb (1977) se cuenta entre los que han explorado esta promisoria línea de investigación. En general, el método de Davidon-Fletcher-Powell suele reinicializarse (es decir, hacemos A = I) después de N actualizaciones. Esto es usualmente una medida muy conservadora, ya que pueden requerirse muchos más pasos antes de que realmente se requiera una reinicialización. La necesidad de reinicializar se incrementa conforme empeora el valor de condicionamiento de la matriz:

Donde K(A) es el número de condicionamiento de la matriz A,

h

y

l

son los

valores de mayor y menor modulo, respectivamente. Una matriz con un valor de condicionamiento grande está mal condicionada. Una matriz con un valor de condicionamiento cercano a 1 está bien condicionada. Es importante hacer notar que aunque las reinicializaciones proporcionan un cierto grado de seguridad (o robustez) en los métodos de métrica variable, estas típicamente hacen más lento el progreso a la solución, puesto que se desecha una estimación de segundo orden.

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

McCormick (1972), Shanno (1978) y Shanno & Phua (1979) han investigado de manera extensiva la relación entre el gradiente conjugado y los métodos de métrica variable. Shanno ve a los métodos de gradiente conjugado como métodos de métrica variable “sin memoria”. La mayor parte de los investigadores coinciden en la actualidad en afirmar que estas 2 clases de métodos comparten mucho más de lo que originalmente se creía. Además, resulta claro que las muchas variantes de los métodos de métrica variable tienen mucho en común en la práctica (Dixon, 1972), lo que hace que se tenga que sopesar cuidadosamente el costo computacional adicional de los métodos más complejos. Shanno & Phua (1978) proporcionan numerosos resultados que favorecen el uso del método de Broyden-Fletcher-Goldfarb-Shanno. Los métodos de métrica variable han sido utilizados de manera extensiva para el desarrollo de técnicas de optimización para problemas con restricciones. También hay una cantidad importante de trabajo en torno a hacer los métodos de métrica variable más atractivos para problemas grandes. Los métodos de gradiente conjugado son los que suelen considerarse como los mejores para problemas de alta dimensionalidad (o sea, aquellos con muchas variables de decisión). Sin embargo, se han logrado muchos avances en lo que a los métodos de métrica variable se refiere, sobre todo en aquellos casos en los que la matriz Hessiana es dispersa. Algoritmo de la métrica variable: 1. Elegir X0 ∈ IRn y B0 matriz n × n definida positiva; k = 0. 2. Test de convergencia: (por ejemplo ǁ∇f(xk)ǁ < Ɛ, Ɛ pequeño dado) • Si se verifica, PARAR • Si no se verifica, continuar

Optimización No Lineal

Método de Cuasi Newton & Método de la Métrica Variable

3. Calcular la dirección de búsqueda dK como solución del sistema lineal:

(BK)dK = −∇f(xK) 4. Calcular tK > 0 por una regla de búsqueda lineal adecuada. Hacer xK+1 = xK + tkdk 5. Calcular BK+1 = Φ(BK, yK, sK) , con sk = xK+1 –xk, e yk = ∇f(xK+1)−

∇f(xK). Hacer k = k + 1. Ir a 2.

Optimización No Lineal