Caracterizacion de Minimos y Maximos

REPUBLICA BOLIVARIANA DE VENEZUELA MINISTERIO DEL PODER POPULAR PARA LA DEFENSA UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA DE LA FUERZA ARMADA NACIONAL NUCLEO SAN TOME

OPTIMIZACIÓN NO LINEAL Profesor: Edgardo Salazar Sección 7N01 Bachilleres: Hernández De Moreno María Higinia Moreno Padrino Engelbert Leonardo

C.I: 17.746.165 C.I: 11.773.602

30 De Enero De 2014

CARACTERIZACION DE MINIMOS Y MAXIMOS Los máximos y mínimos de una función, conocidos colectivamente como extremos de una función, son los valores más grandes (máximos) o más pequeños (mínimos), que toma una función en un punto situado ya sea dentro de una región en particular de la curva (extremo local) o en el dominio de la función en su totalidad (extremo global o absoluto). De manera más general, los máximos y mínimos de un conjunto (como se define en teoría de conjuntos) son los elementos mayor y menor en el conjunto, cuando existen. El localizar valores extremos es el objetivo básico de la optimización matemática. Una función puede tener más de un máximo o más de un mínimo locales.

Una condición necesaria pero no suficiente para que X0 sea un punto extremo, es que para una función con más de una variable, el gradiente — f(X0) = 0. Si es cierto esto entonces X0 será conocido como punto estacionario. Una condición suficiente para que un punto estacionario sea extremo es que la matriz Hessiana H obtenida en X0 del sistema de ecuaciones sea positiva cuando X0 es un punto extremo de mínimo. Y negativa cuando X0 es un punto extremo de máximo. Un máximo débil implica un numero finito de máximos alternativos (ver figura 1) y se define como X0 es un máximo débil, si f(X0 + h) x*

Fig. 2

Si una función es unimodal se puede asegurar, calculándola solo en dos puntos, en que zona no puede encontrarse el óptimo y, por consiguiente, como ya quedara dicho, eliminarla del análisis. En la figura 2 los valores de la función calculados en x 1 y x2 permiten presuponer comportamientos como los indicados en líneas de puntos, con lo que la zona x2-b deja de ser de interés. Nótese que los valores de la función podrían haberse encontrado en una situación inversa a la presentada ( f1 < f2 ) y en tal caso la zona excluida sería a-x1.

Puede observarse que: 1.- Se requieren, como mínimo, dos evaluaciones de la función objetivo para poder desechar una región; 2.- La ubicación de los puntos de cálculo debe ser simétrica respecto del punto medio del intervalo para que el porcentaje de región eliminada sea independiente de valores relativos de las evaluaciones; 3.- Siempre queda uno de los puntos dentro de la zona no eliminada, mientras que el restante queda en uno de los límites de la misma. Si bien el concepto de unimodalidad es muy simple de plantear y, como se verá, puede convertirse en una estrategia eficiente para la búsqueda de un óptimo, tiene un inconveniente básico y es que para asegurar su cumplimiento debería conocerse exactamente el comportamiento de la función objetivo, cuestión que, en la práctica, es imposible.

Fig 3

Más aún, sin este conocimiento, que es, se insiste, la situación normal, solo se está en condiciones de establecer cuando la función no es unimodal. En la figura 3, por ejemplo, se ha representado una situación posible luego de un segundo paso en la estrategia de eliminación de regiones. Otra vez se tienen dos puntos en el interior y ha quedado de la etapa anterior una evaluación sobre el borde de la zona, indicado como punto b. Resulta claro que si lo que se busca es un máximo de la función objetivo ésta no es unimodal en ese sentido (habría sendos máximos a izquierda

y derecha del punto x2'). Ahora bien, si no se detectase una situación de esta índole no habría que inferir, por ello, que la función es unimodal, pues solo podría ser una consecuencia de la particular ubicación de los puntos de análisis; aunque si se repitiese lo mismo una y otra vez habría fundamentos para estimar que la función se comporta como unimodal.

Búsqueda de la Sección Dorada Pertenece a los métodos de búsqueda lineal basados en intervalos, además es una versión mejorada de la búsqueda de Fibonacci. Es uno de los más difundidos por la simplicidad de su programación y una notable eficiencia en el proceso de determinar el punto óptimo en una búsqueda unidireccional.

La idea básica se muestra en la figura 4. Allí se han ubicado, en una primera etapa, los dos puntos requeridos para lograr la eliminación de un cierto sector de la zona de búsqueda inicial, el entorno {a, b}, normalizado en {0, 1}. Fig. 4 En la figura se ha supuesto, además, que la zona eliminada es la ubicada entre x2 y b. De esta forma, el intervalo de búsqueda pasa a ser, ahora, {a' = a, b' = x 2}. (Nótese que como ya quedó dicho, uno de los nuevos límites de la zona coincide con un punto de análisis). En la estrategia que se plantea el método del número de oro el punto que permanece en el interior del nuevo intervalo está ubicado en la posición relativa en la que se encontraba el otro punto, que ahora limita la zona; esto es, el anterior x1 será el nuevo x2, indicado como x´2 en la figura. Para ello deberá cumplirse que

5 1 x 2 x1 1  x 2    x 22  x 2  1  0  x 2   0,6180339... 1 x2 2 x2 Es a este número irracional al que el método debe su nombre, ya que en la Grecia clásica la cifra 1,6180339... era conocida como "relación áurea", íntimamente ligada a la secta pitagórica -en su emblema, una estrella regular de cinco puntas, todas sus líneas están divididas según esa proporción-. Tiene propiedades geométricas singulares, por lo que no es de extrañar que los griegos, tan racionales, le atribuyesen cualidades inasibles como la belleza y utilizaran la relación áurea al erigir los espléndidos edificios de la Acrópolis ateniense -con lo cual vino a resultar cierto que tal proporción es sinónimo de belleza-. Volviendo al método, la ubicación relativa de los puntos de una etapa de análisis hace posible que en la siguiente solo sea necesario el cálculo de un único punto nuevo, manteniendo siempre constante el factor de reducción de la zona de búsqueda (61,8 % del intervalo existente) Al cabo de n etapas se habrán realizado n+1 cálculos de la función objetivo (en la primera deben realizarse, necesariamente, dos) y el factor de reducción global alcanzado (relación entre intervalo final e inicial) será de (0,618..) n. De esto surge que el número de cálculos que se requieren para lograr un determinado factor de reducción δ es   (0.618...) N - 1 

log  +1 N log (0.618..)

Como queda dicho, el proceso de eliminación de regiones va dejando puntos de análisis sobre las fronteras de las zonas que se van aislando. Este hecho permite instrumentar, en forma paralela, un esquema de control de unimodalidad para la función analizada. En la figura 5 se muestran algunas posibles alternativas en la aplicación del método. Se ha supuesto allí que se conocen los valores de la función objetivo en los bordes de la zona (se trataría de anteriores puntos de análisis). La aplicación del criterio de eliminación de regiones a la situación expuesta hace que deba descartarse la zona comprendida entre x 2 y b, con lo cual x2 pasa a ser el nuevo b (b'), x1 será x´2 y se requiere calcular el nuevo x1. Al hacerlo, el valor de la función objetivo en ese punto puede ser más alto o no que el del extremo a (recuérdese que se está buscando un mínimo), siendo en la figura el valor de la función objetivo en a mayor que en x´2 . Si la situación es la indicada como b se estaría en la condición normal y el proceso puede seguir su curso.; si, en cambio, el Fig. 5 resultado fuese el indicado como a se puede afirmar que la función no presenta un comportamiento unimodal y no se podría aplicar el método, al menos en la forma que se ha expuesto hasta aquí. Con todo lo anterior es posible formular un algoritmo para el método que, en términos de un pseudocódigo, sería como el que se muestra en el Cuadro 4.1. El siguiente algoritmo presupone el conocimiento exacto de los límites entre los que debe buscarse el óptimo. En la realidad puede suceder que a) estos límites sean tan amplios que es equivalente a no conocerlos o b) aunque conocidos, hay restricciones sobre las variables de estado que resultan más limitativas que las cotas explícitas de la variable de decisión; esto es

min FO ( x, y ) x  E1 ; y  E n con f ( x, y) = 0 (1) f : E n+1  E n h( x, y)  0 (2) h : E n+1  E m a  xb y puede ser que x esté dentro del entorno {a,b} y, sin embargo, no cumplirse totalmente las condiciones (2). En ambos casos el hecho coincidente es que no se conocen los valores de los verdaderos extremos entre los que debe efectuarse la búsqueda del óptimo, por lo cual el

algoritmo anterior a) carecería de los datos iníciales o b) estos no serían los que corresponden. Para el primero de los casos la cuestión es encontrar los valores de a y b que corresponden al problema. Sería deseable, claro está, que el esfuerzo realizado en tal búsqueda fuese aprovechado, luego, durante la optimización, al aplicar el método del número de oro. Método de Interpolación Cuadrática

Métodos Multidimensionales El principio del método aplicado fue el de favorecer la aparición de datos concretos: las realidades humanas en distintas dimensiones y revelar las características del terreno. La indagación está ligada al desarrollo y las ramificaciones del cuerpo de la hipótesis y de los instrumentos de investigación. La prospección y la reflexión no pueden estar separadas. Se trata entonces de encontrar el rigor, no la rigidez dentro de una estrategia de permanente adaptación. La investigación debe favorecer la aparición de datos concretos, debe ser flexible como para recoger los documentos en bruto (anotaciones de sucesos, registro de discusiones, entrevistas sobre los detalles). La investigación debe captar las diversas dimensiones del fenómeno estudiado y utilizar diversas vías de aproximación y debe permitir la corrección y la verificación durante el desarrollo de un pensamiento interpretativo Algunos modelos son: Eliminación multivariable a) Downhill simplex En el método downhill simplex, cada punto de un simplex representa una posible solución del problema. El simplex correspondiente a una función de N variables se representa por una matriz de (N+1)xN. Cada columna de la matriz contiene las N coordenadas de un vértice El algoritmo consiste en la búsqueda de un mínimo siguiendo una sucesión de operaciones sobre el simplex: expansión, contracción, y reflexión. Primero se localiza el vértice nmax donde la función objetivo f toma el valor máximo, y se lo refleja respecto de la cara opuesta del simplex determinando un nuevo punto n prueba. Se evalúa la función en una serie de puntos que pertenezcan a la recta perpendicular a dicha cara y que contiene a n prueba. Si en alguno de esos puntos, la función toma un valor menor que f(nmax), entonces ese punto reemplaza a nmax en el simplex. En caso contrario, se conserva el simplex original y se lo contrae en todas las direcciones alrededor del mínimo y se vuelve a ejecutar el algoritmo. El método invariablemente converge a un mínimo luego de una serie de contracciones. b) Algoritmos genéticos El método de optimización por algoritmos genéticos simula un proceso de evolución y selección natural en una población de individuos. Cada individuo de la población

representa una posible solución. Por otra parte, un cromosoma caracteriza a un individuo y está formado por un conjunto de genes, cada uno de los cuales es un parámetro de optimización. Métodos geométricos El método geométrico consiste en suponer que el crecimiento de una comunidad es en todo instante proporcional a su población, es decir que responde a la ecuación:

Este método da resultados superiores, por lo que se califica de “optimista” y debe emplearse con mucha precaución. Tan sólo debe aplicarse a comunidades en plena dinámica de crecimiento, con grandes posibilidades de desarrollo y horizontes líbres. Método de variable cíclica Variaciones Cíclicas: (Serie temporales) se refiere a las oscilaciones de larga duración alrededor de la recta o curva de tendencia; estos ciclos, como se llaman a veces, pueden ser o no periódicos, es decir, puede seguir o no exactamente caminos analógicos después de intervalos de tiempo iguales. Se caracterizan por tener lapsos de expansión y contracción. En general, los movimientos se consideran cíclicos solo si se produce en un intervalo de tiempo superior al año (3). En el Gráfico los movimientos cíclicos alrededor de la curva de tendencia están trazados en negrita.

Tratamos de hacer predicciones sobre esa magnitud, teniendo en cuenta sus características históricas o del pasado Ejemplo para las variaciones cíclicas. Supongamos que tenemos las ventas trimestrales de un supermercado en el período 19901994, expresadas en millones de pesetas constantes del año 1990. Métodos para determinar la tendencia de las variaciones cíclicas 1º) METODO GRAFICO a) Se efectúa la representación gráfica de la serie ordenada Yt b) Se unen mediante segmentos rectilíneos todos los puntos altos de la serie, obteniéndose una poligonal de cimas c) Se realiza lo mismo con los puntos bajos, obteniéndose la línea poligonal de fondos d) Se trazan perpendiculares al eje de abscisas por los puntos cimas y fondos. e) La tendencia viene dada por la línea amortiguada que une los puntos medios de los segmentos 2º) METODO DE LAS MEDIAS MOVILES *** Empleando 3 observaciones a) Partimos de la serie temporal observada Yt. b) Se obtienen sucesivas medias aritméticas para cada Yt, con un número de observaciones anteriores y posteriores fijado de antemano - Si el número de observaciones es impar la media Yt, está centrada y coincide con el período t c) La serie formada por las medias de Yt, nos indica la línea amortiguada de la tendencia 6 . Método de Newton El encontrar la solución a un sistema de ecuaciones no lineal es mucho más difícil que el de un sistema lineal. El método de Newton es un procedimiento iterativo y permite la linealización de un sistema de ecuaciones no lineal, para posteriormente darle solución por cualquier método numérico de ecuaciones lineales simultáneas, este forma parte de los métodos conocidos como métodos de gradiente. Un sistema de n ecuaciones con n incógnitas (x1, x2, ... xn), se conoce como no lineal, si una o más de estas no es lineal.

De manera general, la solución de un sistema de n ecuaciones no lineal aplicando el método de Newton [Conte y Boor, 1987] se plantea como sigue:

El método de Newton es un eficiente algoritmo para encontrar aproximaciones de los ceros o raíces de una función real. También puede ser usado para encontrar el máximo o mínimo de una función, encontrando los ceros de su primera derivada. La idea de este método es la siguiente: se comienza con un valor razonablemente cercano al cero (denominado punto de arranque), entonces se reemplaza la función por la recta tangente en ese valor, se iguala a cero y se despeja (fácilmente, por ser una ecuación lineal). Este cero será, generalmente, una aproximación mejor a la raíz de la función. Luego, se aplican tantas iteraciones como se deseen. Aplicación y Descripción Supongamos una función f de una variable a ser minimizada y supongamos que en x es posible evaluar

k

f( x ), f ’( x ) y f ”( x ). Entonces es

k

k

k

posible construir una función cuadrática a partir del desarrollo de

Taylor:

Se puede estimar x k 1 determinando el punto donde la derivada de q se hace cero.

Nótese que no depende de

El método puede ser visto como la resolución iterativa de ecuaciones de la forma g(x)=0, donde, cuando es aplicada a minimización, hacemos g(x f ’(xk)

Implementación Para la implementación de este método es necesario calcular la primera y segunda derivada de la función como derivadas direccionales, obteniendo un valor escalar, de la siguiente manera,

Donde d es el vector unitario de la dirección de descenso Observaciones: 1) La dirección del Método de Newton:

Es una dirección de descenso si y sólo si:  2 f ( x k ) es definida positiva, es decir: (f ( x k )) d k  0   2 f ( x k ) Es definida positiva 2) El método de Newton en cada iteración, considera una aproximación cuadrática de la función objetivo, y define el nuevo punto de la sucesión minimizante como el óptimo de la aproximación cuadrática de la función objetivo. Cerca de un óptimo local de f, la aproximación exacta.

3) El punto inicial x 0 no puede ser arbitrario, ya que para que el método converja, la dirección d k debe ser de descenso. Esta corresponde a la principal desventaja del método: su convergencia local. Sin embargo, su rapidez de convergencia es su mayor ventaja, posee convergencia de velocidad cuadrática, es decir: x k 1  x   x k  x

2

para

 1

4) El principal problema del Método de Newton es que la matriz  2 f ( x k ) debe ser definida positiva. Si se parte de un punto x 0 suficientemente cercano a un mínimo local, esto se verifica. En general se desconoce toda información acerca de la solución óptima del problema, y por lo tanto no se tiene un buen criterio para escoger x 0 . 5) Esto sugiere, que un buen método de minimización es una combinación del Método del Gradiente y del Método de Newton: Inicialmente se aplica el Método del Gradiente que tiene convergencia global de velocidad lineal y luego se aplica el Método del Newton que tiene convergencia local de velocidad cuadrática. El método de Newton para Minimizar un f (x) tal que x  R n En el método de Newton la dirección de búsqueda se define como:





1

d ( x)   2 f ( x) f t ( x) La dirección de búsqueda se encuentra minimizando el problema: ~ Minimizar f ( x  d ) ~ Donde f es la aproximación cuadrática de f en x .

Teorema: el método de Newton definido por la iteración x k 1  x k  d ( x k ) Tiene convergencia local con orden de convergencia p  2 . Minimizar f (x) Tal que x  Rn f ( x)  x t Qx

1 1   Q   1 10  x0  (10 ,1) t

Correcciones: 1) Introducir búsqueda lineal a) La dirección puede no ser de descenso. b) El orden de convergencia puede ser menor de 2. 2) Modificar la matriz del sistema lineal. Método de Newton para resolución de un sistema de ecuaciones no lineales Resuelve iterativamente un sistema de ecuaciones no lineales f1 ( x1 ,  ; xn )  0 f 2 ( x1 ,  , xn )  0  f n ( x1 ,  , xn )  0

Aproxima la función no lineal por una función lineal en cada punto (iteración), utilizando la expansión en serie de Taylor de primer orden.

f ( x k  p k )  f ( x k )  f ( x k ) t p k f ( x*)  f ( x k )  f ( x k ) t p k  0 p k  f ( x k ) T f ( x k ) x k 1  x k  p k  x k  f ( x k ) T f ( x k ) Jacobiano de la función f ( x) T  (f 1 ( x) f 2 ( x)  f n ( x) T ) Este método converge cuadráticamente cuando el punto esta próximo a la solución El Jacobiano de la función en cada punto debe ser no singular Para colocar un ejemplo tomamos las siguientes funciones: f1 ( x1 , x2 )  3x1 x2  7 x1  2 x2  3  0

f 2 ( x1 , x2 )  5x1 x2  9 x1  4 x2  6  0  f1   x1 f ( x1 , x 2 )   f  1  x 2 x k 1

 3x  7  x k   2  3x1  2

f 2   x1   3 x 2  7  f 2   3 x1  2  x 2  5 x2  9   5 x1  4 

Suponemos como punto inicial

T

5x2  9   5 x1  4 

 3x1 x 2  7 x1  2 x  3     5 x1 x 2  9 x1  4 x 2  6 

1  x0     2

 3x  7 x1  x0   2  3x1  2

5x2  9   5 x1  4 

T

 3x1 x 2  7 x1  2 x  3  1  13 1          5 x1 x 2  9 x1  4 x 2  6   2   5 1

T

14    1.375        1  5.375 

Después de 8 iteraciones el punto toma el valor aproximado de 0  x8    1.5  Y las funciones toman el valor (0) Ejemplos Del Método de Newton Resolver la siguiente función f ( x, y )  ( x  2) 2  ( y  1) 2

 2( xk  2)   f ( xk , y k )    2( y k  1) 

 2 0   2 f ( xk , y k )    0 2

 2 f ( x k ) p k   f ( x k )

Tomaremos co0mo punto inicial

x k  (0,0)

Dirección de movimiento p k  ( 2,1) T

 2   p k    2 Calculamos  k

  4  0.5    4   2             2   0.5   2  1 

min F ( )  (2  2) 2  (  1) 2  5 2  10  5 

F´(  )=0 10  -10=0  =1 El Siguiente punto x k 1  x k   k p k  (2,1) La dirección de Movimiento p k  (0,0) Se ha llegado al optimo ya que el gradiente es (0) Método de Programación Cuadrática

La programación cuadrática (QP) es un tipo especial en la matemática de optimización de problemas. Es el problema de optimizar (reduciendo al mínimo o maximizando) una función cuadrática de varias variables conforme a apremios lineales en estas variables.

El problema de la programación cuadrática se puede formular como: Asuma x pertenece a espacio. n×n matriz Q es simétrico, y c es cualquiera n vector ×1. Reduzca al mínimo (con respecto a x) Conforme a unos o más apremios de la forma: (constreñimiento de la desigualdad) Ex = d (constreñimiento de la igualdad) Si Q es a matriz semidefinite positiva, entonces f(x) es función convexa. En este caso el programa cuadrático tiene un minimizer global si existe por lo menos un vector x de satisfacción de los apremios y f(x) se limita abajo en la región factible. Si la matriz Q es definido positivo entonces este minimizer global es único. Si Q es cero, después el problema se convierte en a programa lineal. De teoría de la optimización, una condición necesaria para un punto x ser un minimizer global está para que satisfaga Karush-KuhnTucker Condiciones (KKT). Las condiciones de KKT son también suficientes cuando f(x) es convexo. La importancia de la programación cuadrática recae en que, como es un caso especial de la programación no lineal, se utiliza como una función modelo para aproximar funciones no lineales a través de modelos locales. La programación cuadrática trabaja con una clase especial de problemas en el que una función cuadrática de variables de decisión sujeta a restricciones lineales de desigualdad requiere ser optimizada, bien sea, ser minimizada o maximizada. Una función cuadrática, en notación matricial, es una función de la forma f (x)= ½ xT Qx + cT x. Es de gran importancia identificar o poder definir la característica de la matriz Hessiana, ya que a partir de ésta podemos determinar ciertas características del problema, que nos serán útiles para encontrar su solución. Existen diferentes tipos de problemas de programación cuadrática, los cuales se pueden clasificar en: Problemas cuadráticos de minimización sin restricciones, requieren minimizar la función cuadrática f (x) sobre el espacio completo. Problemas cuadráticos de minimización sujetos a restricciones de igualdad, requieren minimizar la función objetivo f (x) sujeta a restricciones lineales de igualdad Ax = b.

Problemas cuadráticos de minimización sujetos a restricciones lineales de desigualdad. Requieren minimizar la función objetivo f (x) sujeta a restricciones lineales de desigualdad Ax = b, también puede contener restricciones de igualdad. Problemas de optimización de redes cuadráticas. Son problemas cuadráticos en los que las restricciones son restricciones de baja conservación sobre una red pura o generalizada. Problemas cuadráticos convexos. Son cualesquiera de los mencionados arriba, en el cual la función objetivo a ser minimizada, f (x) es convexa. Problemas cuadráticos no convexos. Son cualesquiera de los mencionados arriba, en el cual la función objetivo a ser minimizada, f (x) es no convexa. Problemas de complementariedad lineal. Son problemas especiales con un sistema de ecuaciones en variables no negativas, en el cual las variables están formadas en varios pares llamados pares complementarios. Historicamente, las funciones cuadráticas fueron prominentes porque proveían modelos locales simples para funciones no lineales generales. Una función cuadrática, es la función no lineal más simple, y cuando es usada como una aproximación para una función no lineal general, esta puede capturar la información importante de la curvatura, lo que una aproximación lineal no puede. El uso de aproximaciones cuadráticas para resolver problemas con funciones no lineales generales se remonta mucho tiempo atrás. Entre los métodos más destacados, tenemos al método de Newton y el método de gradiente conjugado. Para la programación cuadrática se pueden encontrar mínimos locales, mínimos globales, puntos estacionarios o de KKT, (son los que satisfacen las condiciones de KKT del problema). En problemas convexos de programación cuadrática, todo punto KKT o mínimo local, es un mínimo global. -

Ejemplo de su aplicación.

Resolver el siguiente problema de programación cuadrática por el método de Wolfe :

Aplicando los multiplicadores de Lagrange tenemos:

Las primeras derivadas parciales son:

El problema de programación lineal equivalente al original de acuerdo al método Wolfe es:

Con las siguientes restricciones de holgura complementaria:

Utilizando el método Simplex se tiene que la solución básica inicial es:

En la primera iteración entra y sale X1 ( es de aclarar que aunque el Simplex escoge 1 y 2 para entrar a la base antes que lo haga X2, 1 y 2 no son aceptables, ya que Y1 y Y2 son positivos). El punto extremo luego de recalcular es:

En la tercera iteración no pueden entrar a la base 1 y 2 y Y1 y Y2 son positivas; el Simplex toma como siguiente candidato a 1 y de salida Y1 ; el punto extremo después de iterar es:

En la última iteración (V1 = 0 y V2 = 0) debe entrar X1 pero no puede porque 1 es positivo; el siguiente elemento a entrar a la base es 1 el cual reemplaza a V2 Luego De recalcular ( pivotear) el punto extremo es:

La solución anterior corresponde al óptimo: