Condiciones suficientes y necesarias para Global Optima
Teorema
Sea f una función dos veces diferenciable. Si $ \ bar {x} $ es un mínimo local, entonces $ \ bigtriangledown f \ left (\ bar {x} \ right) = 0 $ y la matriz de Hesse $ H \ left (\ bar {x} \ right) $ es un semidefinito positivo.
Prueba
Sea $ d \ in \ mathbb {R} ^ n $. Dado que f es dos veces diferenciable en $ \ bar {x} $.
Por lo tanto,
$ f \ left (\ bar {x} + \ lambda d \ right) = f \ left (\ bar {x} \ right) + \ lambda \ bigtriangledown f \ left (\ bar {x} \ right) ^ T d + \ lambda ^ 2d ^ TH \ left (\ bar {x} \ right) d + \ lambda ^ 2d ^ TH \ left (\ bar {x} \ right) d + $
$ \ lambda ^ 2 \ left \ | d \ right \ | ^ 2 \ beta \ left (\ bar {x}, \ lambda d \ right) $
Pero $ \ bigtriangledown f \ left (\ bar {x} \ right) = 0 $ y $ \ beta \ left (\ bar {x}, \ lambda d \ right) \ rightarrow 0 $ como $ \ lambda \ rightarrow 0 $
$ \ Rightarrow f \ left (\ bar {x} + \ lambda d \ right) -f \ left (\ bar {x} \ right) = \ lambda ^ 2d ^ TH \ left (\ bar {x} \ right) d $
Ya que $ \ bar {x} $ es un mínimo local, existe un $ \ delta> 0 $ tal que $ f \ left (x \ right) \ leq f \ left (\ bar {x} + \ lambda d \ right ), \ forall \ lambda \ in \ left (0, \ delta \ right) $
Teorema
Sea $ f: S \ rightarrow \ mathbb {R} ^ n $ donde $ S \ subset \ mathbb {R} ^ n $ sea dos veces diferenciable sobre S. Si $ \ bigtriangledown f \ left (x \ right) = 0 $ y $ H \ left (\ bar {x} \ right) $ es semi-definido positivo, para todo $ x \ en S $, entonces $ \ bar {x} $ es una solución óptima global.
Prueba
Dado que $ H \ left (\ bar {x} \ right) $ es semidefinida positiva, f es una función convexa sobre S. Dado que f es diferenciable y convexa en $ \ bar {x} $
$ \ bigtriangledown f \ left (\ bar {x} \ right) ^ T \ left (x- \ bar {x} \ right) \ leq f \ left (x \ right) -f \ left (\ bar {x} \ right), \ forall x \ in S $
Dado que $ \ bigtriangledown f \ left (\ bar {x} \ right) = 0, f \ left (x \ right) \ geq f \ left (\ bar {x} \ right) $
Por tanto, $ \ bar {x} $ es un óptimo global.
Teorema
Suponga que $ \ bar {x} \ in S $ es una solución local óptima al problema $ f: S \ rightarrow \ mathbb {R} $ donde S es un subconjunto no vacío de $ \ mathbb {R} ^ n $ y S es convexo. $ min \: f \ left (x \ right) $ donde $ x \ en S $.
Luego:
$ \ bar {x} $ es una solución óptima global.
Si $ \ bar {x} $ es estrictamente un mínimo local o f es una función estrictamente convexa, entonces $ \ bar {x} $ es la única solución óptima global y también es un fuerte mínimo local.
Prueba
Sea $ \ bar {x} $ otra solución óptima global al problema, tal que $ x \ neq \ bar {x} $ y $ f \ left (\ bar {x} \ right) = f \ left (\ hat { x} \ derecha) $
Como $ \ hat {x}, \ bar {x} \ en S $ y S es convexo, entonces $ \ frac {\ hat {x} + \ bar {x}} {2} \ en S $ yf es estrictamente convexo.
$ \ Rightarrow f \ left (\ frac {\ hat {x} + \ bar {x}} {2} \ right) <\ frac {1} {2} f \ left (\ bar {x} \ right) + \ frac {1} {2} f \ left (\ hat {x} \ right) = f \ left (\ hat {x} \ right) $
Eso es una contradicción.
Por tanto, $ \ hat {x} $ es una solución óptima global única.
Corolario
Sea $ f: S \ subset \ mathbb {R} ^ n \ rightarrow \ mathbb {R} $ una función convexa diferenciable donde $ \ phi \ neq S \ subset \ mathbb {R} ^ n $ es un conjunto convexo. Considere el problema $ min f \ left (x \ right), x \ in S $, entonces $ \ bar {x} $ es una solución óptima si $ \ bigtriangledown f \ left (\ bar {x} \ right) ^ T \ left (x- \ bar {x} \ right) \ geq 0, \ forall x \ in S. $
Prueba
Sea $ \ bar {x} $ una solución óptima, es decir, $ f \ left (\ bar {x} \ right) \ leq f \ left (x \ right), \ forall x \ in S $
$ \ Rightarrow f \ left (x \ right) = f \ left (\ bar {x} \ right) \ geq 0 $
$ f \ left (x \ right) = f \ left (\ bar {x} \ right) + \ bigtriangledown f \ left (\ bar {x} \ right) ^ T \ left (x- \ bar {x} \ derecha) + \ izquierda \ | x- \ bar {x} \ right \ | \ alpha \ left (\ bar {x}, x- \ bar {x} \ right) $
donde $ \ alpha \ left (\ bar {x}, x- \ bar {x} \ right) \ rightarrow 0 $ as $ x \ rightarrow \ bar {x} $
$ \ Rightarrow f \ left (x \ right) -f \ left (\ bar {x} \ right) = \ bigtriangledown f \ left (\ bar {x} \ right) ^ T \ left (x- \ bar {x } \ right) \ geq 0 $
Corolario
Sea f una función convexa diferenciable en $ \ bar {x} $, entonces $ \ bar {x} $ es el mínimo global sif $ \ bigtriangledown f \ left (\ bar {x} \ right) = 0 $
Ejemplos
$ f \ left (x \ right) = \ left (x ^ 2-1 \ right) ^ {3}, x \ in \ mathbb {R} $.
$ \ bigtriangledown f \ left (x \ right) = 0 \ Rightarrow x = -1,0,1 $.
$ \ bigtriangledown ^ 2f \ left (\ pm 1 \ right) = 0, \ bigtriangledown ^ 2 f \ left (0 \ right) = 6> 0 $.
$ f \ left (\ pm 1 \ right) = 0, f \ left (0 \ right) = - 1 $
Por lo tanto, $ f \ left (x \ right) \ geq -1 = f \ left (0 \ right) \ Rightarrow f \ left (0 \ right) \ leq f \ left (x \ right) \ forall x \ in \ mathbb {R} $
$ f \ left (x \ right) = x \ log x $ definido en $ S = \ left \ {x \ in \ mathbb {R}, x> 0 \ right \} $.
$ {f} 'x = 1 + \ log x $
$ {f} '' x = \ frac {1} {x}> 0 $
Por tanto, esta función es estrictamente convexa.
$ f \ left (x \ right) = e ^ {x}, x \ in \ mathbb {R} $ es estrictamente convexo.