Определение 2.1.6. Глобальный минимум

Очевидно, что для одноэкстремальной функции точка ее локального минимума одновременно является и точкой ее глобального минимума.
Для многоэкстремальной функции точка глобального минимума функции совпадает с точкой (точками) того локального минимума, в которой функция достигает наименьшего значения.

Точка глобального минимума функции f(x), очевидно, является оптимальным решением задачи (2.1.1). Однако, как и в случае одномерной оптимизации, практически все используемые методы многомерной оптимизации ориентированы на поиск только одного минимума функции, в общем случае являющегося локальным, поскольку отыскание глобального минимума для многоэкстремальных функций чрезвычайно затруднено и требует просмотра всех ее локальных экстремумов. Поэтому в дальнейшем будем считать, что построение оптимального решения задачи (2.1.1) аналогично нахождению локального минимума функции f(x).

Сформулируем теперь необходимые и достаточные условия наличия локального экстремума дифференцируемой функции f(x) в точке x Î E_n. Предположим, что скалярная функция f(x) и ее частные производные до второго порядка включительно определены и непрерывны для любых x Î E_n. Как известно, функция f(x) может иметь экстремум лишь в тех точках, в которых все ее частные производные первого порядка равны нулю или терпят разрыв. Последнее в силу предположения о непрерывности функции и ее частных производных исключается из рассмотрения, что позволяет на данном этапе не усложнять изложение материала.

Введем вектор градиента функции f(x)

Ñf(x) = (¶ f(x)/¶ x₁, ¶ f(x)/¶ x₂, …, ¶ f(x)/¶ x_n)^т.

Тогда функция может иметь минимум только в точках x^*Î E_n, где Ñf(x^*) = 0. Такие точки называют стационарными.

Условие Ñf(x^*) = 0 является необходимым условием экстремума.
В стационарных точках функция может иметь минимум, максимум, седловую точку или не иметь ни того, ни другого.

Достаточным условием наличия в стационарной точке x^* локального минимума функции f(x) является положительная определенность матрицы Гессе для данной функции в этой точке. Матрица Гессе для функции
n-переменных – квадратная матрица, составленная из частных производных второго порядка данной функции. Матрица Гессе H(x^*) будет положительно определенной в точке x^*, если для любого ненулевого вектора x Î E_n выполняется условие

x^тH(x^*)x > 0.

Таким образом, для того чтобы точка x^* Î E_n, в которой выполнено условие Ñf(x^*) = 0, являлась точкой минимума дважды непрерывно диф-ференцируемой функции f(x), достаточно выполнения в этой точке условия x^тH(x^*)x > 0. При этом условие Ñf(x^*) = 0 – необходимое, а x^тH(x^*)x > 0 – достаточное условие существования в точке x^* Î E_n минимума функции f(x). В общем случае минимум может встречаться в точках, в которых сформулированные условия не выполняются, например в точках разрыва частных производной или самой функции, т. е. в тех точках, которые были исключены из предыдущего анализа. Однако если сформулированные необходимые и достаточные условия выполнены, то точка x^* Î E_n является точкой локального минимума.

Многие известные методы решения задачи (2.1.1) используют необходимые условия экстремума в том смысле, что они ориентированы на поиск решения уравнения

Ñf(x) = 0,

т. е. на поиск стационарных точек минимизируемой функции.

Рассматриваемые в данном пособии методы многомерной минимизации, как и методы одномерной минимизации, можно классифицировать по признаку использования частных производных минимизируемой функции следующим образом:

– методы нулевого порядка – их реализация не требует вычисления частных производных функции f(x);

– методы первого порядка – их реализация требует вычисления частных производных первого порядка функции f(x);

– методы второго порядка – их реализация требует вычисления
частных производных второго порядка функции f(x).