Метод градиентного спуска.

В случае функций нескольких переменных одним из наиболее простых численных методов отыскания экстремума является метод градиентного спуска. Из курса математического анализа известно, что градиент функции равен и направлен в сторону наискорейшего возрастания функции. Следовательно, при поиске минимума рационально двигаться в направлении, противоположном градиенту.

Пусть начальное приближение минимума, последующее приближение находим по формуле

, (1)

где находится из условия минимизации зависящей от функции

.

Данную формулу используют итерационно до тех пор, пока не будет достигнута требуемая точность. При этом могут быть использованы критерии останова итераций, рассмотренные в методе координатного спуска.

Пример.

Найти минимум функции методом градиентного спуска, приняв за начальное приближение точку .

Находим градиент функции

Определяем минимум функции

пользуясь численным методом поиска экстремума функций одного переменного. В результате имеем . По формуле (1) вычисляем приближение

.

Точка является приближенным решением задачи, более точным чем заданное начальное приближение . Если точку взять за начальное приближение, то аналогично получим точку еще ближе отстоящую от точки минимума и так далее.