Метод координатного спуска.

Существует приближенная точка минимума. Минимизируя функцию по направлению к х1, на прямой используется любой метод одномерной минимизируют, х2 – фиксируют. Далее выполняют одномерную оптимизацию по х2, фиксируя х1.

Этот процесс повторяют до тех пор пока следующая точка не окажется близка к точке приближения.

Градиентные методы.

Метод наискорейшего спуска.

Рассмотрим grad целевой функции.

Движение по направлению вектора под острым углом будет приводить к уменьшению целевой функции, а движение против направления функции к увеличению целевой функции. Разумно за направление движения принять сам вектор – grad f.

Для выбора расстояния нужно применить метод одномерной оптимизации. Прекратить поиск, когда величина grad f станет достаточно малой. Этот метод гарантирует, что найдена либо точка локального минимума, либо седловая точка.

Анализ метода.

В случае когда масштаб выбирается следующим образом (линии уровня вытянуты).

Траектория

Если линии уровня - окружности, то приходим сразу в точку локального минимума.

Метод Ньютона.

1. - один постоянный член любой точки данной функции является оптимальным – тривиальный случай;
2. линейная функция (двучлен)

(возможно бесконечное уменьшение и увеличение)