Метод покоординатного спуска или Метод Гаусса – Зейделя

min F(X);

X₀?XП

Минимум целевой функции в области протяжения.

Х₀ – начальная точка поиска.

В методе Гаусса – Зейделя поиск совершают в направлении координатных осей.

h_нач – начальная величина шага поиска.

Для поиска минимума используются методы одномерной оптимизации.

Метод случайного поиска

Направление поиска выбирается случайно, путём выбора n случайных чисел, равномерно распределённых на отрезке [-1;1) из генератора случайных чисел, который есть в каждой ЭВМ.

n – число управляемых параметров.

Метод градиента

grad F(X) = (∂F/∂x₁; ∂F/∂x₂; …; ∂F/∂x_n)

F(x₁; x₂)

Производные вычисляются численно, путём приращения управляемых параметров.

x₁ = x_1,0 + ∆x₁

∂F/ ∂x₁ = ∆F/∆x₁ ; ∆F = F(x₁₀ + ∆x₁) – F(x₁₀)

В каждой точке для нахождения производных необходимо n+1 вычислений F(X).

Метод наискорейшего спуска

Метод Ньютона

В основу метода положен одноимённый метод решения нелинейных алгебраических уравнений.

grad F(X) = 0;

Обозначим Ф(X) = ∂F(x)/∂x = 0

Применим к данной системе уравнений метод Ньютона.

Ф(X_k) + ∂F(X_k)/∂X ∆X ≈0,

где ∆Х – значение X_k+1 - X_k

X_k+1 = X_k – (∂Ф/∂X)^-1 * Ф(X_k)

X_k+1 = X_k – Ю_k^-1 grad F(X_k) - Формула Ньютона.

Если целевая функция является квадратичным многочленом по управляемым параметрам, то минимум находится за один шаг.

Недостатки метода:

1) Высокая трудоёмкость вычисления и обращения матрицы Гессе.

2) Не всегда имеет место сходимость решения.