Метод наименьших квадратов

Предположим, что между независимой переменной x и зависимой переменной y имеется некая неизвестная функциональная связь у = f(x). Эта связь отображается таблицей

приближенных значений y_i » f(x_i), получаемых в ходе наблюдений или экспериментов. Требуется дать приближенное аналитическое описание этой связи, т. е. подобрать функцию j(x) такую, которая аппроксимировала бы на отрезке [x₀, x_n] заданную отдельными приближенными значениями y_i функцию f(x).

Для решения этой задачи заведомо неудачным является интерполяционный подход хотя бы потому, что функция j(x) такая, что j(x_i) = y_i при всех i Î {0, 1, …, n}, будет мало похожа на искомую f(x), поскольку в ней отразятся все ошибки экспериментальных данных. Уже это заставляет отказаться от идеи интерполяции и находить функцию j(x) такую, чтобы она хорошо отражала «в среднем» зависимость между x и у.

Конкретнее, из каких-либо соображений (аналитических, графических или иных) аппроксимирующая f(x) функция j(x) берется из определенного m-параметрического семейства функций, и ее параметры подбираются так, чтобы сумма квадратов отклонений вычисляемых значений j(x_i) от заданных приближенных значений y_i была минимальной. Такая функция (т. е. при таком оптимальном наборе параметров) будет наилучшей аппроксимацией f(x) среди функций выбранного семейства в смысле метода наименьших квадратов. Ясно, что число данных приближенных значений y_i в таблице должно быть не меньшим, чем число параметров в подбираемой зависимости j(x); как правило, считается, что n >> m.

Итак, согласно МНК, задаем семейство

у = j(x, a₁, a₂, …, a_m)

и ищем значения параметров a₁, a₂, …, a_m (где m £ n – 1), решая экстремальную задачу

.

Оптимальный набор параметров a₁*, a₂*, … a_m* может быть найден из системы

(1)

представляющей необходимые условия экстремума функции j(x, a₁, a₂, …,a_m), в силу ее специфики, являющиеся и достаточными условиями ее минимума.

Если функция j(x, a₁, a₂, …, a_m) есть линейная функция относительно своих параметров a₁, a₂, …, a_m, то система (1) тоже будет линейной; в общем случае (1) — нелинейная система, что влечет за собой определенные трудности при ее решении. Спасительным в последней ситуации является тот факт, что обычно при задании семейств функций, аппроксимирующих реальные зависимости, число параметров берется небольшим (2-3), причем какие-то из этих параметров могут входить линейным образом.

В зависимости от характера табличных данных, изучаемого с помощью их изображения в соответствующей системе координат или с помощью некоторых прикидочных расчетов, при обработке результатов экспериментов часто используют те или иные из следующих двухпараметрических семейств функций:

y = ax + b, y = a + b ln x (y = a + b lg x), y = ax^b, y = ae^bx (у = а×10^bx),

, , ;

реже применяются трехпараметрические семейства

у = ax² + bx + c, у = ax^b + с, y = ae^bx + c (у = а×10^bx + с);

при изучении периодических явлений применяют тригонометрические функции.

В качестве примера рассмотрим ситуацию, когда есть основания считать, что значения x_i и соответствующие им приближенные значения y_i отражают некую линейную зависимость. Тогда, полагая

j(x, a, b) = ax + b,

находим , , и для вычисления параметров этой функции φ составляем систему типа (1):

Упрощая ее, приходим к стандартной СЛАУ

(2)

с симметричной квадратной матрицей коэффициентов и заведомо однозначным решением (а; b).

Заметим, что вместо того, чтобы решать нелинейные системы, получающиеся из (1) при поиске параметров конкретных семейств функций, когда эти параметры входят туда нелинейным образом, можно попытаться сначала линеаризовать подбираемую зависимость.

Пусть, например, в качестве аппроксимирующей f(x) функции берется экспоненциальная функция

Ф(x, а, b) = ae^bx. (3)

Найдя ее частные производные

, ,

видим, что подстановка этой функции и ее производных по параметрам в (1) приведет к нелинейной относительно параметра b системе. Чтобы не решать нелинейных уравнений, поступим так. Прологарифмируем равенство ae^bx = y, получив при этом

ln a + bx = ln у,

введем новый параметр A = ln а и пересчитаем данную таблицу, переведя значения y_i в Y_i = ln y_i. По таблице

методом наименьших квадратов находим оптимальные параметры A* и b* линейной функции Υ = A + bx (полагая j₁(x, А, b) = А + bx, пользуемся системой (2), считая там a = b, a b = А). После этого вычисляем оптимальное значение a* = e^A* параметра a исходной зависимости (3) и записываем итоговый результат

f(x) » a*e^b*x.