Регрессионный анализ: определение, уравнение регрессии, факторы, параметры, отклик. Метод наименьших квадратов. Решение уравнения МНК в матричной форме.

Регрессионный анализ – статистический метод исследования или влияния от одной или нескольких зависимых переменных на зависимую переменную.

Уравнение регрессии представляет собой бесконечный ряд:

y = a₀ + a₁x₁ + a₂x²₁ + a₃x₁x₂ + …

(y – отклик (зависимая переменная), x – факторы, a – параметры регрессии)

Поиск линии регрессии осуществляется с использованием метода наименьших квадратов, когда минимизируется остаточная сумма квадратов (S):

S = (N – объём выборки, y_i – экспериментальное значение отклика, y_{i ср.} – расчётное значение).

Если S → min, то:

Параметру a₀ добавим фактор x₀, равный во всех случаях 1:

Дифференцируем остаточную сумму квадратов по a₀:

Разделяем переменные:

Дифференцируя аналогичным образом S по a₁ и a₂, получаем:

В итоге получаем три уравнения с тремя неизвестными коэффициентами регрессии. Данную систему уравнений удобнее решать в матричном виде. Для этого введём матрицу X, представляющую собой вектор-строку:

И матрицу, представляющую собой транспонированную матрицу X:

– матрица, похожая на правую часть полученной системы уравнений. Такую матрицу называют информационной.

Чтобы в информационной матрице появились коэффициенты a, умножим её на вектор-столбец A:

Чтобы получить левую часть системы уравнений, вводим матрицу Y, содержащую значения откликов:

Тогда:

Отсюда получим основное уравнение метода наименьших квадратов для системы из N факторов:

Выразим из него искомую матрицу параметров: