Регрессионные и авторегрессионные модели

СИНТЕЗ РЕГРЕССИОННЫХ МОДЕЛЕЙ

Основные понятия и определения

Регрессионный анализ относят к классическим статистическим методам. Благодаря своим широким возможностям различные регрессионные процедуры давно и успешно используются в инженерной практике для идентификации процессов, однако их применение к идентификации многомерных процессов в реальном масштабе времени стало возможным только с развитием и внедрением быстродействующих компьютеров.

Методы идентификации, основанные на регрессионных процедурах с использованием метода наименьших квадратов, применимы как к линейным, так и к нелинейным процессам и облегчают проведение идентификации по нескольким входам одновременно. Более того, регрессионные методы позволяют осуществлять идентификацию в реальном масштабе времени, поскольку они основаны на измерениях входных и выходных сигналов, которые можно получить в процессе нормального функционирования системы.

Термин "регрессия" был введён Френсисом Гальтоном в конце 19-го века. Гальтон обнаружил, что дети родителей с высоким или низким ростом обычно не наследуют выдающийся рост и назвал этот феномен "регрессия к посредственности". Сначала этот термин использовался исключительно в биологическом смысле. После работ Карла Пирсона этот термин стали использовать и в статистике.

В статистической литературе различают регрессию с участием одной свободной переменной (входом системы) и с несколькими свободными переменными (вектор входа) — парную и многомерную регрессию. Различают линейную и нелинейную регрессию. Если регрессионную модель не является линейной комбинацией функций от параметров, то говорят о нелинейной регрессии. При этом модель может быть произвольной суперпозицией функций из некоторого набора. Нелинейными моделями являются, экспоненциальные, тригонометрические и другие, полагающие зависимость между параметрами и зависимой переменной нелинейной.

Различают параметрическую и непараметрическую регрессию. Строгую границу между этими двумя типами регрессий провести сложно. Сейчас не существует общепринятого критерия отличия одного типа моделей от другого. Например, считается, что линейные модели являются параметрическими, а модели, включающие усреднение зависимой переменной по пространству свободной переменной —непараметрическими. Пример параметрической регрессионной модели: линейный предиктор, многослойный персептрон. Примеры смешанной регрессионной модели: функции радиального базиса. Непараметрическая модель — скользящее усреднение в окне некоторой ширины. В целом, непараметрическая регрессия отличается от параметрической тем, что зависимая переменная зависит не от одного значения свободной переменной, а от некоторой заданной окрестности этого значения.

Регрессия — зависимость математического ожидания (например, среднего значения) случайной величины от одной или нескольких других случайных величин (свободных переменных), то есть , где — знак математического ожидания.

Регрессионный анализ сводится к поиску такой функции , которая описывает эту зависимость. Регрессия может быть представлена в виде суммы неслучайной и случайной составляющих

где — функция регрессионной зависимости, а e — аддитивная случайная величина. Предположение о характере распределения этой величины называется гипотезой порождения данных. Обычно предполагается, что величина e имеет гауссово распределение с нулевым средним и дисперсией .

Регрессионные и авторегрессионные модели

Для описания систем могут применяться статические (описываются системой алгебраических уравнений) и динамические регрессионные уравнения.

Для системы с одним выходом регрессионное линейное относительно параметров уравнение имеет вид (Р-модель)

, (1)

где — вектор параметров, — вектор входа, — дискретное время.

Из (1) при получаем парную регрессию, при (1) описывает множественную регрессию.

Для описания динамических процессов применяется обобщение (1), имеющее АР часть

. (2)

(1) и (2) могут содержать некоторые нелинейные составляющие и им соответствует нелинейная регрессия.