Оценка параметров линейной регрессии
Установим некоторые свойства параметров (8.2.8) и (8.2.9), полученных методом наименьших квадратов:
A) линейная зависимость и от наблюдаемых значений показателя ;
B) и являются несмещенными оценками истинных параметров и (в соотношении );
C) и являются наилучшими линейными несмещенными оценками и .
Эти свойства показывают состоятельность найденных оценок и не требуют дополнительных комментариев. Заметим только, что параметры и можно рассматривать как случайные величины, считая наблюдаемые значения , , фиксированными, т.е. одинаковыми во всех выборках. В этом случае величина будет меняться от выборки к выборке в силу различий в значениях переменной (см. (8.2.3) ), которые подчиняются вероятностному распределению. Применяя формулы (8.2.8) и (8.2.9) для и к каждому множеству выборочных наблюдений , образуем последовательность оценок . Используя распределения величин и , можно вычислить средние значения , и дисперсии, где и являются несмещенными оценками параметров и , если , .
Относительно случайной величины в (8.2.3) будем предполагать, что
a) среднее значение случайной величины равно нулю;
b) дисперсия случайной величины постоянна и не зависит от ;
c) ковариация различных значений равна нулю.
Условие 1) говорит о том, что для фиксированного значения X возможные значения группируются вокруг центрального значения , каким является ее среднее значение (см. Пример 8.2); условие 2) говорит об одинаковых распределениях вероятностей величины для разных значений , например, дисперсия не возрастает с ростом значений ; условие 3) означает, что любое значение , положительное или отрицательное, никаким образом не влияет на значения и в этом случае точки выборки более или менее тесно группируются вокруг прямой линии
Проверим выполнение свойства A). Перепишем соотношение (8.2.8) в виде:
.
Покажем, что Действительно,
Поэтому
Обозначим
Тогда можно написать линейную зависимость от :
. (8.3.1)
Непосредственно убеждаемся, что
Используя (8.3.1) , из (8.2.9) получаем:
т.е. действительно является линейной функцией от .
Проверим выполнение свойства B). Из (8.2.3) находим
Используя формулу (8.3.1) и свойства , получим
Вычислим среднее значение :
Согласно условию a) Поэтому т.е. есть несмещенная оценка параметра . Параметр можно представить следующим образом:
Применяя операцию получения математического ожидания и пользуясь условием a), находим: т.е. также является несмещенной оценкой параметра .
Докажем свойство С. Составим оптимизационную задачу для получения наилучших линейных несмещенных оценок и покажем, что оценки наименьших квадратов совпадают с решением этой задачи. Покажем это для параметра , (для аналогично).
Из всех несмещенных оценок вида
параметра наилучшей будет та, у которой дисперсия минимальна. Пользуясь выборочными данными, запишем:
Вычислим математическое ожидание:
(здесь использовано условие a)). Следовательно, будет несмещенной оценкой тогда и только тогда, когда
. (8.3.2)
При выполнении этих условий вычислим дисперсию :
(здесь имеется в виду независимость случайных величин по свойству c)). Используя свойство b), имеем
,
где - среднеквадратическое отклонение случайных величин , одинаковое для всех . Составим оптимизационную задачу:
Так как множество несмещенных оценок сопряжено с множеством весов , удовлетворяющих условиям (8.3.2) , и с учетом того, что
задача эквивалентным образом запишется в виде
при ограничениях
Для решения этой задачи введем множители и и составим функцию Лагранжа
Необходимые условия оптимальности (см. (2.3.9)), состоящие из условий стационарности и допустимости, после некоторых преобразований имеют вид:
Просуммировав первое уравнение по , получим равенство которое подставим в первое уравнение:
Умножив это уравнение на , просуммировав по и воспользовавшись третьим уравнением, получим
Таким образом,
и, следовательно,
Тем самым показано, что веса равны весам в оценке , полученной методом наименьших квадратов (см. (8.3.1)), и поэтому будет наилучшей линейной несмещенной оценкой параметра . Аналогично доказывается этот факт для оценки .
Таким образом, если
где ошибки удовлетворяют условиям a), b), c), а - фиксированные константы, то оценки наименьших квадратов
являются наилучшими линейными несмещенными оценками параметров и , а их дисперсии равны:
(8.3.3)
(8.3.4)
где - одинаковое для всех среднеквадратическое отклонение.
Заметим, что при более детальном анализе оценок и исследуют еще и их «максимальное правдоподобие». Однако изучение этого свойства требует введения ряда новых достаточно сложных понятий. То же самое относится и к обобщению рассмотренного регрессионного анализа в двух направлениях: во-первых, нелинейного регрессионного анализа - когда корреляционная зависимость между и нелинейна; во-вторых, многомерного регрессионного анализа - когда зависит от многих объясняющих переменных .
Дата добавления: 2016-07-27; просмотров: 2066;