Двух шаговый метод наименьших квадратов

1. Исходные (неочищенные) регрессоры x_j аппроксимируются методом линейных уравнений регрессии от выбранных инструментальных переменных {Z_k}, .

(6.6)

Получаем m ЛУМР, причем, независимых друг от друга (метод наименьших квадратов применяется m - раз). Для этого используется классический метод наименьших квадратов. Здесь { } - матрица искомых коэффициентов; j - номер строки этой матрицы, равный номеру исходного регрессора x_j; k – номер члена в ЛУМР, равный номеру инструментальной переменной Z_k. Классический метод наименьших квадратов используется поочередно для каждого x_j .

Замечание. В силу некоррелированности инструмент. переменная Z_k с остатками E эти оценки получаются состоятельными метода наименьших квадратов.

(6.7)

(6.8)

N – число опытов; i – номер опыта;

Z – матрица планирования эксперимента, где базисные функции – линейные функции от Z_k.

Замечание: переменные не коррелируют с ошибками регрессии , поскольку они выражаются в виде линейной комбинации некоррелирующих с E переменных {Z_k}.

2. Будем рассматривать { } как новые инструментальные переменные для Y и аппроксимируем Y через них.

(6.8)

Вектор коэффициентов для каждой фиксированной компоненты оцениваем снова с помощью классического метода наименьших квадратов:

(6.9)

Всего получается таких l формул метода наименьших квадратов вида (6.9); т.е. ; где q - число исходных результативных переменных.

3. Поскольку все преобразования линейны, то подставляя (6.8) в (6.9) получим выражение оценки двухшагового метода наименьших квадратов через исходные (а значит экономически интерпретируемые) инструменты переменной Z_j

(6.10 )

Оценки [b_jq]состоятельные

Замечание: Для нелинейного МУР применимость 2х – шаговой процедуры сохраняется, однако связь с получается уже численная.

Вывод:Нужно сделать преобразования переменных перед применением 2х шагов метода наименьших квадратов

Пример:

Вводим

(6.11)

Далее 2х –шаговую процедуру можно применять по стандартной схеме к (6.11)

Второй способ для систем одновременных уравнений (СОУ). Построить НСМ с числом нейронов в выходном слое, равном числу компонентов вектора