Метод максимального правдоподобия

Для его применения должен быть известен вид закона распределения вероятностей имеющихся выборочных данных.

Полагая выполнение предпосылки, приведенных в разделе 4 регрессионного анализа, т. е. нормальную классическую регрессионную модель (1), будем рассматривать значения как независимые нормально распределенные случайные величины с математическим ожиданием , являющимся функцией от , и постоянной дисперсией .

Следовательно, плотность нормально распределенной случайной величины

.

Функция правдоподобия, выражающая плотностьвероятности совместного появления результатов выборки, имеет вид

.

Согласно методу максимального правдоподобия в качестве оценок параметров и принимаются такие значения и , которые максимизируют функцию правдоподобия L.

Очевидно, что при заданных значениях объясняющей переменной и постоянной дисперсии функция правдоподобия L достигает максимума, когда показатель степени при е будет минимальным по абсолютной величине.

,

т. е. решение задачи сводится к применению МНК.

Метод наименьших квадратов применим также для синтеза нелинейных по переменным входа регрессионных моделей.