Метод максимального правдоподобия

Метод предложен Р. Фишером в 1912 г. Метод основан на исследовании вероятности получения выборки наблюдений (x₁, x_2, …, x_n). Эта вероятность равна

f(х₁, Θ) f(х₂, Θ) … f(х_п, Θ) dx₁ dx₂ … dx_n.

Совместная плотность вероятности

L(х₁, х₂ …, х_n ; Θ) = f(х₁, Θ) f(х₂, Θ) … f(х_n, Θ), (2.7)

рассматриваемая как функция параметра Θ, называется функцией правдоподобия.

В качестве оценки Θ* параметра Θ следует взять то значение, которое обращает функцию правдоподобия в максимум. Для нахождения оценки необходимо заменить в функции правдоподобия Т на q и решить уравнение

dL/dΘ* = 0.

Для упрощения вычислений переходят от функции правдоподобия к ее логарифму lnL. Такое преобразование допустимо, так как функция правдоподобия – положительная функция, и она достигает максимума в той же точке, что и ее логарифм. Если параметр распределения векторная величина

Θ* =(q₁, q₂, …, q_n),

то оценки максимального правдоподобия находят из системы уравнений

d ln L(q₁, q₂, …, q_n) /d q₁ = 0;

d ln L(q₁, q₂, …, q_n) /d q₂ = 0;

. . . . . . . . .

d ln L(q₁, q₂, …, q_n) /d q_n = 0.

Для проверки того, что точка оптимума соответствует максимуму функции правдоподобия, необходимо найти вторую производную от этой функции. И если вторая производная в точке оптимума отрицательна, то найденные значения параметров максимизируют функцию.

Итак, нахождение оценок максимального правдоподобия включает следующие этапы: построение функции правдоподобия (ее натурального логарифма); дифференцирование функции по искомым параметрам и составление системы уравнений; решение системы уравнений для нахождения оценок; определение второй производной функции, проверку ее знака в точке оптимума первой производной и формирование выводов.

Пример 2.3. Будем считать, что случайная величина Х имеет нормальное распределение. Необходимо найти оценки максимального правдоподобия параметров m и S этого распределения.

Решение. Функция правдоподобия для выборки ЭД объемом n

.

Логарифм функции правдоподобия

Система уравнений для нахождения оценок параметров

Из первого уравнения следует:

или окончательно

Таким образом, среднее арифметическое является оценкой максимального правдоподобия для математического ожидания.

Из второго уравнения можно найти

.

Эмпирическая дисперсия является смещенной. После устранения смещения

Фактические значения оценок параметров: m =27,51, s² = 0,91.

Для проверки того, что полученные оценки максимизируют значение функции правдоподобия, возьмем вторые производные

Вторые производные от функции ln(L(m,S)) независимо от значений параметров меньше нуля, следовательно, найденные значения параметров являются оценками максимального правдоподобия.

Метод максимального правдоподобия позволяет получить состоятельные, эффективные (если таковые существуют, то полученное решение даст эффективные оценки), достаточные, асимптотически нормально распределенные оценки. Этот метод может давать как смещенные, так и несмещенные оценки. Смещение удается устранить введением поправок. Метод особенно полезен при малых выборках.

Метод моментов

Метод предложен К. Пирсоном в 1894 г. Сущность метода:

· выбирается столько эмпирических моментов, сколько требуется оценить неизвестных параметров распределения. Желательно применять моменты младших порядков, так как погрешности вычисления оценок резко возрастают с увеличением порядка момента;

· вычисленные по ЭД оценки моментов приравниваются к теоретическим моментам;

· параметры распределения определяются через моменты, и составляются уравнения, выражающие зависимость параметров от моментов, в результате получается система уравнений. Решение этой системы дает оценки параметров распределения генеральной совокупности.

Пример 2.4. Предположим, что случайная величина Х имеет гамма-распределение. Необходимо найти оценки параметров этого распределения (можно отметить, что нормальное распределение является частным случаем гамма-распределения).

Решение. Функция плотности гамма-распределения имеет вид

Распределение характеризуется двумя параметрами ν и λ, поэтому следует выразить один параметр через оценку математического ожидания, а другой – через оценку дисперсии. Математическое ожидание и дисперсия этого распределения равны ν/λ и ν/λ ² соответственно. Пусть их оценки определены равны:

α₁= 27,51, μ₂ = 0,91.

Составим систему уравнений для оцениваемых параметров

Разделив оценку математического ожидания на оценку дисперсии, получим

λ =α₁/μ₂ =30,12,

Метод моментов позволяет получить состоятельные, достаточные оценки, они при довольно общих условиях распределены асимптотически нормально. Смещение удается устранить введением поправок. Эффективность оценок невысокая, т.е. даже при больших объемах выборок дисперсия оценок относительно велика (за исключением нормального распределения, для которого метод моментов дает эффективные оценки). В реализации метод моментов проще метода максимального правдоподобия. Напомним, что метод целесообразно применять для оценки не более чем четырех параметров, так как точность выборочных моментов резко падает с увеличением их порядка.

Метод квантилей

Сущность метода квантилей схожа с методом моментов: выбирается столько квантилей, сколько требуется оценить параметров; неизвестные теоретические квантили, выраженные через параметры распределения, приравниваются к эмпирическим квантилям. Решение полученной системы уравнений дает искомые оценки параметров.

Дисперсия D(x_G) выборочной квантили обратно пропорциональна квадрату плотности распределения

D(x_G)=[G(1–G)]/[nf ²(x_G)]

в окрестностях точки x_G. Поэтому следует выбирать квантили вблизи тех значений х, в которых плотность вероятности максимальна.

Пример 2.5. Оценить методом квантилей параметры нормального распределения случайной величины.

Решение. Так как требуется определить два параметра распределения m и S, то выберем из вариационного ряда две эмпирические квантили. Например, можно взять

G₁ =5/44 =0,114; х_G1 = 26,13;

G₂ =31/44=0,705; х_G2 = 28,01.

Используя стандартные функции математических пакетов, для выбранных значений G₁ и G₂ определим значения аргументов теоретической функции распределения для стандартизованной переменной

U_G1 = – 1, 207; U_G2 = 0,538.

Составим систему из двух уравнений

U_G1 =( х_G1 – m)/S;

U_G1 =( х_G2 – m)/S.

Решение системы позволит найти искомые оценки параметров

m =( U_G2 х_G1 – U_g1 х_G2)/( U_g2 – U_g1) = 27,42; S = (х_G1 – m)/U_g1 = 1,07.

Метод квантилей позволяет получить асимптотически нормальные оценки, однако они несут в себе некоторый субъективизм, связанный с относительно произвольным выбором квантилей. Эффективность оценок не выше метода моментов. Определение оценок может приводить к необходимости численного решения достаточно сложных систем уравнений.

Оценки, вычисленные на основе различных методов, различаются. Универсального ответа на вопрос, какой из рассмотренных методов лучше или следует ли положиться на данный метод при решении любой задачи, нет. Значение оценки в каждом конкретном случае (для разных выборок) отличается от истинного значения параметра на неизвестную величину, иначе говоря, существует некоторая доля неопределенности в знании действительного значения параметра. Качество оценок можно определить косвенно путем проверки согласованности эмпирических данных и теоретического закона распределения.