Точечные оценки параметров распределения

В §11 уже отмечалось, что оценками теоретических характеристик обычно служат соответствующие статистические характеристики. Чтобы эти оценки имели практическую ценность, они должны обладать некоторыми свойствами. В частности, оценки должны быть состоятельными.

Оценка параметра α называется состоятельной, если при неограниченном увеличении числа испытаний она сходится по вероятности к оцениваемой величине, т.е. при n→ ∞. Как следует из замечания к теореме Чебышева (§22), среднее арифметическое измерений сходится по вероятности к математическому ожиданию m_ξ. Следовательно, эта оценка математического ожидания состоятельная. Если в качестве оценки математического ожидания взять величину , то эта оценка, очевидно, не будет состоятельной.

С помощью теоремы Чебышева можно доказать, что все статистические моменты, рассмотренные в §11, являются состоятельными оценками соответствующих теоретических моментов.

Второе требование, накладываемое на оценку, - это несмещенность. Оценка называется несмещенной, если ее математическое ожидание совпадает с оцениваемым параметром, т.е. Это позволяет избежать систематической ошибки измерений.

Докажем, что второй центральный статистический момент является несмещенной оценкой дисперсии Действительно,

Итак, математическое ожидание от оценки равно оцениваемому параметру, следовательно, - несмещенная оценка.

Если в качестве оценки дисперсии взять величину то эта оценка будет смещенной. Действительно, преобразуем следующим образом:

или Найдем математическое ожидание

Воспользовались (5) §20, т.к. измерения x_i независимые. Итак,

(1)

т.е. математическое ожидание оценки не равно оцениваемой величине, оценка S² смещенная. Из (1) видно что

(2)

будет уже несмещенной оценкой дисперсии. В §11 именно эту величину мы взяли в качестве оценки дисперсии.

Оценка параметра называется более эффективной, чем оценка того же параметра, если . Несмещенная оценка, дисперсия которой минимальная, называется эффективной. Заметим, что она не всегда существует.

Иногда закон распределения известен, но неизвестны входящие в него параметры. Например, известно, что случайная величина подчиняется гамма-распределению (см. §12), а параметры λ и α неизвестны. Эти параметры можно оценить по выборке. Наиболее простым и распространенным методом получения оценок является метод моментов. Он состоит в приравнивании друг к другу теоретических и эмпирических моментов. Из полученных уравнений находят неизвестные параметры, которые и берут в качестве оценок. Оценки, полученные по методу моментов, являются состоятельными, но не являются, вообще говоря, эффективными и могут быть смещенными.

Пример 1. Оценить параметры λ и α гамма-распределения методом моментов.

Решение. Известно (см. пр. 6 §12), что , . Заменяя на , а на , получим систему:

Решая ее, найдем , .

Эти оценки состоятельные, но смещенные.

Вторым наиболее распространенным методом нахождения оценок является метод наибольшего правдоподобия. Он дает состоятельную и эффективную (если она существует) оценку параметра, но она может оказаться смещенной.

Если (x₁, x₂,…, x_n) - выборка случайной величины ξ, плотность распределения f(x,α) которой зависит от параметра α, то функцию

, x= (x₁, x₂,…, x_n) (3)

называют функцией правдоподобия. Можно доказать, что функция L(x,α) является плотностью распределения случайного вектора x=(x₁, x₂,…, x_n), а поэтому максимуму функции L(x,α) соответствует наиболее правдоподобное значение ее аргумента α. Отсюда ясно, что за оценку параметра α берут то его значение α*, при котором функция L(x,α) достигает максимума. Необходимым условием максимума является равенство:

(4)

Разрешая уравнение (4) относительно α , получим оценку параметра α по методу функции правдоподобия. Следует, конечно, убедиться, что в точке достигается максимум функции L(x,α).

Если α =(α ₁, α ₂,…, α _к), то вместо (4) получим

i=1,2,…,к. (4¢)

Пример 2. Оценить параметр λ в показательном законе распределения (см. пр.5 §12) методом функции правдоподобия.

Решение. Составим функцию правдоподобия , . Запишем уравнение правдоподобия (4):

Решая последнее уравнение, найдем оценку параметра λ: . Поскольку , то в точке достигается максимум.