Несмещенные, эффективные и состоятельные оценки

Для того чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определенным требованиям.

Пусть — статистическая оценка неизвестного параметра θ теоретического распределения. Допустим, что по выборке объема п найдена оценка . Повторим опыт, т. е. извлечем из генеральной совокупности другую выборку того же объема и по ее данным найдем оценку .

Повторяя опыт многократно, получим числа , , ..., , которые, вообще говоря, различны между собой. Таким образом, оценку можно рассматривать как случайную величину, а числа , , ..., — как ее возможные значения.

Представим себе, что оценка дает приближенное значение с избытком; тогда каждое найденное по данным выборок число (i = 1, 2, ..., k) больше истинного значения . Ясно, что в этом случае и математическое ожидание (среднее значение) случайной величины больше, чем .

Таким образом, использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, привело бы к систематическим ошибкам. По этой причине естественно потребовать, чтобы математическое ожидание оценки было равно оцениваемому параметру. Хотя соблюдение этого требования не устранит ошибок (одни значения больше, а другие меньше ), однако ошибки разных знаков будут встречаться одинаково часто.

Несмещенной называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру.