МЕТОДЫ НАХОЖДЕНИЯ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
ОЦЕНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
ВВОДНЫЕ ЗАМЕЧАНИЯ
Из результатов предыдущей главы видно, что нахождение оценок максимального правдоподобия является существенным элементом адаптивного байесова подхода и до некоторой степени даже его основой в случае параметрически заданной априорной неопределенности. Метод максимального правдоподобия, как мы видели ранее в гл. 2, 4, 5, имеет и большое самостоятельное значение. Он позволяет в ряде случаев найти минимаксное решение задачи с гарантированным уровнем риска и дает возможность выявить достаточные или квазидостаточные статистики. В связи с этим в настоящей главе более подробно рассмотрим методы получения и свойства оценок максимального правдоподобия.
Этому вопросу посвящена довольно обширная литература, начиная сранних работ по классической математической статистике, поэтому, возможно, значительная часть того, что будет изложено ниже, хорошо известна многим читателям. Это в особенности относится к случаю регулярных оценок по совокупности независимых данных наблюдения, соответствующему этому случаю неравенству Крамера-Рао и асимптотической эффективности регулярных оценок максимального правдоподобия. Наряду с этим имеется много сравнительно малоизвестных аспектов метода максимального правдоподобия: влияние статистической зависимости данных наблюдения на сходимость и точность оценок максимального правдоподобия; нерегулярность, когда функция правдоподобия недифференцируема по оцениваемым параметрам; рекуррентные процедуры нахождения оценок максимального правдоподобия и их свойства и т. д. Наличие подобных аспектов, а также большое значение метода максимального правдоподобия для решения задач синтеза в условиях априорной неопределенности делают целесообразным систематическое изложение основных фактов, относящихся к методам получения и свойствам оценок максимального правдоподобия. Большинство этих фактов будет приведено без доказательства со ссылками на оригинальные и популярные работы, в которых такие доказательства имеются.
Прежде чем перейти к дальнейшему изложению, напомним некоторые основные определения. Пусть имеется совокупность данных наблюдения , которую обычно будем представлять в виде вектора , каждая компонента которого соответствует одному наблюдению и, в свою очередь, может быть вектором того или иного порядка или даже отрезком реализации некоторого непрерывного случайного процесса. Пусть эти данные наблюдения зависят от некоторого параметра размерности . (Нам удобно ввести здесь новое обозначение для неизвестных параметров, чтобы иметь возможность в дальнейшем понимать под как параметры , характеризующие априорную неопределенность в статистическом описании и , так и сами параметры , влияющие на последствия принимаемых решений и являющиеся предметом оценки в исходной задаче статистического решения, так и, наконец, совокупность тех и других параметров.) Зависимость данных наблюдения от параметров описывается функцией правдоподобия
(7.1.1)
где - плотность совместного распределения вероятности при заданном значении , а оценка максимального правдоподобия определяется из уравнения максимального правдоподобия
(7.1.2)
где максимум находится по области допустимых значений . Уравнение (7.1.2) эквивалентно следующему уравнению для логарифма функции правдоподобия, которым часто будем пользоваться в дальнейшем:
(7.1.3)
где
(7.1.4)
Если для каждого из допустимого множества значений для почти всех значений существуют частные производные причем
где - интегрируемые по всему пространству функции, то оценка максимального правдоподобия является регулярной и уравнение максимального правдоподобия может быть представлено в одной из эквивалентных форм
(7.1.5)
или
(7.1.6)
где - оператор градиента по компонентам вектора .
Регулярный случай, пожалуй, чаще всего встречается на практике. Однако во многих важных практических задачах свойство регулярности не выполняется, что заставляет рассматривать и более общий случай, для которого некоторые закономерности поведения регулярных оценок могут и не соблюдаться. Если наряду с оценкой максимального правдоподобия рассмотреть какую-либо другую функцию , которая не является решением уравнения максимального правдоподобия, то очевидно, что при весьма общих предположениях о виде этой функции можно считать ее оценкой параметра , более того, и совершенно произвольную функцию вектора можно также назвать оценкой , хотя возможно, что точность этой оценки будет совершенно неудовлетворительной. В дальнейшем нам понадобится определение регулярности и для оценки произвольного вида. Чтобы ввести это определение, зададим взаимно однозначное преобразование
(7.1.7)
где - некоторая многомерная функция дополняющая преобразование до взаимно однозначного. В силу взаимной однозначности этого преобразования две совокупности и статистически эквивалентны, поэтому вместо исходной совокупности данных наблюдения можно рассматривать преобразованную совокупность статистическое описание которой задается функцией правдоподобия , получающейся применением преобразования (7.1.7) к исходной функции правдоподобия (7.1.1).
Функцию правдоподобия , очевидно, можно записать в виде
(7.1.8)
где и - соответствующие условные плотности вероятности. Оценка называется регулярной, если для каждого из заданного множества значений для почти всех значений и существуют частные производные , причем
где и - функции, интегрируемые по всему пространству и соответственно.
Совокупность этих условий несколько жестче, чем простое требование дифференцируемости функции правдоподобия. Они накладывают определенные ограничения не только на , но и на возможные виды преобразования , то есть на структуру оценочных функций.
Всякая оценка отличается от истинного значения . Простейшей характеристикой этого отличия является математическое ожидание разности
(7.1.9)
вообще говоря, зависящее от и называемое смещением оценки. Оценка, для которой называется несмещенной.
Важным понятием является также понятие достаточной оценки. Оценка называется достаточной, если условная плотность вероятности в (7.1.8) не зависит от . Достаточная оценка является, очевидно, минимальной достаточной статистикой для параметра : достаточной в силу того, что она удовлетворяет основному требованию к любой достаточной статистике (гл. 2), а минимальной - в силу того, что размерность этой статистики (вектора ) совпадает с размерностью вектора неизвестных параметров . Если существует какая-либо достаточная оценка , то любая лучшая оценка может быть только функцией .
МЕТОДЫ НАХОЖДЕНИЯ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Уравнения максимального правдоподобия (7.1.2) или (7.1.3) определяют общий способ нахождения оценок максимального правдоподобия как в регулярном, так и в нерегулярном случае. Существуют весьма разнообразные методы их решения, которые в достаточно общей форме можно классифицировать на два основных вида: конечные и рекуррентные. В первом случае оценка максимального правдоподобия получается сразу по всей совокупности имеющихся данных наблюдения х. Во втором - решение уравнения максимального правдоподобия представляет собой процесс, в котором вычисление оценок производится многократно с постепенным увеличением совокупности данных наблюдения. В обоих случаях в зависимости от вида функции правдоподобия может быть получено точное или приближенное решение. Рассмотрим возможные методы нахождения оценок максимального правдоподобия, обратив основное внимание на рекуррентные процедуры.
Конечные методы
При решении уравнения правдоподобия (7.1.2), (7.1.3) может быть использован любой из известных методов максимизации функции векторной переменной . Только в редких случаях максимизирующее значение - оценка максимального правдоподобия находится точно. В частности, это заведомо удается сделать, если функция правдоподобия такова, что
(7.5.1)
где матрица положительно (или отрицательно) определенная при всех и , а уравнения
(7.5.2)
имеют решения. Эти решения
(7.5.3)
где - функция, обратная , и являются компонентами вектора оценки максимального правдоподобия.
Простейшим частным случаем (7.5.1) является случай, когда логарифм функции правдоподобия квадратично зависит от , то есть
(7.5.4)
где - скаляр; - вектор той же размерности т, что и ; - неособая матрица порядка . При этом оценка максимального правдоподобия
(7.5.5)
где - матрица, обратная .
Другим распространенным примером, для которого выполняется (7.5.1), является случай, когда
(7.5.6)
В этом случае оценка максимального правдоподобия
(7.5.7)
Число таких примеров, как соответствующих (7.5.1), так и несоответствующих этому условию, но допускающих точное решение уравнения правдоподобия, в том числе и для нерегулярного случая (примеры § 7.4 и др.), довольно велико, однако еще более многочисленны случаи, когда точное аналитическое решение уравнения правдоподобия получить невозможно. При этом для нахождения оценки используются различные приближенные методы. Выбор того или иного из них определяется исходя из точности приближенного решения и вычислительной простоты. В частности, в регулярном случае широко распространены различные варианты итеративных процедур, в том числе градиентный метод, метод наискорейшего спуска, метод Ньютона, метод золотого сечения и т.д. Любой из них является методом последовательных приближений и при определенных условиях обеспечивает достаточно быструю сходимость к истинному решению уравнения максимального правдоподобия. Приведем для примера алгоритм нахождения оценки максимального правдоподобия, соответствующий методу Ньютона. В этом случае k-я итерация, определяющая очередное приближение к оценке максимального правдоподобия , производится по правилу
, (7.5.8)
где - приближение, полученное на -м шаге, а начальное приближение выбирается произвольно с учетом имеющихся представлений о существе задачи. Входящий в (7.5.8) оператор представляет собой результат умножения вектора-столбца на транспонированный ему вектор (строку) и является матрицей вида так что результат воздействия этого оператора на функцию также представляет собой матрицу
(7.5.9)
a , как всегда, обратная матрица.
Проиллюстрируем применение этого алгоритма на примере оценки единственного параметра для случая, когда логарифм функции правдоподобия представляется в виде
(7.5.10)
где х - вектор некоторой размерности; - некоторые функции х; - известная величина, функция имеет единственный максимум (для определенности при ) и является четной относительно этого значения, а суммирование производится по такому множеству значений j, что интервал от до полностью перекрывает диапазон возможных значений параметра . К функции правдоподобия, соответствующей (7.5.10), приводят многие задачи радиотехнических измерений (частоты, задержки радиолокационного сигнала, направления на источник излучения).
Выберем в качестве нулевого приближения для оценки максимального правдоподобия величину, соответствующую какому-либо из дискретных значений , например . Для того чтобы это значение давало максимально возможную величину функции правдоподобия, очевидно, его нужно выбрать так, чтобы
(7.5.11)
В силу свойств функции выбор любого другого т приведет к уменьшению логарифма функции правдоподобия. Таким образом, наиболее правдоподобным дискретным приближением к оценке максимального правдоподобия является величина
(7.5.12)
где m определяется условием (7.5.11) и соответствует тому номеру j, для которого величина максимальна.
Следующее приближение вычисляется в соответствии с алгоритмом Ньютона (7.5.8) и дается выражением
(7.5.13)
где учтена четность функции . Если последняя, как это бывает в практических задачах, достаточно быстро убывает с увеличением , так что и , то в числителе и знаменателе выражения (7.5.13) можно ограничиться только первыми слагаемыми. В результате
(7.5.14)
то есть оценка получается зависящей только от наибольшей из величин и двух ближайших к ней. Приближение (7.5.14), как правило, оказывается достаточно точным, и следующие итерации не требуются.
Дата добавления: 2020-10-14; просмотров: 395;