АДАПТИВНЫЙ БАЙЕСОВ ПОДХОД ПРИ ПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

Конкретные приложения рассматриваемых здесь методов в после­дующих главах будут применены в основном к задачам синтеза инфор­мационных систем в условиях параметрической априорной неопреде­ленности, простейшим примером которых является первый из примеров § 6.1. Поэтому рассмотрим этот случай наиболее детально с доведением результатов до максимально возможной в условиях общей постановки задач степени конкретности.

При параметрической априорной неопределенности (гл. 3) функция правдоподобия Р (х|l, _l) задается с точностью до совокупности неизве­стных параметров _l = { _l⁽¹⁾,..., _l^(l)}, а плотность априорного распреде­ления вероятности р(l|b) для l с точностью до совокупности неизве­стных параметров b = {b⁽¹⁾,..., b^(m)}, причем пространства А_l и В - неко­торые заданные подмножества евклидова пространства соответствую­щей размерности. Обозначим полную совокупность неизвестных пара­метров, включающую в себя все частные совокупности _l и совокуп­ность b, через g, тогда совместная плотность вероятности х и l, может быть записана в виде

(6.2.1)

где р(x,l|g) - известная функция всех своих аргументов, удовлетво­ряющая обычным требованиям к плотности совместного распределения вероятности. Апостериорное распределение вероятности и апостериор­ный риск определяются обычными соотношениями

(6.2.2)

(6.2.3)

и в общем случае зависят от совокупности неизвестных параметров g. В частном случае, когда апостериорное распределение либо только значение u₀ = u₀(х, g). Для которого достигается минимум апостериор­ного риска, то есть удовлетворяется уравнение

(6.2.4)

не зависит от g, априорная неопределенность не является существенной, а правило решения u₀(х,g)=u₀(х) является равномерно наилучшим правилом решения. Поэтому в любой конкретной задаче с априорной неопределенностью прежде всего следует проверить, решив уравнение (6.2.4), существует либо нет равномерно наилучшее решение.

Если априорная неопределенность является существенной, то ре­шение уравнения (6.2.4) зависит от g и представляет собой функцию u₀(х,g), описывающую оптимальное байесово правило решения для известного значения g (при отсутствии априорной неопределенности).

Поскольку истинное значение g неизвестно, то ни величина апосте­риорного риска (6.2.3), ни правило решения u₀(х,g) не определены и необходимо применить адаптивный байесов подход, введя новую меру ожидаемых потерь - какую-либо оценку апостериорного риска, не за­висящую от неизвестного значения g, Естественной оценкой величины R(u,x,g), обеспечивающей полное сохранение последующего байесова формализма, является

(6.2.5)

где = (x) - некоторая оценка значения g, найденная по данным на­блюдения х. При подстановке (6.2.5) вместо неизвестного значения R(u,x,g), уравнение (6.2.4), которое определяет правило решения, обеспечивающее минимум ожидаемых потерь при каждом значении х, получим правило решения

(6.2.6)

отличающееся от оптимального байесова правила только заменой g оценочным значением = (x).

Таким образом, использование оценки апостериорного риска (6.2.5) позволяет не решать заново задачу минимизации ожидаемых потерь; структура правила решения остается такой же, как при отсутствии априорной неопределенности (известном значении g), а неопределен­ность правила решения устраняется заменой неизвестного значения g оценочным значением .

Адаптивное байесово правило решения (6.2.6) внешне выглядит очень привлекательным: оно универсально, обладает хорошими конст­руктивными качествами, так как позволяет просто взять готовое реше­ние байесовой задачи и заменить в нем g на , и на примерах § 6.1 показало свою высокую эффективность. Однако прежде чем рекомен­довать его широкое использование, необходимо, разумеется, выяснить два вопроса:

1)какую именно оценку = (x) следует использовать в (6.2.5), (6.2.6);

2)удовлетворяет ли правило решения (6.2.6) какому-либо из рас­смотренных в гл.4 принципов оптимальности или хотя бы является близким к наилучшему с точки зрения того или иного принципа пред­почтения правилу.

Если объем имеющихся данных наблюдения таков, что можно оце­нить значение g с высокой точностью, то ответ на первый из этих во­просов некритичен. В качестве (x) можно использовать любую оценку с малым отклонением от истинного значения g, что автоматически приводит к малому отклонению риска правила решения (6.2.6) от риска абсолютно оптимального байесова правила решения при известном зна­чении g. Детальный вид оценки (х) определяется в этом случае в основном соображениями, связанными с простотой реализации алгоритма оценивания вектора g. Практически такая свобода действий допустима в асимптотическом случае, когда совокупность имеющихся данных на­блюдения описывается вектором х = {х₁,..., х_n} с большим числом ком­понент х_n, каждая из которых зависит от g.

При ограниченном объеме данных наблюдения выбор оценки (x) подставляемой в правило решения (6.2.6), следует производить более аккуратно, так, чтобы выполнить основное требование обеспечения наименьшего из возможных отклонений риска правила решения (6.2.6) от риска байесова правила решения с известным значением g. С целью детализации критерия выбора наилучшей оценки (x) рассмотрим ве­личину среднего риска для правила решения (6.2.6) при каком-либо значении у

(6.2.7)

и сравним ее с величиной среднего риска для оптимального байесова решения u₀(x,l) при том же значении g.

. (6.2.8)

Для этого составим разность

(6.2.9)

где

(6.2.10)

Очевидно, что разность R( ,g) неотрицательна. Это следует из того, что при любом g правило решения u₀(x,l) минимизирует вели­чину среднего риска. Более того, функция ( ,g,х) из (6.2.10) также неотрицательна, поскольку при любых значениях х и g она представ­ляет собой разность значений апостериорного риска для двух решений u₁ = u₀(x, ) и u₂ = u₀(x, g), а именно второе решение соответствует ми­нимальному значению апостериорного риска.

При этом R( ,g) и ( ,g,х) обладают следующим свойством:

(6.2.11)

Величина DR( , g) является функционалом оценки = (x), кото­рый, вообще говоря, может принимать различные значения при разных g. Попытаемся выбрать оценку g(х) так, чтобы обеспечить равно­мерно наилучшее приближение среднего риска правила решения u(x) = u₀(x, g) к минимальному байесову риску правила решения u₀(х, g) с известным значением g. Как известно, требование равномерно наи­лучшего приближения означает, что максимальное отклонение должно быть минимальным, поэтому наилучшую оценку g(x) = g₀(x) следует выбирать, исходя из условия

(6.2.12)

Таким образом, с учетом (6.2.9) наилучшая оценка ₀(x) является минимаксной оценкой параметра плотности распределения вероят­ности

(6.2.13)

относительно функции потерь ( , g, х) из (6.2.10). В гл. 5 мы показа­ли, что при некоторых ограничениях на функцию потерь (5.2.1) и рас­пределение вероятности данных наблюдения (5.2.2) минимаксной оцен­кой является оценка максимального правдоподобия, то есть наилучшая оценка ₀(x) совпадает с оценкой максимального правдоподобия

(6.2.14)

которая определяется из уравнения правдоподобия

(6.2.15)

или при отсутствии ограничений на область Г ={А_l, В} значений g из эквивалентного ему уравнения

(6.2.16)

где

(6.2.17)

- оператор градиента, ставящий в соответствие любой функции от g вектор-столбец частных производных этой функции по всем компонен­там вектора g.

При использовании оценки максимального правдоподобия g* = g*(x), определяемой уравнениями (6.2.15), (6.2.16), адаптивное байесово правило решения (6.2.6) принимает вид

, (6.2.18)

и мы получаем замкнутую конструктивную процедуру нахождения пра­вила решения в условиях априорной неопределенности, которое содер­жит следующие элементы:

- отыскание оптимального байесова правила решения u_o(x, g) для фиксированного значения g путем минимизации апостериорного риска R(u, x, g) из (6.2.3) (во многих случаях это означает просто взять готовое решение соответствующей задачи при отсутствии априор­ной неопределенности);

- нахождение оценки максимального правдоподобия g* = g*(x) путем решения уравнений правдоподобия (6.2.15) или (6.2.16);

- замена в оптимальном байесовом правиле решения u₀(x, g) не­известного значения g на его оценочное значение g* = g*(x).

При слабых ограничениях на функцию потерь ( , g, х), при кото­рых оценка максимального правдоподобия g* является минимаксной оценкой, эта процедура обеспечивает получение правила решения u(х) (6.2.18), которое дает равномерно наилучшее приближение к сред­нему риску абсолютно оптимального байесова правила решения с из­вестным значением g.

Указанные ограничения обычно выполняются, если множество зна­чений непрерывно, а также в ряде других случаев. Мы не будем за­ниматься специально детальным анализом условий совпадения оценки максимального правдоподобия g*(х) с минимаксной оценкой g_o(x) определяемой из (6.2.12). Конечно, могут быть ситуации, когда y₀(х) лучше, чем g*(x), в смысле точности приближения среднего риска пра­вила решения u₀(x, g₀(х)) к среднему риску байесова правила u₀(x, g), и, взяв действительно минимаксную оценку, можно было бы получить лучшие результаты, чем с оценкой максимального правдоподобия. Примером подобного рода является случай, когда значение g задает априорное распределение на дискретном множестве значений l, а дан­ные наблюдения х относятся только к одному из возможных значе­ний l. В этом и некоторых подобных случаях оптимальное значение g₀(х) получается константой, не зависящей от х, что довольно очевидно заранее и существенно упрощает нахождение правила решения. Однако такие ситуации сравнительно редки, а сама оценка при условии един­ственности решения уравнения максимального правдоподобия, как уже неоднократно отмечалось, обладает следующими качествами: она обя­зательно совпадает с эффективной (имеющей наименьшее возможное рассеяние) оценкой, если последняя существует; с ростом объема дан­ных наблюдения, по которым вычисляется оценка максимального прав­доподобия, она сходится к истинному значению оцениваемого парамет­ра и при этом является асимптотически нормальной и асимптотически эффективной. Имея в виду эти высокие достоинства, а также универ­сальность и относительную простоту метода максимального правдопо­добия, благодаря которым могут быть разработаны стандартные про­цедуры нахождения оценки g*, можно в общем случае ограничиться оценками максимального правдоподобия, оставив попытки их улучше­ния для конкретных задач, где такая возможность имеется.

6.3. СЛУЧАИ, КОГДА МНОЖЕСТВА РЕШЕНИЙ u И ПАРАМЕТРОВlНЕПРЕРЫВНЫ

Прежде чем переходить к решению второго из поставленных в § 6.2 вопросов, рассмотрим важный частный случай, когда множества решений и u значений параметров l непрерывны и имеют одинаковую структуру.

Как отмечалось выше, в этом случае решение и может быть интер­претировано как оценка параметра l, а правило решения u = u(x) ста­вит в соответствие каждому значению х значение этой оценки. Будем считать, что функция потерь является симметричной функцией разности

u - l, тогда апостериорный риск

(6.3.1)

Пусть плотность совместного распределения вероятности дважды дифференцируема по и при любых значениях , , тогда

(6.3.2)

где , - решение уравнения

(6.3.3)

(6.3.4)

взятые со знаком минус матрицы, составленные из вторых производных логарифма плотности в точке , , которые подобно и зависят только от х; - оператор градиента по компонентам ; , - операторы градиента, ставящие в соответствие той функции, на которую действуют такие операто­ры, вектор-строку частных производных этой функции по всем компо­нентам или . Не написанные в показателе экспоненты (6.3.2) члены имеют третий и более высокий порядок относительно разностей и . Роль этих членов тем меньше, чем больше объем данных на­блюдения х; по мере его увеличения совместное распределение вероят­ности при заданном х и величины из (6.3.3) асимптотически приближаются к нормальному распределению вероятности. Используя это асимптотическое приближение, получаем

, (6.3.5)

, (6.3.6)

где - как всегда матрица, обратная матрице ; - некоторая неотрицательная функция, зависящая только от х.

Из выражения для апостериорного риска (6.3.5) следует, что опти­мальная байесова оценка параметра имеет вид

(6.3.7)

Действительно, благодаря свойствам функции потерь g(u - l) выраже­ние (6.3.6) дифференцируемо по u под знаком интеграла, при этом - нечетная функция своего аргумента и, следовательно, при подстановке u = u₀(x, ) из (6.3.7) градиент обращается в нуль, то есть обеспечивается минимум апостериорного риска.

Из выражения (6.3.6) следует, что оценка максимального правдо­подобия параметра , определяемая как решение уравнения (6.2.15), совпадает с величиной *, являющейся решением уравнения (6.3.3). Поэтому адаптивное байесово правило решения принимает вид

(6.3.8)

Тем самым уравнение (6.3.3) дает полное решение задачи - оно определяет наилучшее в условиях априорной неопределенности реше­ние задачи оценивания l и дает оценку максимального правдоподобия для параметра , описывающего неопределенность априорных знаний о законах распределения вероятности х и l.

Покажем, что правило решения (6.3.8) удовлетворяет требованию (6.2.12) равномерно наилучшего приближения к оптимальному байесову решению с известным значением . Ограничимся для простоты слу­чаем квадратичной функции потерь

Вычисляя значения апостериорного риска (6.3.5) при , где - какая либо оценка , и при и беря их разность, получаем сле­дующее выражение для функции

(6.3.9)

где - симметричная квадратная матрица того же порядка, что и вектор , не зависящая от и , но, возможно, зависящая от х.

Величина разности средних рисков адаптивного и оптимального при известном байесовых правил решения будет при этом равна

(6.3.10)

где для сокращения записи обозначено

(6.3.11)

Математическое ожидание матрицы представляет собой информационную матрицу Фишера для совокупности параметров g.

Из выражения (6.3.10) видно, что задача нахождения минимакс­ной оценки , обеспечивающей выполнение требования (6.2.12), в дан­ном случае с точностью до обозначений совпадает с рассмотренной в § 5.2. Из полученного там решения следует, что минимаксная оценка параметра g есть g*(x) и, следовательно, правило решения (6.3.8) дей­ствительно обеспечивает равномерно наилучшее приближение к мини­мальному байесову среднему риску для известного значения g.