Энтропия непрерывного ограниченного ансамбля
Энтропия ансамбля после квантования была записана как
.
Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования
.
Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно .
Определим плотность распределения вероятности , обеспечивающий максимум энтропии , при и ограничении
. (2.17)
Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал
.
Приведём его к виду
.
Определим производную , которая будет равна
,
и приравняем её нулю
Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем
= 0.
Разрешая полученное уравнение относительно , получим
. (2.18)
Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований
,
.
После подстановки значения параметра в (2.18) получим
,
.
Вывод.
Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности равномерный закон распределения вероятности обладает наибольшей энтропией.
Если число ограничений увеличивается , то вид плотности распределения вероятности изменится Положим, известно, что случайная величина принимает значения в интервале , математическое ожидание равно нулю и её дисперсия ограничена величиной .Далее покажем, что наибольшую энтропию даёт нормальный закон распределения.
Дата добавления: 2022-04-12; просмотров: 127;