Тема 2.4. Информация в непрерывных сигналах
Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть - случайная величина (сечение или отсчёт случайного сигнала), определённая в некоторой непрерывной области, и её распределение вероятностей характеризуется плотностью
.
Разобьём область значений на небольшие интервалы протяжённостью
. Вероятность того, что
лежит в интервале
,
+
, то есть
, приблизительно равна
, причём приближение тем точнее, чем меньше интервал
. Степень неожиданности такого события равна
. Если значения
в пределах конечного интервала
заменить значениями
в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как:
Будем теперь увеличивать точность определения значения , уменьшая интервал
. В пределе, при
должна получиться энтропия непрерывной случайной величины:
(2.19)
Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей
. Это значение , что собственная информация любой непрерывной случайной величины бесконечно велика. Тем не менее, взаимная информация между двумя непрерывными ансамблями, как правило, остаётся конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передаётся с конечной скоростью.
Обратим внимание на первый член в данной формуле. Он является конечным и определяется плотностью распределения вероятности . Его называют дифференциальной энтропией и обозначают
:
(2.20)
Попытаемся теперь определить взаимную информацию между двумя непрерывными случайными величинами и
. Разбив области определения
и
соответственно на небольшие интервалы
и
, заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы
. Исходя из этого выражения можно определить взаимную информацию между непрерывными величинами
и
:
(2.21)
При этом никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований её можно представить и в таком виде:
(2.22)
Здесь - определённая ранее дифференциальная энтропия
, а
- условная дифференциальная энтропия. Легко убедиться, что основные свойства взаимной информации остаются справедливыми и в данном случае.
В качестве примера найдём дифференциальную энтропию случайной величины с нормальным распределением вероятности:
, (2.23)
где математическое ожидание, а
- дисперсия
.
Подставив (2.23) в (2.20), найдём:
Первый интеграл по общему свойству плотности вероятности равен 1, а второй – по определению дисперсии равен . Окончательно
(2.24)
Таким образом, диффиринциал энтропия гауссовский случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.
В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин с одинаковой дисперсией
наибольшую дифференциальную энтропию имеет величина с нормальным распределением.
Дата добавления: 2016-07-22; просмотров: 1961;