Непрерывный канал связи

Как и прежде, сигналы поступают в канал в дискретные моменты времени, но значения сигналов принимают непрерывные значения из некоторого множества. Примером такого канала является передача амплитудно-модулированных, фазомодулированных или частотно-модулированных сигналов. Сами сигналы могут быть как детерминированными, так и являться случайными процессами. Сигнал и шум взаимно независимы и в канале связи складываются алгебраически, т.е сигнал и шум аддитивны

, (4.15)

где - шум в канале с известной плотностью вероятности ,

- непрерывный по множеству значений сигнал, поступающий в канал связи. Плотность распределения вероятности значений сигнала может быть произвольной

Чтобы упростить записи, в дальнейшем будем писать

, (4.16)

помня, что - непрерывные величины, а их реализациями являются . Запишем равенство (4.16) через реализации

(4.17)

Условная плотность распределения при фиксированном значении должна удовлетворять соотношению

. (4.18)

Используя (**.17), получим условную плотность распределения

(4.19)

Пропускная способность непрерывного канала связи определяется подобным образом, что и для дискретного канала, но максимизация пропускной способности производится по всем возможным распределениям :

, (4.20)

где - время, затраченное на передачу одного значения ,

- скорость передачи сигналов в канале - количество значений , переданных по каналу в единицу времени.

Определим условную энтропию :

(4.21)

Из (4.21) видно, что условная энтропия зависит от плотности распределения вероятности шума.

Пример 4.3. Вычислим энтропию случайной величины , подчиненной нормальному закону с математическим ожиданием, равным m, и дисперсией, равной .

=

Сделаем замену переменных .

.

Как видно, энтропия не зависит от математического ожидания m.

Пусть - энтропия случайной величины с математическим ожиданием, равным нулю, и дисперсией, равной . Энтропия случайной величины не превышает энтропии нормального закона распределения вероятности

,(4.22)

где знак равенства имеет место тогда и только тогда, когда случайная величина распределена по нормальному закону.

Положим, - произвольная плотность распределения вероятности случайной величины . Случайная величина подвергается преобразованию

.

Определим математическое ожидание случайной величины

=

. (4.23)

Рассмотрим разность . Правая часть этой разности есть . Поэтому

.

Знак равенства будет только тогда, когда справедливо равенство

или

.

Таким образом, энтропия достигает максимального значения при нормальном законе распределения вероятности. При этом накладываются условия:

- дисперсия случайной величины ограничена,

- область определения плотности распределения вероятности – ( ).

При рассмотрении пропускной способности канала связи никаких ограничений на вид распределения вероятности шума не накладывалось. В частном случае, наиболее употребляемом на практике, предполагается, что шум - нормальный белый. Это означает, что значения шума распределены по нормальному закону и они не коррелированны. При таких предположениях имеет место теорема Шеннона (Фано, стр. 176)

Если в непрерывном постоянном канале с дискретным временем аддитивный шум имеет гауссовское распределение с нулевым средним и дисперсией, равной , а мощность сигнала на входе не может превышать определенной величины , то пропускная способность этого канала на событие определяется формулой

.(4.24)

Знак равенства достигается лишь тогда, когда сигнал на входе канала - гауссовский с нулевым средним и дисперсией, равной .

Как известно, пропускная способность канала имеет вид

.

Определим . Из соотношений (4.15) - (4.18) следует,

. В силу независимости сигнала и шума .

По определению

.

Подставим вместо условной плотности плотность распределения шума и, учитывая, что шум распределён по нормальному закону, получим

. (4.25)

Используя общее определение пропускной способности канала (4..20)

. (4.25)

Если сигнал на входе канала распределен по нормальному закону, то и сумма (4.16) также распределена по нормальному закону, что является необходимым условием максимального значения энтропии . В этом случае пропускная способность достигает максимального значения (знак равенства в (4.24)).