Пропускная способность каналов связи

Эта тема является одной из центральных в теории информации. В ней рассматриваются предельные возможности каналов связи по передаче информации, определяются характеристики каналов, влияющие на эти возможности, исследуются в самом общем виде предельные возможности кодирования, обеспечивающие максимум помехоустойчивости и объема передаваемой информации.

Определения:

1. Скорость передачи информации – среднее количество информации, передаваемой через канал за единицу времени.

В случае канала без шума эта скорость равна V_к*H_к, где V_к – количество символов, передаваемых через канал в единицу времени, H_к – средняя энтропия одного символа сообщения на входе и выходе канала.

2. Производительность источника – средняя скорость поступления информации от источника сообщений.

Производительность источника находится по формуле V_и*H_и, где V_и – количество символов, генерируемых источником в единицу времени, H_и – средняя энтропия одного символа сообщения на выходе источника.

Пропускная способность канала связи – максимально возможная для данного канала скорость передачи информации. Будем обозначать ее С_к.

Отметим еще одну важную характеристику канала – максимальную скорость передачи символов V_{к max} через него. Она всегда ограничена. Поэтому максимальная скорость передачи информации достигается при использовании максимальной скорости передачи символов и максимальной средней энтропии V_{к max} передаваемого символа. Ранее доказывалось, что максимальная средняя энтропия в расчете на одни символ достигается при равной вероятности и независимости их появления.

Поскольку источник информации совсем не обязательно выдает символы с такими характеристиками, для достижения максимально эффективного использования канала их необходимо кодировать. Ранее при изучении эффективного кодирования доказывалось, что именно эффективное кодирование обеспечивает получение после кодирования символов с требуемыми параметрами. Энтропия символов вторичного алфавита в результате такого кодирования при кодировании бесконечно больших блоков информационной последовательности в пределе равна log₂m, где m – объем вторичного алфавита, используемого на выходе кодирующего устройства.

Учитывая это: С_к=V_к * H_max = V_к * log₂m .

Если же m=2 (для кодирования используется двоичный код), то энтропия одного символа на выходе кодера будет равна 1, т.е. каждый символ двоичного эффективного кода будет нести 1 бит информации, а сами символы будут равновероятны и статистически независимы.

В этом случае С_к=V_{к .}

При передаче информации через канал связи стремятся к наиболее эффективному (в смысле объема передаваемой информации) его использованию.

Найдем требования к источнику информации, при которых возможна максимальная скорость передачи информации через канал.

Будем описывать источник информации параметрами V_и и H_и. Допустим, шум в канале связи отсутствует. Канал связи описывается своей пропускной способностью и объемом m алфавита.

Поскольку шума в канале нет, информация при передаче через него не искажается и не теряется. Поэтому скорости передачи информации на выходе источника V_и*H_и и на выходе канала будут совпадать. Наиболее эффективным будет такое использование канала, при котором производительность источника будет равна пропускной способности канала:

С_к=V_{к max} * log₂m = V_и * H_{и .}

Таким образом, если известна средняя энтропия одного символа сообщения, поступающего с выхода источника, наиболее эффективного использования канала можно достичь, если скорость поступления этих символов от источника выбрать в соответствии с формулой: V_и=V_{к max} * log₂m / H_и или V_и=V_{к max} / H_и при использовании наиболее часто употребляемого двоичного кодирования.

Заметим, что эта формула предполагает использование эффективного кодирования информации, поступающей от источника перед передачей ее в канал связи без помех (шума).

Рассмотрим следующую модель канала связи с помехами (рис. 4.4):

Рис. 4.4. Модель канала связи с помехами.

По виду передаваемых через канал сигналов различают дискретные и непрерывные каналы связи.

Важнейшей характеристикой канала является его пропускная способность, определяемая как наибольшая скорость передачи информации через него. Пропускная способность дискретного канала может быть рассчитана, например, по следующей формуле:

С= V_k*I_mаx ,

где V_k – скорость передачи символов алфавита через канал;

I_mаx – максимально возможное количество информации, приходящейся на один передаваемый через канал символ.

Количество информации, приходящееся на 1 передаваемый через канал символ зависит от энтропии (степени неопределенности получения символа) на входе и выходе канала. Согласно мере Шеннона

I = H_{априорная} - H_{апостериорная} = H(X) – H(X/Y) .

Здесь H_{априорная} = H(X) и H_{апостериорная} = H(X/Y) – условная энтропия, характеризующая неопределенность о переданном на выход канала символе X по принятому символу Y на выходе. Наличие этой неопределенности – следствие действия на передаваемый через канал символ помех. H(X/Y) – характеристика канала.