Источника сообщений

В теории информации в качестве характеристики информативнос­ти источника дискретных сообщений используют среднее по вероятности количество информа­ции, приходящееся на один символ алфавита ИС, т.е. математическое ожидание количества информа­ции, содержащегося в одном символе алфавита источника дискретных сообщений, Н(х), называемое энтропией источника дискретных сообщений.

Таким образом, энтропия - это среднее количество информа­ции, содержащееся в одном символе алфавита источника дискретных сообщений.

Энтропия достигает максимума Н_макс(х), если вероятности формирования всех символов алфавита источником дискретных сообщений одинаковы.

Степень отличия энтропии Н(х) от максимальной энтропии Н_макс(х) характери­зует избыточность источника дискретных сообщений:

.

Наличие у источника дискретных сообщений избыточности (ρ_ис > 0) означает, что он выдает в среднем больше символов, чем это необходимо для передачи информации, увеличивая тем самым длину выдаваемого сообщения.

Важной характеристикой источника дискретных сообщений является его производительность, определяющая среднее количество информации, выдаваемое им в единицу времени:

где v_ис – скорость формирования символов источником дискретных сообщений (количество элементарных символов сообщения, формируемых источником дискретных сообщений в 1 с).

Наличие избыточности источника дискретных сообщений снижает его производительность, а это приводит к уменьшению скорости передачи информации за счет увеличения длины передаваемого сообщения.

Контрольные вопросы

1. Что такое энтропия?

2. Требования к источнику дискретных сообщений, энтропия которого максимальна.

3. Что такое избыточность источника дискретных сообщений?

4. Что означает наличие избыточности источника дискретных сообщений?

5. Что такое производительность источника дискретных сообщений?

6. Как влияет наличие избыточности источника дискретных сообщений на производительность?

7. Информационные характеристики источника дискретных сообщений.