Потери при информационном воздействии

Оценим потери информации при внешних и внутренних мешающих воздействиях. Рассмотрим взаимодействие Источника и Потребителя информации на основе обмена сообщениями. Обмен осуществляется с помощью системы ИТ.

Пусть множества сообщений X₀ и Y₀ конечны. В процессе функционирования системы X_0, возникающее на входе системы, порождает Y_0i на выходе системы. Y_0i возникает как итог информационного процесса в системе. Качественная деятельность систем должна обеспечить минимум потерь при этом преобразовании. Для оценки качества системы надо сравнить количество информации, которое содержится в сообщении X_0i с количеством информации в Y_0i (относительно X_0i). Количество информации сообщения X_0i:

,
где P(X_0j) - вероятность возникновения на выходе источника сообщения.

Значение собственной информации в сообщении X_0i потребителю неизвестно. Он может судить о нем только по сообщению Y_0i. Количество собственной информации в сообщении Y_0i:

,
где Р(Y_0i)-вероятность возникновения сообщения Y_0i на выходе потребителя.

Для нахождения полезной информации необходимо устранить информацию, вносимую помехами. Помеха может быть выражена в виде условной собственной информации

.

Количество информации Y_0i относительно X_0i составит:

.

Если усреднить полученное выражение по множествам сообщений X_0i и Y_0i, то найдем количество взаимной информации - среднее количество информации, которое связывает X₀ и Y₀

,

Н(Y₀)-безусловная энтропия по множеству сообщений Y₀

-условная энтропия по множеству сообщений Y₀ при условии, что множество событий X₀ известно.

Если Y_0i тождественно сообщению X_0i, то вероятности равны:

Р(Y_0i)= P(X_0j), то есть =1 .

При этом условная энтропия =0.

Тогда взаимная информация I(X₀, Y₀)= Н(Y₀). (10)

Это соотношение для идеальной системы, где информационный процесс реализуется без потерь. Можно представить себе информационный процесс, где условная энтропия приближается к 0. Это может быть, например, процесс хранения.

Однако в реальных условиях имеются внутренние и внешние возмущения. Они вызывают потери информации, которые выражаются членом . Модель этих потерь можно представить следующим образом. В системе «С» выделяется идеально функционирующая система «ИС» - в ней отсутствуют потери. С ней последовательно связан канал возмущений «КВ».

Выделяем канал возмущений, к которому могут быть отнесены потери информации. Рассматривая канал возмущений как обобщенный канал связи, попытаемся сконпенсировать потери за счет введения избыточности. Избыточность помогает обнаруживать и исправлять ошибку. Численно вносимая избыточная информация соответствует информации потерь . Для исправления и обнаружения ошибок необходимо соответственное количество информации =H₀+H_n

Обнаружение ошибок: Н₀-это энтропия двух событий. Одно событие отображает наличие ошибки с вероятностью Р₀. Второе событие - отсутствие ошибки с вероятностью 1-Р_0. Тогда :

,

Р₀ - вероятность ошибки одинаковая для каждого сообщения.

Если вероятность ошибки зависит от номера принимаемого сообщения, то для обнаружения ошибки используют среднюю вероятность ошибки.

, (12)

- вероятность ошибки в i-ом сообщении

= при j i