Статистическая мера информации.

Статистическая теория, в отличие от структурной, позволяет оценивать информационные системы в конкретных условиях их применения, например, при передаче сообщений по каналам связи с шумами.

Статистическая теория оперирует понятием энтропии, введенной американским ученым Шенноном и определяемой выражением:

(1.5)

где m – число возможных состояний объекта А; – вероятность нахождения объекта А в i-ом состоянии, ; – энтропия объекта А.

В (1.5) предполагается, что имеет место ансамбль событий, т.е. полная группа событий с известным распределением вероятностей.

Если в (1.5) основание логарифма , то единицей измерения энтропии является бит.

Энтропия характеризует неопределенность состояния объекта А и использована Шенноном в статистической теории для определения количества информации , получаемое об объекте А в результате информационного обмена:

(1.6)

где – априорная энтропия объекта А, т.е. неопределенность состояния объекта А, имеющаяся у получателя информации до информационного обмена; – апостериорная неопределенность объекта А, т.е. остающаяся у получателя после информационного обмена.

Единицы измерения те же, что и для энтропии . Энтропия определяет среднее количество информации, приходящееся на 1 знак сообщения.