Методы измерения информации


Как и любое физическое вещество информация имеет свои количественные характеристики. В современной информатике приняты следующие методы измерения информации:

- объемный;

- энтропийный;

- алгоритмический.

Объемный метод измерения характеризуется количеством символов, содержащихся в конкретном сообщении. В вычислительной технике вся информация, независимо от ее природы (текст, число, изображение и т.д.), представляется в двоичной форме записи, т.е. состоящей из различных комбинаций двух символов 0 и 1. Один такой символ в вычислительной технике называется битом, совокупность восьми таких символов называется байтом, а большое количество символов, которыми оперирует ЭВМ, называется словом.

Энтропийный метод измерения информации используется в теории информации и кодирования. Он основывается на мере неопределенности появления некоторой совокупности событий и выражается вероятностью появления этих событий. Количество информации в сообщении при энтропийном методе оценки определяется тем, насколько уменьшается эта мера после получения сообщения. В теории информации используется следующая количественная мера:

Э = log2 m,

где Э – энтропия;

m – число возможных равновероятных событий.

В случае, когда энтропия зависит не только от числа равновероятных событий выбора, но и от вероятности возможного выбора элемента информации К. Шеннон предложил следующую форму оценки энтропии:

Э = log2 (1/Рi) = - log2 Рi ,

где Рi – вероятность возможного выбора i-го элемента информации.

Тогда среднее количество информации при m числе выборке с вероятностью Рi каждой выборки определится выражением:

Алгоритмическая оценка информации характеризуется сложностью (размером) алгоритма (программы), которая позволяет ее произвести. На разных машинах и разных языках программирования такая оценка может быть разной. Поэтому задаются некоторой вычислительной машиной (например, элементарной машиной Тьюринга), а предлагаемая количественная оценка информации определяется сложностью слова, как минимальное число внутренних состояний машины, требуемой для его воспроизведения.

Структурная схема машины Тьюринга приведена на рисунке 2.2.

Рисунок 2.2 – Структурная схема машины Тьюринга

На рисунке 2.2 обозначено:

УУ – управляющее устройство;

СГ – считывающая головка;

Лента – источник информации бесконечная лента.

Управляющее устройство УУ определяет положение считывающей головки СГ {qi}. В каждой ячейке ленты записан символ {ai}. Таким образом, состояние машины {si} определится выражением:

Si = qi × ai

Следующее перемещение ленты задается параметром {pi}. Тогда новое состояние машины определится следующим образом:

Si+1 = qi × ai ×pi .

Таким образом, полное состояние машины Тьюринга можно задать, определив множества Q{qi}, A{ai}, P{pi}. Алгоритм определения состояния машины Тьюринга является единицей алгоритмического метода оценки информации.



Дата добавления: 2021-03-18; просмотров: 465;


Поиск по сайту:

Воспользовавшись поиском можно найти нужную информацию на сайте.

Поделитесь с друзьями:

Считаете данную информацию полезной, тогда расскажите друзьям в соц. сетях.
Poznayka.org - Познайка.Орг - 2016-2024 год. Материал предоставляется для ознакомительных и учебных целей.
Генерация страницы за: 0.007 сек.