Структурные меры количества информации

В структурных мерах во внимание принимается только дискретное строение носителя информации - количество содержащихся в нем информационных элементов, связей между ними или комбинаций из них.

Под информационными элементами понимаются неделимые части ─ кванты ─ информации в дискретных моделях реальных носителей информации, а также элементы алфавитов в числовых системах. В структурной теории различают геометрическую, комбинаторную и аддитивную меры информации.

Наибольшее распространение получила аддитивная мера Хартли - двоичная аддитивная мера, измеряющая количество информации в двоичных единицах ─ битах (binary digit).

Геометрическая мера

Определение количества информации геометрическим методом сводится к измерению длины линии, площади или объема геометрической модели данного носителя информации или сообщения. По геометрическим размерам носителя геометрическая мера определяет потенциальное, т.е. максимально возможное количество информации в данных структурных габаритах. Это количество называется информационной емкостью носителя. Информационная емкость - число, показывающее, какое количество квантов содержится на носителе. Например, число мест под отверстия на перфокарте = 80х10 = 800 (рис. 1.1)

Рис. 1.1. Внешний вид перфокарты.

В случае сообщения, его можно записать (если это текст) в строчку и длину получившейся строки разделить на длину одной буквы. Таким образом, геометрическая мера здесь сводится к определению числа букв в сообщении.

Другой пример: имеется две фотографии поверхности земли разной площади, но с одинаковой разрешающей способностью. Количество информации в смысле геометрической меры будет пропорционально площади фотографии.

Комбинаторная мера

Этот вид меры информации используют тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций букв. Образование комбинаций - одна из форм кодирования информации.

Количество информации в комбинаторной мере равно количеству разрешенных комбинаций букв.

Можно договориться (условиться) о различных правилах образования комбинаций. Различные комбинации могут, например, отличатся буквами или порядком их следования или и тем и другим одновременно.

Подсчитаем количество информации, которое можно передавать в комбинаторном смысле перфокартами.

В данном случае используются только две буквы - наличие и отсутствие отверстия.

Буквы могут располагаться в 80х10 = 800 позициях в виде всевозможных соединений. Таких соединений может быть 2⁸⁰⁰. Таким образом, одна перфокарта несет на себе 2⁸⁰⁰ комбинаторных единиц информации (примерно 10²⁴⁰)