Измерение информации. Вероятностный подход к измерению количества информации. Единицы измерения информации.

Первый способ измерения информации отражает вероятностный подход.

Информация - сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.

Точнее раскрыть суть определения помогает понять то, какие задачи помогает решить информация (а не то, что собой она представляет). Информация устраняет неопределенность, предоставляет человеку сделать выбор в пользу какого-либо варианта исхода некоторого события. Таким образом, информация начинает играть роль в том случае, если, во-первых, имеется некоторый выбор вариантов и, во-вторых, если эти варианты требуется определенным способом оценить.

Объем информации, требующейся при полном отсутствии предварительных данных для выбора одного из двух равноценных и совершенно независимых вариантов, принято считать единицей информации и обозначать, как бит.

1 бит - количество информации, позволяющее выбрать один вариант из двух равноценных, независимых вариантов.

бит: binary digit (двоичный знак).

Чтобы иметь возможность сделать правильный выбор между четырьмя различными дорогами, требуется два бита информации. Поясним это на таком примере. Сначала две дороги делят на две группы по две дороги в каждой. Далее выбираем группу как один из двух равноценных вариантов, т. е. нам требуется один бит информации, После того, как будет выбрана группа, в ней опять делается выбор между двумя дорогами и нам требуется еще один бит. В сумме получаем два бита информации для выбора одного из четырех вариантов.

Если бы нам потребовалось сделать выбор из восьми вариантов, то нужно было бы три бита информации: один бит идет на выбор между двумя группами из четырех дорог, второй - в группе из четырех выбираем подгруппу, состоящую из двух дорог, третий бит - выбираем из двух дорог ту, по которой пойдем. Для выбора одного варианта из 16 требуется четыре бита информации и т.д. Здесь уже прослеживается определенная закономерность: при n битах информации нужный вариант выбирается из 2ⁿ возможных. И наоборот, указав один нужный вариант из 2ⁿ возможных и одинаково принимаемых в расчет, мы дадим информацию в n битов. Таким образом, информация является логарифмом с основанием 2 определенного числа вариантов, так как по определению логарифма справедливо выражение n = log ₂ 2ⁿ . В этом смысле можно записать следующее уравнение:

Информация = log ₂ определенного числа вариантов

Тем самым мы получаем точное правило для определения объема информации, содержащейся в сведениях и сообщениях. Американский ученый Клод Шеннон сформулировал и впервые применил это правило в 1947 году при исследовании процессов передачи информации.

¡ 1 бит ¡ ¡ 2 бита ¡ ¡ ¡ 3 бита ¡ ¡ ¡ ¡ 4 бита

2¹ состояния 4 = 2² состояния 8 = 2³ состояния 16 = 2⁴ состояния

¡¡¡¡ ¡¡ll l¡¡¡

¡¡¡ l l ¡ ¡lll l¡¡l ¡ll¡

¡ ¡¡ ¡l ¡l l ¡ l ¡ l¡ll ll¡¡ l¡l¡

l l ¡ l l ¡¡l l ¡ l ll¡l ll¡¡ ¡l¡l

l l ¡ l l l lll¡ ¡¡¡l ¡l¡¡

llll

Чтобы закодировать 256 вариантов требуется 8 бит информации (8 = log₂ 256 ).

Предположим, что нам известны несколько исходов со своей степенью вероятности каждого из них. Например, подкидываем кубик и ждем, на какую грань он упадет. В данном случае исход – грань, на которую упадет кубик. Ясно, что возможных исходов шесть (по числу граней). Но, одна грань кубика больше остальных, следовательно, на нее кубик упадет с большей вероятностью. Другая грань имеет неровный выступ и кубик, скорее всего не сможет на нее встать, следовательно, вероятность исхода с этой гранью минимальна. Тогда формулы определения количества информации, приходящейся на один исход, осредняется с учетом вероятностей отдельных событий:

_m

H = -S p_i × log₂ p_i = - (p₁×log₂p₁ + p₂×log₂p_{2 +} p₃×log₂p_{3 + . . . +} p_m×log₂p_m)

ⁱ⁼¹

H - среднее количество информации, приходящееся на одно событие (исход);

p_i - вероятность отдельных событий (i = 1,2, ... , m);

m - количество возможных событий.

В случае равновероятных выборов p_i = 1/m. Подставляя это значение в исходное равенство, мы получим

_m

H = - S 1/m × log₂ 1/m = - m×1/m× log₂1/m = log₂m

ⁱ⁼¹

При m=2 Н=1, что соответствует определению одного бита информации: количество информации равно 1 биту при выборе одного варианта из двух равновероятных.

Формула Шеннона далека от совершенства, хотя бы потому, что рассматривает понятие информации в неком статистическом аспекте, не учитывая ее ценность и значимость. Человек же оценивает полученную информацию и с точки зрения ее полезности, важности, интереса, наконец, т.е. по признакам, которые вообще не фигурируют в определении Шеннона. Ведь информация - несравненно более широкое понятие, чем нечто “ограничивающее или устраняющее неопределенность перед лицом набора каких-то вариантов”.

Вопрос о возможности обобщенного определения понятия информации, более полно отражающем его суть, является актуальным и сегодня. Одним из способов измерения информации является рассмотрение степени сложности информации по выбранному ее представлению и замену этой качественной характеристики количественной. Например, более длинный и сложный алгоритм содержит в себе больше информации, чем короткий. Эти вопросы не входят в рассмотрение курса информатики, они широко обсуждаются специалистами, и окончательный ответ еще не дан.

Несмотря на свое несовершенство, предложенное Шенноном определение понятия информации, оказалось эффективным инструментом. В первую очередь в процессе ее обработки. Она с успехом используется повсюду и не только в науке и технике.

Третий способ измерения информации - объемный.

При алфавитно-цифровом представлении информации любое слово, являющееся последовательностью символов, становится информацией. Число символов в слове называется его длиной. Каждый новый дополнительный символ увеличивает количество информации, которое можно представить данным алфавитом.

В микроэлектронике носителем информации является электрический ток, а точнее импульс. Считается, условно, что наличие импульса - это 1, а его отсутствие - 0. Внутри ЭВМ информация представлена в виде потоков 0 и 1, т.е. используется двухсимвольный алфавит. При этом все символы, звук, изображение и организация вычислений должны быть преобразованы в числовую форму двухсимвольного алфавита.

Для обработки текстовой информации каждая буква, знак, управляющие коды представлены в виде комбинации 0 и 1. Для этого достаточно 256 различных значений, что соответствует набору из 8 бит (0 или 1). Все символы и соответствующие им кодовые значения представлены в кодовой таблице ASCII : одна буква - это комбинация из восьми 0 и 1. А так, как одна буква является для человека естественной единицей информации, то вместо 8 бит ввели новую величину - байт.

В Международной системе единиц СИ 1 байт - единица количества информации.

При работе с большими объемами информации для подсчета ее количества удобнее пользоваться более крупными единицами.

2¹⁰байт = 1 Кбайт

2²⁰байт = 1 Мбайт

2³⁰байт = 1 Гбайт

2⁴⁰байт = 1 Тбайт

Обрабатывается информация в ЭВМ по правилам двоичной системы счисления. Так число 2¹⁰ = 1024₁₀ = 100 0000 0000_{2 ,} а умножение на такое число в двоичной системе счисления произвести крайне просто, по сравнению с числом 1000₁₀ = 11 1110 1000₂ . Приставка “кило” в названии “килобайт” для данного количества информации, появилось только благодаря близости числа 1024 к 1000.

Итак, в системе измерения объема компьютерной информации, в отличие от метрической системы, единицы с приставками кило-, мега-, гига-, тетра- получаются путем умножения основной единицы не на 1000, а на 2¹⁰ = 1024.

4. Решение задач.

Задача 1. Юстасу необходимо передать следующее сообщение:

Дорогой Алекс! От всей души поздравляю с успешной сдачей экзамена по информатике. Желаю дальнейших успехов. Ваш Юстас.

Пеленгатор определяет место передачи, если она длится не менее 3 минут.

С какой скоростью (бит/с) Юстас должен передать радиограмму?

Решение.

Бит - минимальная единица измерения количества информации. Подсчитаем объем передаваемой информации. В тексте радиограммы содержится 118 символов, каждый символ несет 1 байт информации. Следовательно, должно быть передано 118 байт информации.

1 байт=8 бит; 118 байт=118×8 бит=944 бита

Время передачи должно быть меньше 180 с, что требует скорости передачи не менее 5 бит/с (944/180»5,2).

Ответ: Юстас должен передавать радиограмму со скоростью не менее 5 бит/с.

Задача 2.

В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?

Решение.

· По условию задачи у нас имеется 20 различных вариантов.

· Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:

h=log₂ 20» 4,32 бит

или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.

Задача 3.

В доме 14 окон. Сколько различных сигналов можно подать, зажигая свет в окнах? Сколько бит информации несет в себе каждый такой сигнал?

Решение.

· Каждое окно несет в себе 1 бит информации: горит - не горит.

· Количество различных равновероятных сигналов, передаваемое с помощью 14 бит равно 2¹⁴ = 16 384

· Каждый из 16 384 сигналов несет в себе 14 бит информации.

Задачи для самостоятельной работы.

Задача.

Для дистанционной передачи роботу различных команд применяются сигналы в 6 бит, причем сигнала в 5 бит недостаточно для передачи всех команд. Может ли общее количество всех команд для этого робота быть равно

42 командам? 70 командам?

28 командам? 55 командам?

Какое наименьшее и какое наибольшее количество команд может получать робот?

Задача

Одиннадцать одноклассников решают голосованием, куда пойти после уроков. При голосовании каждый может быть либо “за” либо “против”. Сколько различных вариантов голосования может быть? Сколько бит потребуется, чтобы закодировать результаты голосования?

Задача

Какое минимальное количество бит информации требуется для кодирования всех букв русского алфавита?

Задача

Друзья в соседних домах договорились передавать друг другу сообщения в виде световых сигналов. Сколько лампочек им понадобиться для кодирования 10 различных слов?

Задача

В компьютерной игре распознаются 65 различных команд управления. Сколько бит требуется отвести в блоке памяти для кодирования каждой команды? Достаточно ли отведенных бит для кодирования 100 команд?