Шаг 4. Находим среднюю энтропию, приходящуюся на 1 букву сообщения.

Как описано в теоретическом введении, средняя энтропия находится по формулам 1 и 2. В обоих случаях нужно найти вероятности появления букв или двухбуквенных комбинаций..

Вероятности можно найти приближенно, исследуя частоты.

Для получения по этим частотам приближенных значений (оценок) вероятностей появления букв в тексте нужно сложить все частоты учитываемых букв и поделить частоту появления каждой буквы на эту сумму. Это удобно сделать в дополнительном столбце, расположенном рядом со столбцом, содержащим частоты появлений отобранных символов - букв.

До расчета средней энтропии появления букв без учета статистических связей между ними нужно найти слагаемые в формуле суммы и, наконец, просуммировать их. Это довольно просто. Напомним только, что log₂X = lnX / ln2. Можно также воспользоваться имеющейся в Excel стандартной функцией log(1 аргумент, 2 аргумент). Здесь 1 аргумент – аргумент логарияма, 2 аргумент – основание логарифма, в данном случае 2.

Для расчета оценок вероятностей появления двухбуквенных комбинаций нужно повторить вышеописанные шаги обработки информации, начиная с преобразования символов в числа. В отличие от предыдущего в этом случае в числа нужно преобразовывать не отдельные символы, а комбинации из двух символов. Здесь нужно выбрать такой способ преобразования, чтобы каждой комбинации их двух символов было поставлено в соответствие определенное число, связанное именно с этой комбинацией.

Этого можно достичь, если считать буквы символами некоторой системы счисления, а двухбуквенные комбинации – двухразрядными числами, записанными в этой системе счисления. Основание системы счисления в этом случае будет равно числу букв в алфавите. например, большинство языков, использующих латиницу, имеют в алфавите всего 26 букв. Следовательно, двухбуквенные комбинации на этом языке можно считать двухразрядными 26-ричными числами. Известно, что общее число чисел, которое может быть записано в общем случае n-разрядным m-ичным числом равно mⁿ. В данном случае это число = 26² = 676.

Сразу оговоримся, что, если в алфавите более 255 букв (языки с иероглифической письменностью), возможностей табличного процессора Excel для расчета энтропии с учетом статистической зависимости между соседними буквами становятся недостаточными и в этом случае расчет энтропии мы производить не будем.

Если же учитываемых букв в алфавите меньше 256, каждую встреченную в тексте двухбуквенную комбинацию, которую мы теперь понимаем как число, записанное в недесятичной системе счисления, нужно заменить на соответствующее число, записанное в десятичной системе счисления.

Для этого используется формула, которая студентами должна быть известна еще из школьного курса информатики:

, (3)

где В₁₀ – результат преобразования исходного m-ичного числа А_m в десятичную систему счисления;

n – количество разрядов исходного числа, записанного в m-ичной системе счисления;

m – основание системы счисления;

a_i – разряды числа А_m = a_na_(n-1)….a₁ , записанные в виде десятичных чисел.

В нашем случае n=2, а m= 26 (в некоторых вариантах латиницы).

Из вышесказанного следует такой план действий:

· отдельные буквы преобразуем не в коды, а номера их следования в алфавите (номера будем отсчитываю не с 1, а с 0):

· для образования уникального для каждой двухбуквенной комбинации числа используем формулу 3.

Преобразование символа в его номер в алфавите удобно выполнять при помощи функции ВПР.

Напомним, что функция ВПР предназначена для поиска одних значений по другим. Она имеет 3 аргумента: первый – для указания искомой величины, второй – для указания местоположения таблицы, в первом столбце которой ищется искомая величина; третий – для указания столбца из клетки которого выбирается результат поиска. Более подробное описание функции ВПР смотрите в приложении 3.

Создадим еще один рабочий лист (Лист4). В нем на месте, под которым на исходном листе нет символов, создадим таблицу, в первом столбце которого будут находиться учитываемые символы алфавита, а справа во втором столбце – их номера по порядку, начиная с номера 0.

Теперь можно заняться преобразованием символов в их номера в алфавите. Для этого можно использовать, например, такую формулу:

A1 ← = если ( еошибка ( впр (………!A1; $BR$1 : $BS$26; 2 ) ); -1; впр (………!A1; $BR$1:$BS$26 ; 2 ) )

Шаг 5. Находим абсолютную и относительную избыточности источника сообщений на заданных языках, сравнить эти языки по степени избыточности написанных на них текстов без учета и с учетом статистических связей между соседними буквами если размер алфавита языка позволил его произвести.

Согласно [1], различают 2 вида избыточности – абсолютную и относительную.

Абсолютная избыточность D_abs находится в виде разности между максимально возможной H_max и действительной энтропией H сообщения:

D_abs = H_max - H

Относительная избыточность D находится как отношение абсолютной избыточности D_abs к максимальной энтропии H_max:

Максимального значения энтропия достигает при равной вероятности всех букв сообщения.

Максимальная энтропия находится по формуле:

H_max = log₂m

Здесь m - количество учитываемых букв или двухбуквенных комбинаций.

Таблица с результатами вычисления должна содержать от 2 до 4 значений энтропий. Вам необходимо сравнить значения энтропий и по 2 значения избыточности для каждой энтропии. Нужно также по сведенным в таблицу данным сделать заключение о степени информативности исследованных языков, сравнивая их энтропии разных языков между собой и с учетом влияния статистической связи между буквами.