Шаг 6. Возьмем короткий отрезок текста на одном из заданных языков и найдем количество заключенной в нем информации

Поскольку речь идет о конкретном отрезке текста, его энтропия находится по формуле

Н = -log₂P, (4)

где Р – вероятность получения именно этого конкретного отрезка текста. Если не учитывать связи между буквами, то вероятность получения данного конкретного отрезка текста равна произведению вероятностей появления букв, из которых он состоит. Далее для расчета количества информации в этом тексте используют формулу 4.

Шаг 7. Проделаем те же операции с учетом зависимости двух соседних букв того же текста.

При учете статистической связи между буквами буквы текста разбиваются на пары. Вероятности появления этих пар перемножаются и полученное произведение опять же подставляется в формулу 4.

Шаг 8. Напишем отчет о выполненной работе с описанием всех вычислений и о том, как они выполнялись. Прокомментируйте результаты.

Результаты вычислений представьте в виде таблицы:

По данным, внесенным в таблицу сделайте выводы – объясните характер изменения энтропии при переходе к учету связей между буквами, сравните два языка по информативности. Учтите, что расчет энтропии при учете связей между соседними буквами относится к двум, а не к одной букве. Вам же нужно найти среднюю энтропию одной буквы. Поэтому результат расчета нужно поделить на 2.

Шаг 9. Сдайте или отослать по электронной почте отчет на проверку преподавателю.

Шаг 10. Защитите лабораторную работу у преподавателя.

Варианты задания

Результаты работы

В результате выполнения работы должен быть представлен doc-файл отчета и файлы с исходными данными и программами (возможно файл в формате Excel).

Сдача работы

Сдача работы преподавателю происходит в форме собеседования.

Вопросы для самопроверки

1) Дайте определение меры количества информации по Шеннону.

2) Напишите выражение энтропии источника независимых дискретных сообщений.

3) Как изменяется энтропия источника при учете зависимости между буквами, составляющих сообщение?

4) В каком случае количество информации, приходящееся на букву сообщения, и энтропия источника совпадают?

5) Как связаны энтропия сложного сообщения с энтропиями составляющих его сообщений в случае их статистической независимости?

6) В каком случае энтропия максимальна?

Литература

1. Мацканюк А.А. Теория информации и кодирования. Учебное пособие. СГУТКД,. 2003. -165 с. илл.

3. Темников Ф. Е. и др. Теоретические основы информационной техники. Учебн. пособие для вузов - 2-е изд., перераб. и доп. -М.:Энергия, 1979.-512с.

4. Кузин Л. Т. Основы кибернетики. Том 1. Математические основы кибернетики. Учебное пособие для втузов. -М.:Энергия, 1973. -504 с.

5. Цымбал В. П. Теория информации и кодирование. -Киев:Вища школа; 1977. -288 с.