Некоторые определения

Данные или сигналы, организованные в определенные последовательности, несут информацию не потому, что они повторяют объекты реального мира, а по общественной договоренности о кодировании, т.е. однозначной связи знаков и объектов, например: предметы и слова для их обозначения. Кроме того, первичные сигналы могут быть порождены естественными законами реального мира, например: напряжение на выходе термопары под действием температуры.

Информация, основанная на однозначной связи знаков или сигналов с объектами реального мира, называется семантической или смысловой.

Информация, заключенная в характере (порядке и взаимосвязи) следования знаков сообщений, называется синтаксической.

Также в общей науке о знаках (семиотике), кроме перечисленных, выделяют сигматический и прагматический аспекты информации. В первом случае изучается вопрос о выборе знаков для обозначения объектов реального мира, во втором случае ─ о ценности информации для достижения поставленных целей.

Очевидно, что наибольший практический интерес представляют смысловой (семантический) и прагматический аспекты. Однако до сих пор не определены объективные количественные критерии меры ценности и полезности информации. В курсе теории информации изучаются проблемы синтаксического уровня, касающиеся создания теоретических основ построения систем связи, основные показатели функционирования которых были бы близки к предельно возможным.

Иначе говоря, рассмотрению подлежат вопросы доставки получателю информации как совокупности знаков. При этом игнорируется ее смысловое и прагматическое содержание. Синтаксическая мера информации имеет практическую ценность потому, что интересующая в конечном итоге получателя семантическая информация заключена в заданной последовательности знаков или первичных сигналов. Чем больше знаков передаются в определенный интервал времени, тем в среднем больше передается и смысловой информации.

Классическая теория информации представляет собой ветвь статистической теории связи. Для того, чтобы более конкретно обозначить предмет этой науки введем некоторые понятия и определения.

Информация передается и хранится в виде сообщений.

Под сообщением понимают совокупность знаков или первичных сигналов, содержащих информацию. Иначе говоря, сообщение ─ это информация, представленная в какой-либо форме. Пример сообщений: текст телеграммы, данные на выходе компьютера, речь, музыка и т.д.

Для того чтобы сообщение можно было передать получателю, необходимо воспользоваться некоторым физическим процессом, способным с той или иной скоростью распространяться от источника к получателю. Изменяющийся во времени физический процесс, отражающий передаваемое сообщение, называется сигналом.

Сообщения могут быть функциями времени (когда информация представлена в виде первичных сигналов: речь, музыка) и не являться ими (когда информация представлена в виде совокупности знаков).

Сигнал всегда является функцией времени.

В зависимости от того, какие значения могут принимать аргумент (время t) и уровни сигналов, сигналы делят на 4 типа.

1) Непрерывные или аналоговые сигналы (случайные сигналы этого типа называются непрерывными случайными процессами). Они определены для всех моментов времени и могут принимать все значения из заданного диапазона (рис. 0.3).

Рис. 0.3. Аналоговый сигнал.

Чаще всего физические процессы, порождающие сигналы, являются непрерывными. Этим и объясняется второе название сигналов данного типа ─ аналоговые, т.е. аналогичные порождающим процессам.

2) Дискретизированные или дискретно-непрерывные сигналы (случайные сигналы этого типа называют процессами с дискретным временем или непрерывными случайными последовательностями). Они определены лишь в отдельные моменты времени и могут принимать любые значения уровня (рис. 0.4).

Рис. 0.4. Дискретизация по времени.

Временной интервал Dt = t_k+1 - t_k между соседними отсчетами называется шагом дискретизации. Часто такие сигналы называют дискретными по времени.

3) Квантованные или дискретные по уровню сигналы (случайные сигналы этого типа называют дискретными случайными процессами). Они определены для всех моментов времени и принимают лишь разрешенные значения уровней, отделенные друг от друга на величину шага квантования DX=X_k+1 - X_k (рис. 0.5).

Рис. 0.5. Квантование по уровню.

4) Дискретизированные и по уровню и по времени сигналы (случайные сигналы этого типа называют дискретными случайными последовательностями). Они определены лишь в отдельные разрешенные моменты времени и могут принимать лишь разрешенные значения уровней (рис. 0.6).

Рис. 0.6. Одновременные дискретизация по времени и квантование по уровню

Совокупность технических средств, используемых для передачи сообщений от источника к потребителю информации, называется системой связи (рис. 0.7).

Рис. 0.7. Общая схема системы связи.

Она состоит из 5 частей.

Источник сообщений, создающий сообщения или последовательность сообщений, которые должны быть переданы. Сообщения могут быть разных типов: последовательности букв или цифр (как в системах телеграфа и передачи данных), одна или более функций времени (как в системах передачи звука в моно- и стереозвучании) и т.д.

Передатчик преобразует сообщения в сигналы со свойствами зависящими от характеристик используемого канала.

Канал - комплекс технических средств, обеспечивающий передачу сигналов от передатчика к приемнику. В состав канала входит каналообразующая аппаратура, осуществляющая сопряжение выходного и входного сигналов соответственно передатчика и приемника с линией связи, и самой линии связи.

Линией связи называется среда, используемая для передачи сигнала от передатчика к приемнику. Это может быть, например, пара проводов, коаксиальный кабель, область распространения радиоволн, световод и т.д. Обычно входными и выходными сигналами линии связи являются сигналы первого типа, т.е. непрерывные. Вместе с тем, на входе и выходе канала могут присутствовать сигналы и других типов.

Канал называется дискретным, если на его входе и выходе присутствуют сигналы, дискретные по уровню (сигналы типа 3,4).

Если сигналы на входе и выходе канала непрерывны по времени (типа 1 или 2) то он называется непрерывным.

Если сигналы на входе (выходе) дискретны, а на выходе (входе) непрерывны по уровню, то канал называется дискретно-непрерывным (непрерывно-дискретным) или полунепрерывным.

В общем случае при передаче по каналу сигнал искажается шумом, что соответствует наличию в схеме (рис. 0.7) источника шума.

Приемник обычно выполняет операцию обратную по отношению к операции, производимой передатчиком, т.е. восстанавливает переданное сообщение по принятому сигналу. Сложность построения приемника обусловлена изменением формы принимаемых сигналов, что связано с наличием шума.

Получатель - это лицо или аппарат, для которого предназначено сообщение.

Процесс преобразования сообщения в сигнал, осуществляемый в передатчике, и обратный ему процесс, реализуемый в приемнике, назовем, соответственно, кодированием и декодированием.

Тогда круг проблем, составляющих основное содержание классической ТИ (далее просто ТИ), можно охарактеризовать как исследование методов кодирования для экономичного представления сообщений различных источников и для надежной их передачи по каналам связи с шумом.

Классическая ТИ базируется на статистическом описании источников сообщений и каналов связи. При этом используется статистическая мера количества информации, определяемая только вероятностными свойствами сообщений и не зависящая ни от каких других их свойств.

На основе ТИ можно ответить на вопросы о предельных возможностях (т.е. о максимально достижимых характеристиках) различных систем, определить в какой мере проектируемая система уступает теоретически возможной. В некоторых случаях логика рассуждений, используемая в ТИ, подсказывает путь, на котором может быть найдено конструктивное решение для реальной системы.

Датой рождения ТИ является 1948 год ─ год появления основополагающей статьи Клода Шеннона Математическая теория связи. Начиная с этого времени, ТИ интенсивно развивалась, в немалой степени благодаря работам и наших соотечественников Колмогорова, Добрушина, Харкевича, Хинчина и других.

Меры информации

Прежде, чем перейти к мерам информации, укажем, что источники информации и создаваемые ими сообщения разделяются на дискретные и непрерывные. Дискретные сообщения слагаются из конечного множества элементов, создаваемых источником последовательно параллельно или последовательно-параллельно во времени. Набор элементов называется алфавитом источника, а элементы ─ буквами. Понятие буква в данном случае шире, чем в письменности, Оно может включать в себя цифры, буквы и другие знаки. Число букв в алфавите называется объемом алфавита. Источник дискретных сообщений называется дискретным, в противном случае ─ непрерывным.

Дискретный источник за конечное время создает конечное множество сообщений. Типичным дискретным сообщением являются текст, записанный с помощью какого-либо алфавита, последовательность чисел, представленных знаками.

Непрерывные сообщения отражаются какой-либо физической величиной, изменяющейся в заданном интервале времени. Получение конечного множества сообщений за конечный промежуток времени в данном случае достигается путем дискретизации по времени и по уровню.