Лекция № 7 Тема: Назначение, классификация и область применения систем обработки визуальной информации

Назначение, классификация и области применения

В различных областях науки и техники ощущается рост потребностей в переработке, анализе и отображении визуальной, информации. В этом направлении принято выделять три основных типа задач: собственно обработку изображений, когда и исходные данные, и результаты обработки представляются в изобразительной форме; анализ (интерпретацию, распознавание или "понимание") изображений, когда входные данные являются изображением, а результат представляется в неизобразительной фор­ме, например в виде текстового описания наблюдаемой сцены; синтез изображений (машинную графику), когда на входе имеется описание (алгоритм построения) изображения, а на выходе но нему строится само изображение. Взаимосвязь трех перечисленных типов задач показана на рис. 1.

Обработка изображений связана с преобразованием изобразительной информации вновь в изобразительную форму. Примером здесь может служить устранение искажений или дефектов на изображении, улучшение качества получаемой визуальной информации путем повышения контраста, подчеркивание контуров объектов и т. д.

Задачей анализа изображений является получение из изображения, поданного на вход системы, неизобразительного описания. Это описание может быть различных уровней общности— от простого указания номера или имени класса, к которому относится анализируемое изображение, до подробной характеристики наблюдаемой сцены с указанием отдельных объектов и отношений между ними. В последнем случае обычно говорят о «понимании» изображений. Иногда называют анализ изображений распознаванием, хотя, этот термин имеет более узкое значение, относясь преимущественно к идентификации отдельных объектов на изображениях. К типичным задачам анализа можно отнести распознавание рукописных или печатных знаков, дешифрацию аэрофотоснимков, анализ наблюдаемых сцен.

Синтез изображений обычно отождествляют с машинной графикой. В настоящее время синтезируются на ЭВМ не только «графические» картины, наоборот, синтез все больше претендует на создание полноцветных реалистических изображений по их описаниям в неизобразительной форме. Сюда относятся и системы имитации визуальной обстановки на тренажерах, и системы геометрического моделирования в САПР, и системы компьютерного киноискусства. Наряду с этим сохраняются и традиционные приложения машинной графики: вывод информации на экран дисплея в виде диаграмм, графиков; построение чертежей и т.д.

Рис. 1. Взаимосвязь направлений цифровой обработки изображений

Интерактивной графикой называют направление, предполагающее не только синтез изображения машиной, но и ввод пользователем в систему данных в графической форме, например, с помощью светового пера или манипулятора типа "мышь".

Системы обработки и анализа видеоданных, которые обычно работают со входной информацией в виде полутоновых или многоспектральных изображений, в нашей стране обычно объединяют под названием автоматизированных систем обработки изображений (АСОИз). В настоящее время системы, решающие достаточно сложные и «интеллектуальные» задачи анализа изображений, принято выделять в отдельный класс систем анализа изображений (САИ). Системы, задачами которых являются синтез изображений и обработка графической информации, называют системами машинной графики (СМГ); употребляется также термин «системы обработки графической информации» (СОГИ). Следует отметить, что такое деление достаточно условно, и за последнее время наметилась устойчивая тенденция к сближению этих систем. Все чаше АСОИз оперируют графической информацией, решая в том числе и задачи синтеза, а СМГ применяются для построения полутоновых изображений с привлечением различных методов их обработки.

Степень «интеллектуализации» АСОИз и систем машинной графики может быть различной в зависимости от уровня представления и использования в этих системах знаний специалистов по обработке изображений и специалистов предметных областей. Она колеблется от возможности применения набора утилит (операций) обработки, анализа или синтеза изображений, которые в грубом приближении можно интерпретировать как записанные в процедурной форме записи специалистов, до поддержки специальных баз знаний в развитых экспертных системах анализа изображений.

Рассмотрим системы трех классов:

- традиционные «мало интеллектуальные» АСОИз, без понимания состава, функций и особенностей построения которых трудно представить себе уровень развития интеллектуальных систем;

- системы анализа видеоданных, основанные на знаниях, которые образуют специальный класс экспертных систем анализа изображений;

- интеллектуальные системы машинной графики.
Автоматизированные системы обработки изображений

Одно из направлений наиболее широкого практического применения АСОИз— обработка результатов дистанционных исследований. Среди многочисленных развивающихся прикладных областей здесь можно упомянуть: геологию (исследование и поиск природных и ископаемых ресурсов); сельское и лесное хозяйство (обнаружение аномалий, слежение за состоянием участков, предсказание урожая); анализ состояния окружающей среды и климата; метеорологию (предсказание погоды, анализ воздушных течений и температурных полей); гидрологию и океанографию (наблюдение за водными ресурсами, течениями, распределениями температуры, планктона, льдов); картографию (составление фотографических и других карт, накопление картографических данных, территориальный анализ); слежение за объектами на земной поверхности (транспорт, судовождение и т. д.).

Быстро развивается направление обработки биомедицинских данных. Здесь АСОИз находят применение в микробиология и цитологии (анализ снимков с микроскопов, анализы крови, хромосомный анализ), рентгенологии, ультразвукоскопии, инфраскопии (обработка двух - и трехмерных изображений внутренних органов, анализ распределения температур тела, томография), сравнительных исследованиях (идентификация отпечатков пальцев, идентификация состояний больных). Недостаточно развито пока применение АСОИз в производственных системах, однако потребности автоматизации управления и производства должны привести к быстрому росту числа применений АСОИз в таких областях, как материаловедение (обнаружение дефектов, анализ и предсказание свойств материалов, структурный анализ), сборочные работы (системы технического зрения для роботов и гибких автоматизированных производств), системы ориентации и анализа обстановки в реальном времени (для различных видов транспорта, летательных и космических аппаратов).

Исследовательские АСОИз создаются обычно как «универсальные», не привязанные жестко ни к какому классу видеоданных. В то же время данные конкретных предметных областей имеют свою специфику и особенности, что необходимо требует проблемной ориентации АСОИз, разрабатываемых для прикладных применений. Первые такие системы были специализированными, пред­назначенными для решения конкретных узких задач с помощью ограниченного набора алгоритмов. С развитием методов обработки изображений, удешевлением аппаратуры, появлением новых технологий (и первую очередь СБИС) и технических средств (микропроцессоров, интеллектуальных видеотерминалов, памяти большой емкости и т. п.) проявилась устойчивая тенденция к переходу от систем специализированных к системам проблемно-ориентированным, призванным решать некоторый класс задач в рамках данной предметной области.

Проблемно-ориентированные прикладные АСОИз используют, как правило, достаточно богатый арсенал различных методов и средств обработки данных, анализируют различную входную информацию, активно используют возможности человека. Поэтому в таких системах должны быть функциональные различные блоки и подсистемы, обеспечивающие не только решение собственно задач обработки изображений, но и ввод и обработку других типов данных и знаний, накопление, хранение и отображение результатов, организацию взаимодействия с пользователем и другими системами. Наличие разнородных компонентов, работающих совместно для достижения общей цели, есть признаки превращения современных АСОИз в интегрированные системы.

Внутренняя интеграция затрагивает различные компоненты АСОИз: средства и методы обработки, сами обрабатываемые данные.

Интеграция средств обработки означает объединение в системе различных универсальных и/или специализированных устройств, имеющих возможность параллельной работы над данными.

Интеграция методов обработки означает наличие в системе функциональных подсистем и обрабатывающих алгоритмов для решения широкого круга задач и достижения результатов различными путями (возможно, параллельными). При этом к результату и приходят различными доступными путями, применяя разные методы к одним и тем же данным и интегрируя (на основе опыта и интуиции исследователя или заложенных в систему знаний) получаемую выходную информацию.

Рис.2 Структура интегрированной АСОИз

Работа по анализу изображения становится своего рода многократным экс­периментированием с исходными данными. Характерной чертой такого эксперимента является совместное применение методов обработки изображений, математической статистики, искусственного интеллекта, анализа данных и других, причем в обработку по возможности вводятся все доступные данные, включая промежуточныерезультаты. Появляется необходимость организации эффективного обмена данными в системе, создания развитых средств хранения и обеспечения доступа к данным (включая базы видеоданных). В настоящее время это уже характерно для многих АСОИз, применяемых в дистанционных исследованиях.

Ключевым звеном АСОИз обычно считается процессор(ы), производящий обработку изображении. В первых* системах в качестве обрабатывающего процессора часто применялись крупные универсальные ЭВМ, работающие в режиме разделения времени. Это решение оказалось малоэффективным, поскольку и системы команд, и операционные системы таких ЭВМ не ориентированы на задачи обработки изображении. В архитектуре АСОИз 70-х годов наряду с появлением специализированных процессоров обработки изображений получило широкое распространение «монопольное использование средних и малых ЭВМ, ориентация которых на решение задач видеоданных достигалась разработкой соответствующего программного обеспечения. В настоящее время широкое распространение получили так называемые рабочие станции обработки изображений и системы, построенные на базе персональных ЭВМ.

Наличие одного процессора редко удовлетворяет требованиям по производительности системы, особенно при больших потоках обрабатываемых данных. Крупные АСОИз строятся на основе специальных многопроцессорных конфигураций для параллельной обработки элементов одного или нескольких изображений, при этом упомянутые средние или малые ЭВМ обычно переходят в разряд управляющих.

Другими архитектурными компонентами АСОИз являются:

- устройства ввода видеоданных в систему (ТВ-камеры, дальномеры, малокадро­вые сканеры, фототелеграфные аппараты и т. д.);

- устройства отображения (ТВ-мониторы, растровые и векторные дисплеи, устройства вывода на твердые носители - бумагу и фотопленку, графопостроители);

- запоминающие устройства (на гибких и жестких магнитных дисках, оптических дисках; устройства расширения оперативной памяти для хранения изображений).

В настоящее время в интегрированных системах аппаратно реализуются не только параллельные процессоры обработки изображений, но и другие подсистемы, ранее традиционно реализуемые программным путем. Прежде всего это средства доступа к различным видам памяти и средства, поддерживающие принятие решений. Особенно большую пользу приносят такие реализации при решений задач распознавания образов, интерпретации видеоданных, анализа сцен. Фактически аппаратные средства здесь поддерживают функционирование базы данных и базы знаний, но на качественно ином уровне. Основные решаемые задачи для базы видеоданных — это поиск эталонных объектов или их отдельных частей (видеопризнаков), поиск необходимых изображений по их идентификаторам. Чтобы решить эти задачи, разрабатываются специализированные процессоры баз видеоданных и массивы ассоциативной памяти с возможностью контекстного доступа к информации (адресация по содержимому).

Важное направление развития программного обеспечения АСОИз—создание эффективных систем хранения и поиска видеоданных (баз и банков видеоданных). Потребность в базах видеоданных ощущается в области дистанционных исследований, поэтому именно здесь можно проследить тенденции развития программного обеспечения этих систем.

Все чаще в состав программного обеспечения АСОИз включаются и средства ведения баз знаний. Пока это преимущественно специализированные подсистемы для использования базы знаний о конкретной предметной области (например, о поиске месторождений определенного типа на аэрофотоснимке), но в скором времени можно ожидать появления инструментальных средств для разработки и наполнения знаниями экспертных систем анализа визуальной информации.

Системы анализа изображений

Выделяют три основных класса задач, решаемых САИ (системы анализа изображения), которые определяют их различное назначение:

1. Распознавание объектов. В системах этого типа решаются задачи локализации определенных объектов в поле изображения, измерения заданных параметров этих объектов, принятия решения по полученным результатам измерений. Примерами могут служить системы медицинской диагностики, где необходимо локализовать участки изображения, указывающие на отклонение от нормы, определить степень отклонения; системы контроля протекания процессов (например, сгорания топлива в камере котельной); системы локализации дефектов печатных плат и др.

2. Содержательная интерпретация изображений. К системам, в которых решается эта задача, относится большинство САИ. Сюда входят системы управления движением робота по поступающей видеоинформации, интерпретации аэрофотоснимков, анализа снимков и сопоставления их с картой местности и др. В отличие от систем первого типа в данном случае задача заключается в полной содержательной интерпретации снимка, «понимании» отношений, связывающих объекты реального мира, представленные своими проекциями на двухмерном изображении.

3. Получение справочной информации в архивах видеоданных. Задачей этих систем является выдача информации пользователю о наличии объектов определенного типа на изображениях, хранящихся в архиве видеоданных, его параметрах, отношений к другим объектам и т. п. Запрос может быть представлен как текстовое описание объекта или как видео образ. К системам такого типа относятся различные информационно-поисковые системы в картографии, метеорологии, криминалистике и т. п.

Для решения указанных задач САИ должны обеспечивать выполнение ряда функций, среди которых основными являются следующие.

1. Хранение и поиск формализованных знаний экспертов предметной области и обработки изображений, формализованными знаниями являются установленные факты, закономерности, количественные соотношения, видеоданные (эталоны, прототипы объектов), а также правила, определяющие последовательность и состав операции над данными для достижения заданных целей (например, для получения проекции трехмерного тела на плоскость).

2. Выполнение операций обработки изображений (контрастирование, устранение шума, выделение контурных линий и т. п.).

3. Выполнение операций логических выводов на основе формализованных знаний и результатов обработки видеоданных, построение и проверка гипотез.

4. Анализ промежуточных результатов работы системы и принятие решений о дальнейших действиях, невозможности решения задачи, необходимости до­полнительной информации и др.

5. Анализ запросов пользователя, поддержка диалога, документирование действий системы и формирование пояснений пользователю.

6. Пополнение баз знаний и видеоданных системы новыми сведениями, данными.

Конкретная САИ не обязательно выполняет все перечисленные функции.
Современные системы анализа изображений довольно разнообразны по своей структуре и организации взаимодействия ее составных частей.

На рис. 3 приведена упрощенная структурная схема ЭСАИ в ее наиболее полном варианте, соответствующая системе содержательной интерпретации изображений.

Рис. 3. Структура экспертной системы анализа изображений

Подсистема хранения и обработки изображений содержит программные и аппаратные модули для выполнения различных операций над видеоданными, поиска изображений по видео- и текстовому запросу, а также архив изображений. Важной особенностью подсистемы является модульный принцип построения, благодаря которому система может собирать технологические цепочки последовательностей операций для решения конкретных задач. Решению этой задачи могут предшествовать операции поиска заданного изображения в базе видеоданных.

В базе знаний системы хранятся формализованные знания специалистов предметной области и обработки изображений. Условно в ней можно выделить два компонента: декларативные и процедурные знания.

Декларативные знания отражают сведения об объектах, их составе, взаимном расположении, характере появления, описывают отношения между объектами и т. п. Выделяют три типа описания объектов: контекстное, визуальное и характеризующее повторяемость объекта в сцене. Следует отметить, что для большинства ЭСАИ существенная часть декларативных знаний связана с пространственными, количественными, классификационными отношениями объектов, а такие отношения, как временные, причинно-следственные, пока еще слабо используются,

Особенно следует отметить отношение типа обобщение-спецификация, ис­пользуемое в большинстве современных ЭСАИ и отражающее иерархию абстракций -последовательности представлений объектов от примитивов (перепадов яркостей, однородных участков и т. п.) до абстрактных понятий (здание, дорога, автомобиль и т. п.). Построение иерархий абстракций является ключевым моментом воспроизведения процесса восприятия. Считается, что окончательная интерпретация изображения должна выполняться системой на верхних понятийных уровнях иерархии.

Второй основной частью базы знаний являются процедурные знания, пока­зывающие, какие действия, в какой последовательности нужно предпринимать системе при выполнении определенных условий, отражающих сложившуюся ситуацию анализа данных, формализованных знаний и результатов обработки изображений. Процедурные знания используются для выполнения двух функций: пополнения описания сложившейся ситуации новыми фактами из базы знаний; построения гипотез и выбора конкретных действий по преобразованию полученных результатов и переходу к другому состоянию решения задачи.

Процедурные знания обычно представляются в виде правил, разделенных на две части: условие выполнения действия и назначаемое действие (последовательность действий) в случае выполнения условия. Интерпретация объектов может считаться состоятельной, если выполняются все предусмотренные между ними отношения, и т. д.

Область общей памяти, называемая также доской объявлений (blackboard) или базой данных, является частью системы, обеспечивающей передачу результатов работы всех подсистем друг другу. Обычно область общей памяти представляет собой реляционную базу данных, куда в ходе решения задачи записываются промежуточные интерпретации участков изображений (карты, платы интерпретации), установленные факты, количественные соотношения и другие результаты. В область общей памяти могут заноситься также пояснения действий ЭСАИ, с тем чтобы пользователь мог при необходимости оценить рациональность поведения системы, выявить причину принятия того или иного решения.

Блок управляющих процедур и принятия решений является координирующим центром системы, анализирующим запросы пользователя, сложившуюся ситуацию анализа, определяющим контекст и стратегию решения. Информация о промежуточных результатах анализа поступает в блок из области общей памяти. По результатам анализа состояния области общей памяти (сложившейся ситуации) блок управляющих процедур и принятия решений определяет состоятельность полученной интерпретации, генерирует гипотезы (о принадлежности объектов определенным классам, о возможности нахождения других объектов и т. п.) и «поручает» другим модулям системы выполнение конкретных действий. Окончательное решение также принимается этой подсистемой.

Процесс решения задачи содержательной интерпретации изображения является многоступенчатым, итеративным. На начальной стадии обычно выполняется предварительная сегментация изображения.

Следующим этапом является получение начальной интерпретации результатов предварительной сегментации. Это включает в себя измерения определенных параметров (например, площадей или периметров полученных областей с одинаковой яркостью) и генерацию гипотез (с помощью сопоставления результатов измерений с информацией из базы знаний).

Все результаты интерпретации записываются в область общей памяти. Изменения состояния этой области означают, что процесс интерпретации не закончен. Блок управляющих процедур и принятия решений анализирует состояние области и вырабатывает новую последовательность действий. Процесс решения задачи обычно считается завершенным, если не происходят существенные изменения в области общей памяти (на карте интерпретации).

Обычно в ЭСАИ используются две глобальные стратегии решения задач интерпретации изображений (а также их комбинации): управление целью (называемое также управлением сверху вниз или обратным выводом) и управление данными (называемое также управлением снизу вверх или прямым выводом). В первом случае последовательность действии выбирается исходя из поставленной цели. Такая стратегия соответствует продвижению сверху вниз по иерархии абстракций: от понятия объекта к его геометрическим примитивам на изображении. Вторая стратегия соответствует движению в обратном направлении по иерархии абстракций. Последовательность действий определяется на основе полученных результатов обработки данных.

Большинство разработчиков ЭСАИ придерживаются мнения, что обе стратегии должны присутствовать в решении задачи системой. Переключение стратегий остается нерешенной проблемой, так же как и нет единого мнения о том, в каких случаях система должна выбирать ту или иную стратегию,

Системы машинной графики

Основными областями применения систем машинной графики являются:

- автоматизация проектирования (построение чертежей, проекций, планов,двух- и трехмерных визуальных моделей деталей и объектов);

- дизайнерские работы в таких областях, как автомобиле- и самолетостроение, архитектура, пошив одежды;

- картография (составление, корректировка, хранение и генерация карт);
автоматизация исследований (отображение в визуальной форме результатов
экспериментов, вычерчивание графиков, гистограмм, диаграмм и т. д.);

- организация эффективного взаимодействия человека с ЭВМ (графические языки, интерактивная графика);

- синтез картин и сцен (для тренажеров самолето- и автовождения, в машинной живописи, в компьютерных играх);

- синтез динамических картин (компьютерная мультипликация и
кинематография).

Машинная графика стала обязательной частью любой интеллектуальной системы, реализованной на ЭВМ. Это связано прежде всего с тем, что скорость переработки человеком информации, представленной в графической форме, выше по сравнению со скоростью переработки алфавитно-цифрового набора данных. Особенно заметен этот эффект на этапе восприятия информации, так как при этом максимально активизируется ассоциативное мышление человека. Наиболее ярко преимущества графического представления данных проявляются в интерактивных системах машинной графики, подразумевающих активную обратную связь с пользователем.

Состав типичной СМГ представлен на рис. 4. Схематически работу системы можно представить следующим образом. На основании базы знаний и банка данных ЭВМ генерирует модель «мира». Затем эта модель преобразуется программой синтеза изображения в удобную для восприятия человеком форму. Сформированная таким образом информация выдается на устройство отображения графической информации, вызывая на нем появление соответствующего изображения, которое может быть задокументированно с помощью устройства получения твердых копий. На этапе окончательного формирования изображения в него могут включаться готовые фрагменты из банка видеоданных. Пользователь через устройство ввода информации может формировать и дополнять базу знаний и банк данных, корректировать модель «мира» и программу синтеза изображения, а также производить непосредственные операции над изображением (вырезание и перемещение фрагментов, их склейку, масштабирование, раскраску и т. д.), воздействуя через сервисные программы непосредственно на буфер устройства отображения.

Модель «мира» является центральным звеном практически всех современных СМГ.

Рис. 4.

Структура системы машинной графики

По способу описание объектов модели «мира» можно разделить на модели, задающие объект в виде набора данных и в виде операции его построения. Сама операция построения может быть представлена в процедурной форме или задаваться структурой данных. Способ описания, использующий полностью детерминированное задание всех исходных данных, характеризующих объект, основывается на концепции имитации процесса фотографирования реальной сцены. Это приводит к необходимости однозначного задания всех объектов модели «мира» в момент ее «фотографирования» воображаемым фотоаппаратом. Сейчас чаще используется задание объектов «мира» в виде операции их построения. В этом случае объект синтезируется непосредственно в процессе построения. Это значительно облегчает задачу разработчика модели, так как вместо детального описания объекта он задает лишь закон его построения (например, в виде закона распределения вероятности реализации конкретных фрагментов объекта). Кроме геометрического описания объектов в модели «мира» хранятся и другие параметры, необходимые для синтеза изображения (например, цвета поверхностей объектов).

При создании модели «мира» используются база знаний и банк данных. База знаний вводит фактически законы и ограничения, действующие при создании объектов «мира». Банк данных позволяет «записывать» модель «мира» стандартными данными, необходимыми для ее работы. Банк данных и база знаний могут постоянно изменяться и дополняться пользователем в процессе эксплуатации системы.

Сформированную таким образом модель «мира» специальная программа преобразует в массив чисел, соответствующий изображению. Наиболее сложной задачей такого рода является синтез реалистичного изображения трехмерной сцены. Большой прогресс в этой области был достигнут к началу 80-х годов. К настоящему времени в процессе синтеза цветного трехмерного реалистичного изображения можно выделить следующие этапы:

- удаление скрытых поверхностей, т. е. поверхностей или их частей, которые не видны из точки нахождения воображаемого наблюдателя. Этот этап может быть выполнен, например, с помощью «алгоритма Z-буфера» или «алгоритма художника»;

- закраска видимых поверхностей с учетом свойств самой поверхности (цвет, фактура, отражательная способность), ее относительного местоположения, ориентации, а также свойств источников света и других поверхностей;

- выравнивание интенсивностей соседних поверхностей с помощью алгоритмов закраски Гуро или Фонга.

В последнее время благодаря быстрому удешевлению аппаратной части СМГ возрос интерес к синтезу динамических изображений в реальном масштабе времени, т. е, к так называемой компьютерной мультипликации. Динамическая графика наводит применение в компьютерных играх, тренажерных системах, АСНИ. При синтезе динамических объектов, движущихся по законам модели «мира», программа синтеза изображения кроме перечисленных выше операций выполняет также ряд геометрических преобразований, соответствующих моделируемому движению.

Банк видеоданных служит для воспроизведения готовых изображений и их фрагментов. Он может постоянно пополняться новыми данными, полученными как извне, так и в процессе функционирования самой системы.

В качестве базовых для синтеза изображения могут использоваться универсальные ЭВМ практически всех классов — от персональных компьютеров до суперЭВМ. Простейшими графическими средствами снабжены и современные бытовые компьютеры. Для синтеза реальных трехмерных сцен необходимы 32-разрядные ЭВМ.

Разработка графических программ на языках высокого уровня началась в конце 60-х годов. При этом широко использовалась идеология «виртуальных» устройств, обеспечивающая независимость программного обеспечения высокого уровня от особенностей внешних устройств конкретной вычислительной системы. Программист пользовался лишь координатами виртуального экрана, а программы нижнего уровня автоматически переводили их в координаты реального экрана.

Приблизительно в этот же период времени были разработаны два пакета графических программ, доступные для всех типов дисплеев. Это трехмерная система Core Graphics Svstem и двухмерная система Graphical Kernel System, принятая Международной организацией по стандартизации. Однако у этих пакетов есть существенный недостаток. Они разрабатывались еще до того, как стали отдавать предпочтение растровым дисплеям, поэтому при использовании этих пакетов невозможно в полной мере учитывать преимущества пикселей.