Оптоэлектронные сенсорные системы взаимодействия человека с электронной техникой.

Сенсорные панели и экраны применяют в качестве интерфейсовввода/вывода во многих современных компьютерных системах и в сотовых аппаратах.

Сенсорные экраны обеспечивают дружественный и естественный интерфейс взаимодействия человека и электронной технике.

При создании таких экранов используются различные типы технологий обеспечивающие чувствительность к прикосновению, нажатию или приближению к дисплейной поверхности пальцев рук или вспомогательных предметов – указок или контактных перьев (стилусов) . По числу физически различных одновременных контактов, которые оператор производит на сенсорной поверхности, различают одноконтактные (singl point) и многоконтактные (multi – touch) устройства ввода.

При подготовке данного подраздела использовались материалы работы [89].

Возможность непосредственного управления объектами на экране при помощи только рук, исключая вспомогательные устройства – рук, исключая вспомогательные устройства – сенсорные коврики, указатели или стилосы, имеют большое значение в развитии современных информационных технологий.

Интуитивность и здравый смысл в действиях, адекватность движений – неотъемлемое свойство этой технологии. Отсутствие движущихся механических частей и дополнительных устройств повышают надежность работы электронной техники, в частности, компьютерных систем.

Многоконтактные (multi-touch или multi - point) технологии обеспечивают определение положения координат одновременно нескольких точек касания. При работе с графическими объектами на экране сенсорного дисплея оператор может работать несколькими пальцами одновременно (multi – finger или bi - finger) или пальцами двух рук (multi – hand, bi - manual). Multi – touch технологии также поддерживают интерфейс для работы с одним сенсорным дисплеем нескольких пользователей одновременно (режим multi – user). При этом обеспечивается не только определение координат одновременно нескольких точек касания, но и идентификация пользователей, а также соответствующих образов пальцевых жестов при манипуляциях в экранном поле.

Разработаны алгоритмы multi – touch интерфейса, который позволяет работать нескольким пользователям сразу с несколькими различными дисплейными системами, множеством источников графической информации и разнообразными графическими объектами.

Интерфейс пользователя определяется двумя компонентами – физического уровня (аппаратного) и программного. Физический уровень определяется возможностями самой сенсорной панели (разрешающая способность, чувствительность к силе нажатия, возможность масштабирования от малых до больших форматов экранов)

Программная компонента обеспечивает интерпретацию данных, полученных от устройства ввода, и реализованию логического управления объектами, представленными на экране графическими изображениями.

Для программной поддержки одноконтактных сенсорных панелей в основном использовалась эмуляция интерфейса мыши, что было вполне логично и адекватно выполняемым действиям.

Диапазон применений multi-touch технологий довольно широк. Они могут быть применены как в больших настенных проекционных экранах, размером несколько квадратных метров, так и в мобильных ручных устройствах.

В настоящее время для реализации multi – touch сенсорных экранов используется несколько базовых технологий, рассмотренных в [89].

В первой применяются дисплеи (ЖК – дисплеи, ЭЛТ) и накладная чувствительная прозрачная панель. Во втором случае используется проецируемое изображение и чувствительная к нажатию панель (сенсорный планшет).

В третьем случае положения пальцев пользователя или нескольких пользователей осуществляется с помощью нескольких видео камер. Распознавание жестов выполняется путем цифровой обработки изображения указателей (пальцев рук, стилосов). Устанавливается положение, ориентация, определение векторов движений при перемещении и повороте объектов.

Возможности multi – touch технологий рассмотрим на примере оптической сенсорой системы Thin Sight.

Thin Sight – оптическая чувствительная система, которая интегрирована в дисплей. Она обеспечивает возможность обнаружение прикосновения от нескольких пальцев одновременно с распознаванием и интерпретацией жестов в язык управления объектами на экране.

Интерфейс аппаратно реализуется в виде платы тонкого профиля, которая монтируется сзади ЖК-панели, например ноутбука. Уникальная особенность разработки – устройство полностью состоит из элементов, которые производятся серийно и доступны всем. Принцип работы основан на использовании машинного зрения. В данном случае система зрения реализована на матрице дискретных фотодатчиков, которые фиксируют профиль изображения, полученный в результате отражения при облучении точечными сканируемыми ИК – светодиодами объектов (рук оператора), находящихся прямо перед экраном. Рис. 8.20 иллюстрирует принцип работы фотоприемников матричного зрения сенсорной системы ThinSight.

На стороне, обращенной к поверхности ЖК – дисплея, расположен массив датчиков приближения. На обратной стороне платы находятся транзисторные полевые ключи, микроконтроллер Microchip и микросхема USB-интерфейса. Можно использовать контроллеры со встроенным USB.

В системе используется датчики расстояния отражательного типа с аналоговым выходом.Чувствительность к приближению объекта—от 0 до 60 мм.

Датчики имеют низкий темновой ток и высокое отношение сигнал/шум,

благодаря сочетанию высокой мощности инфракрасного излучателя и высокой чувствительности фотодетектора.

Рис. 8.20.Принцип работы фотоприемников матричного зрения

Инфракрасный поток проходит через структуру ЖК-дисплея и, отразившись от пальцев оператора, опять проходит через ЖК-панель и попадает на фотодатчики. Без ЖК-дисплея до 20% энергии возвращается к фотодатчику, отразившись от объекта, находящегося на расстоянии до 100 мм. При наличии ЖК-панели между излучателем и объектом, за счет поглощения, порог чувствительности для обнаружения движения пальцев над поверхностью ЖК-панели понижается до 10 мм. Схема приведена на рис. 8.21.

Управление сканированием производится микроконтроллером Microchip. Считанные уровни напряжений подавались на входы встроенного в микроконтроллер АЦП, оцифровывались и передавались для окончательной обработки профиля изображений в персональный компьютер через USB-интерфейс. В прототипе использовались три одинаковых фотосенсорных модуля.

Рис. 8.21. Схема управления матричным фотосенсорным модулем

Рис. 8.22. Варианты применения интерфейса ThinSight в качестве интегрированного многофункционального интерфейса

Аппаратная реализация интерфейса очень проста, доступна для повторения и не требует специальной технологии. Кроме того, разработчики придумали для своего детища множество приложений. Действительно, имея встроенный массив ИК-приемников и передатчиков, можно, например, обеспечить интерфейс с мобильными устройствами, подносимыми к экрану. Причем процесс установления связи непотребует от оператора выбора специально-

го режима настройки. Система ThinSight сама обнаружит в ближайшем окружении это устройство и образует связь. Другая функция, автоматически поддерживаемая ThinSight, способность работать с ИК-указками (рис. 8.22).

То есть оператор может дистанционно управлять объектами на экране с помощью ИК-курсорного указателя.