Понятие нейронной сети

Нейронная сеть является совокупностью элементов, соединенных некоторым образом так, чтобы между ними обеспечивалось взаимодействие. Эти элементы, называемые также нейронами или узлами, представляют собой простые процессоры, вычислительные возможности которых обычно ограничиваются некоторым правилом комбинирования входных сигналов и правилом активизации, позволяющим вычислить выходной сигнал по совокупности входных сигналов. Выходной сигнал элемента может посылаться другим элементам по взвешенным связям, с каждой из которых связан весовой коэффициент или вес. В зависимости от значения весового коэффициента передаваемый сигнал или усиливается, или подавляется.

Работа формального нейрона (рис.2) может быть описана уравнениями:

Y_j = F(net_j – K_j), (1)

net_j = S_iw_jiX_i, (2)

где j- номер нейрона в сети, X_i - входные сигналы, Y_j – выходной сигнал нейрона, w_ji – веса синапсов (связей), net_j – суммарное входное воздействие на нейрон, K_j – порог нейрона, F( ) – активационная функция.

Активационная функция характеризует реакцию нейрона на входное воздействие net_j, она может быть пороговой, некоторой непрерывной или логистической.

Рис. 2.Схема формального нейрона [24]

Одним из самых привлекательных аспектов использования нейронных сетей заключается в том, что, хотя элементы такой сети имеют очень ограниченные вычислительные возможности, вся сеть в целом, объединяя большое число таких элементов, оказывается способной выполнять сложные задачи. Структура связей обычно определяется в два этапа: сначала разработчик системы указывает, какие элементы должны быть связаны и в каком направлении, а затем в процессе фазы обучения определяются значения соответствующих весовых коэффициентов. Преимущество нейронных сетей заключается в их способности обучаться выполнению задачи на основе тех данных, которые сеть будет получать в процессе реальной работы. Часто единственной целью обучения является проверка того, что сеть действительно сможет научиться решать поставленные перед ней задачи [21].

Если первый этап становления ИНС можно охарактеризовать, как попытку синтезировать из набора сравнительно просто функционирующих нейронов некоторую упорядоченную структуру, способную выполнять сложные нелинейные преобразования «вход-выход», то сейчас, по мере достижения успеха в решении задач первого этапа, исследования перемещаются в область психологии, когнитивных наук. Задача настоящего момента состоит в том, чтобы понять, какие сверхструктуры нейронов и как могут моделировать элементарные акты мыслительной деятельности, а затем воплотить эти принципы в работу систем управления [22].

Благодаря своим способностям к самоорганизации и обучению, ИНС рассматриваются как перспективные средства для интеллектуальных систем. Характерные черты нейронных сетей – параллельность, распределенность, самоорганизация, в то время как обычные компьютеры характеризуются последовательностью, локальностью, работой по алгоритму. «Параллельная архитектура» означает, что обработка информации выполняется несколькими центральными процессорами (ЦП), в то время как в обычных компьютерах, имеющих только один ЦП, информация обрабатывается последовательно, по шагам. Распределенная память означает, что информация хранится по многим адресам, распределенным образом, так что каждый элемент данных представляется шаблоном активности, распределенным по многим вычислительным элементам, и каждый вычислительный элемент участвует в представлении многих различных элементов данных. В обычных компьютерах реализуется локальная память, или локальное представление, в котором используется один вычислительный элемент для каждого элемента данных. На основе распределенной архитектуры представления информация в нейронных сетях может дробиться и обрабатываться по частям. Последнее из характерных свойств нейронных сетей – самоорганизация – называется также способностью к обучению. Это означает, что нейронные сети могут автономно «изучать» статические и динамические свойства управляемого объекта на основе результатов измерений, производившихся в прошлом, а затем действовать таким образом, чтобы принять лучшее решение при неизвестном состоянии внешней среды. Обычные компьютеры должны быть предварительно запрограммированы, чтобы иметь возможность обрабатывать данные. Они не могут работать за пределами решений, задаваемых программой [23].

Таким образом, достоинства нейронных сетей – параллельная обработка информации и обучаемость. Спектр задач для нейрокомпьютеров достаточно широк: распознавание зрительных и звуковых образов, создание экспертных систем и их аналогов, управление роботами, создание нейропротезов для людей, потерявших слух или зрение. Нейросетевые методы активно используются в новых кибернетических направлениях, таких как «Искусственная жизнь» и «Адаптивное поведение».

Фактическим началом исследований в области обучения нейроподобных сетей стала разработка Розенблаттом класса простых нейроподобных сетей, названного перцептроном (рис.3). Перцептрон представляет собой целый класс структур, состоящих из обрабатывающих элементов, способных передавать сигналы и изменять веса своих связей [24].

Рис. 3.Многослойный перцептрон [22]

Одно из ведущих направлений дальнейшего исследования нейронных сетей – ассоциативная память. Различают автоассоциативную и гетероассоциативную память. В обоих случаях имеется режим записи и режим воспроизведения. В случае автоассоциативной памяти в режиме записи происходит запоминание набора эталонных образцов, задаваемых векторами Х_k, k = 1,2,…,n; а в режиме воспроизведения по искаженному образцу Х_j + dХ (Х_j – один из эталонов, dХ – вектор, характеризующий искажение) восстанавливается эталон Х_j. В случае гетероассоциативной памяти нейронная сеть при записи запоминает отображение Х_k® U_k между векторами Х_k и U_k, k = 1,2, …, n; при воспроизведении предъявляется один из эталонных векторов Х_j (возможно, несколько искаженный), и с помощью нейронной сети восстанавливается парный ему вектор U_j.

Сеть Хопфилда

Одной из наиболее известных моделей автоассоциативной памяти является нейронная сеть Хопфилда. Отличительная черта работ Хопфилда – попытка применить методы теоретической физики к нейронным сетям. Хопфилд строит модель нейроподобной ассоциативной памяти, допускающую проведение явных аналогии с физической системой, имеющей локальные минимумы энергии, соответствующие устойчивым особым точкам. Для того, чтобы систему можно было рассматривать как память, нужно иметь большое число локальных минимумов.

Схема нейросети по Хопфилду (рис.4) состоит из N нейронов, все нейроны связаны со всеми, каждая связь характеризуется своим весом w_ij, матрица весов предполагается симметричной: w_ij=w_ji. Нейроны имеют пороговую активационную функцию, величина порога К равна 0. Состояние нейронной сети характеризуется вектором X=X₁,X₂,...,X_N. Каждый нейрон может находиться в двух состояниях : X_i=0 – покой, X_i=1 – возбужденное состояние, i – номер нейрона.

Энергия нейронной сети определяется как,

E = -0,5S_ijw_jiX_iX_j, i¹j. (3)

Для произвольного момента времени рассмотрим нейрон, который может менять свое состояние в соответствии с правилом динамики нейронной сети:

X_j(t+1)=1 при net_j>0 и X_j(t+1)=0 при net_j<0. (4)

Рис. 4.Схема нейронной сети по Хопфилду

Так как w_ji=w_ij, то изменение энергии, обусловленное текущим изменением состояния нейрона, равно:

DE=-DX_jS_iw_jiX_i=-D X_jnet_j,i¹j. (5)

В силу (4) при работе нейронной сети имеем: DX_j≥0 при net_j>0 и DX_j≤0 при net_j<0, следовательно, всегда DE≤0. Таким образом, алгоритм изменения состояний нейронов приводит к монотонному уменьшению энергии. Состояния уменьшаются до тех пор, пока не будет достигнут локальный минимум энергии. Эталоны соответствуют минимумам энергии Е.