Конкурентная нейронная сеть

Самоорганизующиеся нейронные сети обучаются без учителя. Они способны адаптироваться к входным данным, используя содержащиеся в этих данных зависимости. Такие сети используются для нахождения более компактного описания данных (сжатия), кластеризации, выделения признаков.

Конкурентная сеть является простейшей самоорганизующейся нейронной сетью (рис. 4.1).

Рис. 4.1. Конкурентная нейронная сеть

Первый слой является распределительным. Нейроны второго слоя функционируют по формуле

, (4.1)

где x = (x₁, x₂,…,x_i,…,x_n) – входной вектор; w ^j=(w_1j, w_2j,…,w_ij,…,w_nj ) – вектор весовых коэффициентов нейрона, а | x | и |w ^j| – их модули, a – угол между ними.

Обучение. При обучении нейронной сети при подаче каждого входного вектора определяется нейрон-победитель, для которого значение (4.1) максимально. Для этого нейрона синаптические связи усиливаются по формуле

w_ij(t+1)=w_ij(t)+b(x_i-w_ij(t)), (4.2)

где b – скорость обучения.

Смысл этой формулы в том, что вектор весовых коэффициентов нейрона - победителя «поворачивается» в сторону входного вектора, тем самым активность нейрона усиливается. Удобно работать с нормированными входными и весовыми векторами, когда их модуль равен 1. Нормировка уравнивает шансы в конкуренции нейронов с разным модулем вектора весовых коэффициентов. Выражение (4.1) для нормированных векторов будет выглядеть как

, (4.3)

а выражение (4.2) как

. (4.4)

Случайное начальное распределение весовых коэффициентов может привести к тому, что некоторые нейроны никогда не станут победителями, так как их весовые векторы окажутся удаленными от всех входных векторов. Существует ряд модификаций алгоритма обучения, позволяющих устранить этот недостаток. Хорошие результаты на практике показало частотно–зависимое конкурентное обучение. Согласно нему, нейрон-победитель определяется по минимуму произведения евклидового расстояния между входным и весовым вектором и количеством побед данного нейрона f_j:

. (4.5)

Шансы нейрона на победу уменьшаются с количеством побед, что дает преимущество другим нейронам.

Конкурентное обучение продолжается до тех пор, пока максимум евклидового расстояния между любым входным вектором и соответствующим ему вектором весов нейрона-победителя не достигнет заданного малого значения.

Конкурентная сеть позволяет разбить входную выборку нормированных векторов на m (количество выходных нейронов сети) кластеров, расположенных на поверхности гиперсферы в пространстве признаков единичного радиуса. Входные векторы, приводящие к победе одного и того же нейрона, относят к одному кластеру.

Кохонен [5-7] предложил внести в правило конкурентного обучения (4.2) информацию о расположении нейронов в выходном слое. Для этого нейроны упорядочиваются в одномерные или двухмерные решетки. Вводится функция, корректирующая изменение весов в зависимости от расстояния до нейрона–победителя; h(t,k,j) – сила влияния между нейроном–победителем k и нейроном j в момент времени t. Для j=k эта функция всегда равна 1 и уменьшается с ростом расстояния между k и j в решетке. С течением времени радиус влияния обычно сужается. С использованием этой функции веса меняются для всех нейронов сети, а не только для нейрона-победителя:

w_ij(t+1)=w_ij(t)+b h(t,k,j)(x_i-w_ij(t)). (4.6)

В качестве функции h(t,k,j) может использоваться гауссовый колокол (3.1) с параметром s, зависящим от времени или функция вида «мексиканская шляпа».

Рис. 4.2. Пример функции расстояния в сетях Кохонена

В результате модификации конкурентного обучения сеть Кохонена не только кластеризирует входные примеры, но и упорядочивает их в виде одномерной или двухмерной решетки. Это позволяет получить дополнительную информацию о близости кластеров. Если два кластера проецируются на соседние нейроны решетки, это говорит об их близости в исходном пространстве признаков. Обратное неверно. Из-за уменьшения размерности пространства отношение близости сохраняется только для ограниченного числа кластеров.

Задание

1. Ознакомьтесь с теоретической частью.

2. Напишите программу на С, С++, реализующую конкурентную нейронную сеть.

3. Обучите конкурентную сеть с использованием правила (4.5) на количество образов, превышающих количество нейронов сети. Рекомендуется использовать нормированные векторы. Исходные данные – 5 классов образов, размер идеального образа 6×6 (в соответствии с вариантом).

4. Убедитесь, что похожие образы были спроецированы сетью в один кластер (подача их на вход активизирует один и тот же нейрон).

5. Подайте на вход тестовые образы, отличные от образов из обучающей выборки. Сделайте выводы.

6. Напишите отчет.

Содержание отчета:

· топология конкурентной нейронной сети;

· основные формулы обучения и воспроизведения;

· идеальные образы для обучения сети;

· тестовые зашумленные образы;

· результаты воспроизведения;

· результаты сравнения конкурентной нейронной сети с сетью РБФ и многослойным персептроном;

· выводы: преимущества и недостатки конкурентной нейронной сети.

Литература

1. Aleksander I., Morton H. An Introduction to Neural Computing. — London: Chapman&Hall, 1990. – 570 р.

2. Головко, В. А. Нейронные сети: обучение, организация и применение: учеб. пособие для вузов.– М. : ИПРЖР, 2001. – 256 с.

3. Bishop C. M. Neural Networks for Pattern Recognition. – Oxford: Clarendon press, 1995.– 482 p.

4. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Natl. Acad. Sci. USA.– 1982.– Vol. 79.– P. 2554.

5. Kohonen T. Self-organization and associative memory. – Springer-Verlag, 1989.– 312 p.

6. Kohonen T. Self-organized formation of topologically correct feature maps // Biol. Cybernetics.– 1982.– Vol. 43.– P. 56-69.

7. Kohonen T. Self-organizing maps. –Springer-Verlag, 1995.– 362 p.

8. Rumelhart D.E., Hinton G.E., Wiliams R.J. Learning internal representation by error propagation: McClelland J.L. and Rumelhart D.E. (Eds). Parallel Distributed Processing: Exploration in the Microstructure of Cognition.– MIT Press, Cambridge MA.– 1986.– Vol. 1.– P. 318-362.

9. Хайкин, С. Нейронные сети: полный курс, 2-е изд. : пер. с англ. — М. : Издательский дом «Вильямс», 2006. — 1104 с.

10. Ежов, А. А., Шумский, С. А. Нейрокомпьютинг и его применение в экономике и бизнесе. – М. : Мир, 1998.– 222 c.