Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,074

HOPFIELD NETWORK MODIFICATION ON THE BASIS WATER INFORMATION PROPERTIES

Kuznetsova A.V. 1 Lazarev A.S. 1
1 South-Russian State Politechnical University (Novocherkassk Technical Institute) named after M.I. Platov
В работе предложен вариант модификации сети Хопфилда с использованием информационных свойств воды. Рассмотрена классическая сеть Хопфилда и выявлены ее основные достоинства и недостатки. Поставлена задача повышения ёмкости сети, посредством увеличения числа связей. Рассмотрены информационные свойства воды на примерах кристаллов льда и зараженных клеток. Предложены два вида дополнительных связей: 1 – уровня молекулы воды, 2 – уровня кристалла льда. Показано расположение дополнительных связей на сетевой архитектуре. Предложена формула перерасчета весовых коэффициентов для модернизированной сети Хопфилда с учётом введённых связей. Представлен и рассмотрен интерфейс классов объектной модели сети Хопфилда. Детализированы интерфейсы базовых классов – «Нейрон» и «Сеть». Предложенное решение обеспечивает гарантированное увеличение производительности нейронной сети, дает возможность для дальнейшего её развития и может быть успешно заимствовано для использования в проектах других моделей искусственных нейронных сетей.
In this paper we propose a modification of the Hopfield network using informational properties of water. The classical Hopfield network and identified its main advantages and disadvantages. The goal is to increase network capacity by increasing the number of connections. The information properties of water with examples of ice crystals and infected cells. It proposed two types of additional constraints: 1 – the level of the water molecule, 2 – level ice crystal. It shows the location of the additional links on the network architecture. The formula recalculation of weights for the upgraded network Hopfield considering entered ties. Presented and discussed class interface object model Hopfield network. Detailed base class interface – «Neuron» and «Network». The proposed solution provides guaranteed performance increase neural network, and enables its further development and can be successfully borrowed for use in projects of other models of artificial neural networks.
neural networks
weights
network capacity
informational properties of water
communication
classes
1. Osovskij S. Per. s polskogo I.D. Rudinskogo. M.: Finansy i statistika. ,2002, pp. 172–174.
2. Redozubov A.D. Logika myshlenija, Available at: http://habrahabr.ru/post/214109/, (accessed 9 December 2015).
3. Hajkin S. Izdatelskij dom «Viljams», 2006, pp. 856–871.
4. Jeventov V.L., Andrianova M.Ju., Paljulina M.V. Vestnik rossijskoj akademii estestvennyh nauk, Available at: http://raen.info/files/103-107.pdf ,(accessed 9 December 2015).
5. Jemoto M. OOO Izdatelskij dom «Sofja», 2005, pp. 10–38.

На сегодняшний день существует множество моделей и типов искусственных нейронных сетей, различных по своей структуре и функционалу [2]. Из всего многообразия архитектур особняком стоят сети Хопфилда, которые, наряду с алгоритмом Back Propagation, в 70-х годах возродили интерес в области искусственных нейронных сетей (ИНС) после многолетнего спада. Сети Хопфилда обладают свойством за конечное число тактов переходить из произвольного начального состояния в состояние устойчивого равновесия, называемого аттрактором или точкой равновесия. Точка равновесия соответствует одному из множества первоначально предъявленных сети образов и достигается при предъявлении на входы сети как идеальных, так и зашумленных объектов для распознавания.

Целью работы является модернизация классической сети Хопфилда для увеличения её производительности на основе информационных свойств воды.

Материалы и объекты исследования

Сеть Хопфилда состоит из единственного слоя нейронов, число которых N совпадает с размером запомненных и распознаваемых образов. Выход каждого нейрона соединяется с входами всех нейронов сети, за исключением самого себя. Таким образом, каждый нейрон имеет N – 1 вход, с соответствующим весовым коэффициентом w, а вход, соответствующий номеру самого нейрона, смысловой нагрузки не имеет. Входные сигналы – образцы – подаются, по сути, на выходы сети, а оттуда по обратным связям передаются во все нейроны одновременно. Структурная схема сети Хопфилда представлена на рис. 1.

Обрабатываемые сетью элементы могут быть представлены N-мерным вектором Х = {x1, x2,…, xN}. Каждый элемент xi имеет одно из двух значений: +1 или –1. Множество векторов {X1, X2, …, Xm,…, XM} составляют обучающую выборку, где M – число запомненных сетью образов. Если входной образ распознан, выход сети равен некоему Y = Xm, где Y – вектор выходных значений сети: Y = {y1, y2,…, yN} той же размерности.

pic_18.tif

Рис. 1. Сеть Хопфилда

Для реализации рекурсивного характера функционирования сети на однопроцессорных архитектурах вводится понятие внутреннего состояния нейрона s, которое изменяется после подачи на вход очередного входного вектора и передаётся на выход нейрона после того, как все нейроны сети обработали один и тот же входной сигнал. Такой режим функционирования получил название синхронного, в противовес асинхронному – не нуждающемуся в наличии состояния, поскольку обработанное значение передаётся непосредственно на выход нейрона.

Расчёт весовых коэффициентов, соответствующий процессу обучения сети или запоминания эталонных образов, производится однократно.

Функционирование сети в режиме распознавания входных векторов продолжается до тех пор, пока выходные значения всех нейронов на очередном шаге итерации не совпадут со значениями предыдущего шага. При очевидном достоинстве – простоте реализации ассоциативной памяти – сеть Хопфилда имеет значительные недостатки, затрудняющие её широкое применение в системах распознавания образов различной природы. К таким недостаткам относятся: возможность зацикливания сети при использовании коррелированных векторов-образцов; хранение в памяти сети не только эталонных образов, но и их негативов; достижение устойчивого состояния, не соответствующего ни одному из запомненных ранее образов [3]. И главный недостаток – граница ёмкости сети (т.е. количество образов, которое она может запомнить) – по разным оценкам, составляет 12–15 % от общего числа нейронов N.

Исследование авторами сетей Хопфилда, обученных по классическому алгоритму расчёта весовых коэффициентов [1]:

kuznetsov01.wmf

подтвердило указанные недостатки и сместило границу ёмкости до 10–12 %. В качестве образцов для запоминания использовались чёрно-белые отпечатки пальцев размером 2,34 Кб. Столь малая ёмкость обусловлена тем, что предъявленные сети образцы для запоминания достаточно сильно коррелированы и весьма далеки от ортогональности.

Результаты исследования и их обсуждение

Для увеличения числа хранимых образов и повышения качества распознавания предлагаются различные способы, которые можно разделить на две группы. К первой группе относятся решения, связанные с модификацией формулы расчёта матрицы коэффициентов [1]. Ко второй группе относятся решения, связанные с увеличением числа слоёв сети [3].

Авторы предлагают решение, которое предполагает изменение числа связей (увеличение) в однослойной сети Хопфилда, по сути своей относящееся к первой группе, поскольку введение дополнительной связи между нейроном i и нейроном j, уже имеющим первоначальные связи wij = wji, будет соответствовать их перерасчёту. Введение новых связей может быть как однонаправленным (от нейрона i к нейрону j), так и двунаправленным.

Увеличение числа связей сети Хопфилда будет осуществляться на основе идеи информационных свойств воды, впервые описанных в [5] японским исследователем М. Эмото. В лаборатории доктора Эмото были исследованы образцы воды из различных водных источников всего мира; вода подвергалась различным видам воздействия, таким как музыка, изображения, электромагнитное излучение от телевизора или мобильного телефона, мысли одного человека и групп людей, молитвы, напечатанные и произнесенные слова на разных языках. В [5] Эмото приводит доказательства информационных свойств, важнейшими из которых является то, что:

1) никакие два образца воды не образуют полностью одинаковых кристаллов при замерзании;

2) форма кристаллов отражает свойства воды и, в частности, сохраняет информацию о том или ином воздействии, оказанном на воду.

Информационные свойства воды в 80-х гг. прошлого века изучала группа исследователей из академии РАМН под руководством В.П. Казначеева [4]. Казначеевым был продемонстрирован перенос биологической информации из одной герметичной водной среды в другую, между которыми существовал только оптический контакт. Гибель зараженных биоматериалов первой ёмкости сопровождалась гибелью здоровых клеток в соседней камере.

По мнению авторов, использование пусть ещё не до конца изученных информационных свойств воды может помочь в снижении негативных эффектов распознавания и увеличении ёмкости исследуемой сети.

Дополнительные связи между элементами сети предлагается формировать по аналогии со связями:

а) между атомами молекулы воды;

б) между молекулами внутри кристалла.

В этом случае сеть рассматривается не как линейный слой нейронов, а как матрица размером k×r, где k, r – размеры образа по горизонтали и вертикали.

В первом случае три нейрона сети, соединенные в «молекулу», ассоциируются с одним атомом кислорода и двумя атомами водорода. Возможные способы ориентации атомов приведены на рис. 2. «Слой воды», распределяемый по поверхности сети Хопфилда, может иметь различную «высоту», т.е. одни и те же нейроны могут входить в состав разных молекул. Расположение молекул может быть равномерным или хаотичным. Длина связей в молекулах может иметь единичную и произвольную длину. При создании дополнительных связей могут использоваться молекулы одного или разных типов. Связи между элементами внутри молекулы, как уже упоминалось ранее, могут быть одно- и двунаправленными.

pic_19.tif

Рис. 2. Ориентация атомов в связях по типу молекулы H2O

Расчёт весовых коэффициентов дополнительных связей может быть осуществлен по формуле (2) или её возможным модификациям:

kuznetsov02.wmf (2)

где 0 ≤ k0 ≤ 1, 0 ≤ kj ≤ 1.

Во втором случае несколько нейронов сети будут объединяться в правильный кристалл или «снежинку». Связи в снежинке будут располагаться от центра к каждому лучевому нейрону (радиальная структура) либо иметь произвольную структуру (рис. 3).

Расположение снежинок, как и молекул воды, может быть случайным и упорядоченным, однослойным и многослойным. Кроме того, снежинки можно располагать в форме «сугробов», т.е. там, где информационная область образов выше, слой кристаллов может иметь большую высоту. Как и в случае молекул, одновременно могут использоваться однотипные и разнообразные кристаллические структуры, с одно- и двунаправленными связями.

Для реализации экспериментов с предложенным многообразием архитектур была разработана объектная модель сети Хопфилда, позволяющая оперировать различными классами сетей, связанных механизмом наследования.

Ниже представленный фрагмент кода отображает интерфейс классов верхнего уровня – класс «Нейрон» и класс «Сеть», связанных отношением агрегации.

Предложенная модель легла в основу инструментальной программной системы, предназначенной для проведения серии экспериментов с классическим вариантом сети TNet и различными модификациями сетей, полученных в результате наследования от класса TWaterNet.

pic_20.tif

Рис. 3. Кристаллы воды

pic_77.wmf

Рис. 4. Структура классов для анализа модифицированных сетей

pic_21.wmf

pic_21.wmf

Серия экспериментов с чёрно-белыми объектами размером 40×60 пикселей (2,34 кБ), содержащими рисунок папиллярных узоров, показала, что сети типа TWaterNet уверенно запоминают и впоследствии распознают около 450 идеальных или 420 слабо искаженных (до 4 %) объектов, что составляет соответственно 17 % от общего числа нейронов сети, равного 2400.

Заключение

Предложенный способ реализации расчёта коэффициентов сети Хопфилда на основе введения дополнительных связей между нейронами сети по типу связей в молекуле воды на примере распознавания папиллярных рисунков показал очевидную стабильность в работе сети как в синхронном, так и асинхронном режимах. Успешные эксперименты с достаточно простым способом введения дополнительных связей позволяют сделать заключение о целесообразности разработки объектов класса TSnowNet и их дальнейшего исследования.