Очевидно, что под точным описанием объекта следует понимать всю информацию, которая доступна ассоциативной памяти. Вторая задача решается не поэтапно, а одновременно происходит соотнесение полученной информации с известными образцами и отсев недостоверной информации.
Нейронным сетям ассоциативной памяти посвящено множество работ (см. например, [75, 77, 80, 86, 114, 130, 131, 153, 231, 247, 296, 312, 329]). Сети Хопфилда являются основным объектом исследования в модельном направлении нейроинформатики.
Формальная постановка задачи
Пусть задан набор из m эталонов — n-мерных векторов {x>i}. Требуется построить сеть, которая при предъявлении на вход произвольного образа — вектора x — давала бы на выходе «наиболее похожий» эталон.
Всюду далее образы и, в том числе, эталоны — n-мерные векторы с координатами ±1. Примером понятия эталона «наиболее похожего» на x может служить ближайший к x вектор x>i. Легко заметить, что это требование эквивалентно требованию максимальности скалярного произведения векторов x и x>i :
Первые два слагаемых в правой части совпадают для любых образов x и x>i, так как длины всех векторов-образов равны √n. Таким образом, задача поиска ближайшего образа сводится к поиску образа, скалярное произведение с которым максимально. Этот простой факт приводит к тому, что сравнивать придется линейные функции от образов, тогда как расстояние является квадратичной функцией.
Наиболее известной сетью ассоциативной памяти является сеть Хопфилда [312]. В основе сети Хопфилда лежит следующая идея — запишем систему дифференциальных уравнений для градиентной минимизации «энергии» H (функции Ляпунова). Точки равновесия такой системы находятся в точках минимума энергии. Функцию энергии будем строить из следующих соображений:
1. Каждый эталон должен быть точкой минимума.
2. В точке минимума все координаты образа должны иметь значения ±1.
Функция
не удовлетворяет этим требованиям строго, но можно предполагать, что первое слагаемое обеспечит притяжение к эталонам (для вектора x фиксированной длины максимум квадрата скалярного произведения (x, x>i)² достигается при x= x>i…), а второе слагаемое — приблизит к единице абсолютные величины всех координат точки минимума). Величина a характеризует соотношение между этими двумя требованиями и может меняться со временем.
Используя выражение для энергии, можно записать систему уравнений, описывающих функционирование сети Хопфилда [312]:
