Учебное пособие по курсу «Нейроинформатика» | страница 26
Полученное неравенство
Ортогональные сети
Для обеспечения правильного воспроизведения эталонов вне зависимости от степени их коррелированности достаточно потребовать, чтобы первое преобразование в (5) было таким, что x>i = Px>i [67]. Очевидно, что если проектор является ортогональным, то это требование выполняется, поскольку x = Px при x ∈L({x>i}), а x>j ∈L({x>i}) по определению множества L({x>i}).
Для обеспечения ортогональности проектора воспользуемся дуальным множеством векторов. Множество векторов V({x>i}) называется дуальным к множеству векторов {x>i}, если все векторы этого множества v>j удовлетворяют следующим требованиям:
1. (x>i, v>i) = ς>ij; ς>ij = 0, при i ≠ j; ς>ij = 1 при i = j;
2. v>j ∈L({x>i}).
Преобразование
является ортогональным проектором на линейное пространство L({x>i}).
Ортогональная сеть ассоциативной памяти преобразует образы по формуле
Дуальное множество векторов существует тогда и только тогда, когда множество векторов {x>i} линейно независимо. Если множество эталонов {x>i} линейно зависимо, то исключим из него линейно зависимые образы и будем рассматривать полученное усеченное множество эталонов как основу для построения дуального множества и преобразования (6). Образы, исключенные из исходного множества эталонов, будут по-прежнему сохраняться сетью в исходном виде (преобразовываться в самих себя). Действительно, пусть эталон x является линейно зависимым от остальных m эталонов. Тогда его можно представить в виде
Подставив полученное выражение в преобразование (6) и учитывая свойства дуального множества получим:
Рассмотрим свойства сети (6) [67]. Во-первых, количество запоминаемых и точно воспроизводимых эталонов не зависит от степени их коррелированности. Во-вторых, формально сеть способна работать без искажений при любом возможном числе эталонов (всего их может быть до 2>n). Однако, если число линейно независимых эталонов (т. е. ранг множества эталонов) равно