(14)
Очевидно, что оценка (14) точнее, чем оценка (13).
Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
1. Число входных сигналов — n>0.
2. Число нейронов в i-м слое — n>i.
3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
5. Все синаптические веса ограничены по модулю единицей.
6. В сети m слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i-го слоя можно оценить следующей величиной:
Используя формулу (4) получаем оценку константы Липшица всей сети:
Если используется нейроны типа S>1, то Λ>P=c и оценка константы Липшица сети равна:
Для нейронов типа S>2, то Λ>P=1/- и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Предобработка, облегчающая обучение
При обучении нейронных сетей иногда возникают ситуации, когда дальнейшее обучение нейронной сети невозможно. В этом случае необходимо проанализировать причины. Возможно несколько видов анализа. Одной из возможных причин является высокая сложность задачи, определяемая как выборочная оценка константы Липшица.
Для упрощения задачи необходимо уменьшить выборочную оценку константы Липшица. Наиболее простой способ добиться этого — увеличить расстояние между входными сигналами. Рассмотрим пару примеров — x>i, xj — таких, что
Определим среди координат векторов x>i и x>j координату, в которой достигает минимума величина |x>i>l-x>j>l|, исключив из рассмотрения совпадающие координаты. Очевидно, что эта координата является «узким местом», определяющим сложность задачи. Следовательно, для уменьшения сложности задачи требуется увеличить расстояние между векторами x>i и x>j, а наиболее перспективной координатой для этого является l-я. Однако увеличение расстояние между x>i>l и x>j>l не всегда осмыслено. Дело в том, что все параметры, как правило, измеряются с конечной точностью. Поэтому, если величина |x>i>l-x>j>l| меньше чем точность измерения l-го параметра, значения x>i>l и x>j>l можно считать совпадающими. Таким образом, для изменения масштаба надо выбирать тот из входных параметров, для которого значение |
