Правило вычисления сигнала активности

Для всех элементов имеется правило вычисления выходного значения, которое предполагается передать другим элементам или во внешнюю среду (если речь идет о выходном элементе, представляющем конечный результат вычислений). Это правило называют функцией активности, а соответствующее выходное значение называют активностью соответствующего элемента. Активность может представляться либо некоторым действительным значением произвольного вида, либо действительным значением из некоторого ограниченного интервала значений (например, из интервала [О, 1]), или же некоторым значением из определенного дискретного набора значений (например, {0, 1} или {+!,-!}). На вход .функ­ции активности поступает значение комбинированного ввода данного элемента. Примеры функций активности приводятся ниже.

Тождественная функция

функция активности для входных элементов может быть тождественной функцией, и это просто означает, что значение активности (сигнал, посы­лаемый другим элементам) оказывается в точности равным комбинированному вводу (рис. 1.6). Входные элементы обычно предназначены для распре­деления вводимых сигналов между другими элементами сети, поэтому для входных элементов обычно требуется, чтобы исходящий от элемента сигнал быть таким же, как и входящий. В отличие от других элементов сети, входные элементы имеют только по одному входному значению. Например, каждый входной элемент может получать сигнал от одного соответствующего ему датчика, размещенного на фюзеляже самолета. Один этот элемент связывается со многими другими элементами сети, так что данные, полученные от од­ного датчика, оказываются распределенными между многими элементами сети. Поскольку входные элементы предназначены исключительно для того, чтобы распределять сигналы, получаемые из внешней среды, многие иссле­дователи вообще не считают входные элементы частью нейронной сети.

Рис. 16. Здесь активность в точности равна комбиниро­ванному вводу. Обратите внимание на то, что активность обозначается символом f(net)-

Пороговая функция

В большинстве моделей нейронных сетей используются нелинейные функции активности. Пороговая функция ограничивает активность значениями 1 или 0 в зависимости от значения комбинированного ввода в сравнении с некоторой пороговой величиной 6 (рис. 1.7).

Рис.1.7.Пороговая функция

Чаше всего удобнее вычесть пороговое значение (называемое смещением или сдвигом) из значения комбинированного ввода и рассмотреть пороговую функцию в ее математически эквивалентной форме, показанной на рис. 1.8. Сдвиг w₀ в данном случае оказывается отрицательным, а значение комбинированного ввода вычисляется по формуле

Рис. 1.8. Пороговая функция с учтенным смещением

Сдвиг обычно интерпретируется как связь, исходящая от элемента, активность которого всегда равна 1 (рис. 1.9). Комбинированный ввод в данном случае можно представить в виде

Где х₀ всегда считается равным 1

Рис. 1.9. Для удобства компонент смещения часто интерпретируется как связь с элементом предыдущего слоя в предположении, что активность этого элемента всегда равна 1

Сигмоидальная функция

Наиболее часто используемой функцией активности является сигмоидальная функция. Выходные значения такой функции непрерывно заполняют диапазон от 0 до 1. Примером может служить логистическая функция, показанная на рис. 1.10:

Наклон и область выходных значений логистической функции могут быть разными. Например, для биполярного сигмоида областью выходных значений является диапазон между -1 и 1.

-4 -2 2 4 net

Рис. 1.10. Сигмоидальная функция

Пример 1.1

Этот пример иллюстрирует некоторые понятия, обсуждавшиеся вы­ше. Предполагается, что рассматриваемая здесь сеть понимает отно­шение XOR. Отношение XOR отображает пару двоичных входных значений в 0 или I, точное определение представлено в табл. 1.1.

Таблица 1.1. Определение ХОR

Ввод		Вывод
х1 х2

Модель сети показана на рис. 1.11, и в данном случае это сеть с прямой связью, в которой имеются два входных элемента, два скрытых элемента и один выходной элемент. Прямая связь означает, что все связи могут идти только в направлении от входного сдоя к выходному. Скрытые элементы называются так потому, что они не получают данных от внешней среды непосредственно и не посылают данные непосредственно во внешнюю среду.

Рис. 1.11, Сеть для примера 1.1

а вывод получается как результат применения пороговой функции

В данном случае в роли внешней среды можем выступать мы сами, подавая различные значения на вход сети (т.е. входным элементам) и наблюдая результаты, полученные на ее выходе (т.е. на выходных элементах). Элементы сети разделены по слоям: входной слой со­держит входные элементы, скрытый слой — скрытые элементы, а выходной — выходные. Число элементов каждого слоя зависит от решаемой проблемы, и мы обсудим это в главе 2, где сети с пря­мой связью будут рассмотрены подробнее. Пока же мы просто об­ращаем внимание на то, что число входных элементов равно числу вводимых в структуру значений, а число – числу значений, подаваемых данной структурой на выход. В нашем случае значение комбинированного ввода вычисляется по формуле

а вывод получается как результат применения пороговой функции

Вспомните, что для элементов входного слоя активность представля­ется значением, совпадающим со значением комбинированного вво­да. Сигналы распространяются по сети от входного слоя к выходно­му, так что для каждого конкретного набора вводимых значений по­следовательность их обработки будет следующей:

входной слой —> скрытый слой —» выходной слой.

В качестве вводимых данных рассмотрим первую пару значений вво­да из табл. 1.1, а именно пару значений [1, 1]. Для первого скрытого элемента со смещением 1.5 получаем

поэтому выходным значением элемента будет 0. Для второго скры­того элемента со смещением 0.5 получаем

поэтому выходным значением элемента тоже будет 0 Для выходного элемента со смещением -0.5 получаем

поэтому выходным значением будет 0. Если процедуру повторить для трех оставшихся пар, то мы увидим, что вывод указанной сети соответствует данным из последнего столбца табл. 1.1.