Математические модели нейронов

Из анализа материала предыдущего раздела следует, что с точки зрения обработки информации каждый нейрон можно считать своеобразным процессором, который суммирует с соответствующими весами сигналы от других нейронов, выполняет нелинейную обработку полученной суммы и формирует результирующий сигнал для передачи связанным с ним нейронам. На основе принципов функционирования биологических нейронов были созданы различные математические модели, реализующие (в большей или меньшей степени) свойства природной нервной клетки. Основу большинства таких моделей составляет структура формального нейрона (ФН) МакКаллока–Питтса (1943 г.), представленная на рис. 2.1, где компоненты входного вектора математические модели нейронов - student2.ru1, х2, …, хN) суммируются с учетом весов wij и сравниваются с пороговым значением wi0. Выходной сигнал ФН yi определяется как

математические модели нейронов - student2.ru (2.1)

где в общем случае нелинейная функция преобразования f(ui) называется функцией активации. Коэффициенты wij соответствуют весам синаптических связей: положительное значение wij – возбуждающим, отрицательное wij – тормозящим синапсам, wij = 0 означает отсутствие связи между i – м и j – м нейронами.

математические модели нейронов - student2.ru

Функция активации ФН – это пороговая функция вида

математические модели нейронов - student2.ru (2.2)

хотя в принципе набор используемых в моделях нейронов f(u) достаточно разнообразен (табл. 2.1), поскольку их свойства, особенно непрерывность, оказывают значительное влияние на выбор способа обучения нейрона (подбор wij). Наиболее распространенными функциями активации являются пороговая, линейная (в том числе с насыщением) и сигмоидальные – логистическая и гиперболический тангенс (рис. 2.2). Заметим, что с уменьшением a сигмоиды становятся более пологими, а при a®¥ превращаются в пороговую и сигнатурную функции соответственно. В числе их достоинств следует также упомянуть относительную простоту и непрерывность производных и свойство усиливать слабые сигналы лучше, чем большие.

Таблица 2.1

Функции активации нейронов

Название Формула Область значений
Линейная математические модели нейронов - student2.ru (–¥, ¥)
Полулинейная математические модели нейронов - student2.ru (0, ¥)
Логистическая (сигмоидальная) математические модели нейронов - student2.ru (0, 1)
Гиперболический тангенс (сигмоидальная) математические модели нейронов - student2.ru (–1, 1)
Экспоненциальная математические модели нейронов - student2.ru (0, ¥)
Синусоидальная математические модели нейронов - student2.ru (–1, 1)
Сигмоидальная (рациональная) математические модели нейронов - student2.ru (–1, 1)
Линейная с насыщением математические модели нейронов - student2.ru (–1, 1)
Пороговая математические модели нейронов - student2.ru (0, 1)
Модульная математические модели нейронов - student2.ru (0, ¥)
Сигнатурная математические модели нейронов - student2.ru (–1, 1)
Квадратичная математические модели нейронов - student2.ru (0, ¥)

Помимо выбора f(u) важным фактором является выбор стратегии обучения. При обучении с учителем для каждого входного математические модели нейронов - student2.ru должны быть известны ожидаемые выходные сигналы математические модели нейронов - student2.ru , а подбор wij должен быть организован так, чтобы фактические значения математические модели нейронов - student2.ru были наиболее близки к математические модели нейронов - student2.ru . При обучении без учителя подбор весовых коэффициентов проводится на основании либо конкуренции нейронов между собой, либо с учетом корреляции обучающих и выходных сигналов. В этом случае (в отличие от обучения с учителем) прогнозирование выходных сигналов нейрона на этапе адаптации невозможно. Наиболее распространенные модели нейронов, реализующие каждый из указанных подходов, представлены ниже.

математические модели нейронов - student2.ru

Персептрон

Простой персептрон – это ФН МакКаллока–Питтса со структурой рис. 2.1 и соответствующей стратегией обучения. Функция активации – пороговая, вследствие чего выходные сигналы могут принимать только два значения

математические модели нейронов - student2.ru (2.3)

где для выходного сигнала сумматора

математические модели нейронов - student2.ru (2.4)

входной вектор дополнен нулевым членом х0=1, формирующим сигнал поляризации, т.е. математические модели нейронов - student2.ru =(х0, х1, х2, …, хN).

Обучение – с учителем по правилу персептрона в соответствии с алгоритмом:

1) при начальных значениях wij (выбранных, как правило, случайным образом) на вход подается обучающий математические модели нейронов - student2.ru , рассчитывается yi и по результатам сравнения yi с известным di уточняются значения весов;

2) если yi = di, то wij = const;

3) если yi = 0, а di = 1, то wij(t+1) = wij(t)+xj, где t – номер итерации;

4) если yi = 1, а di = 0, то wij(t+1) = wij(t)–xj.

После уточнения весовых коэффициентов подается следующая обучающая пара математические модели нейронов - student2.ru и значения wij уточняются заново. Процесс повторяется многократно на всех обучающих выборках до минимизации разницы между всеми yi и di. Вообще говоря, правило персептрона является частным случаем предложенного позднее правила Видроу–Хоффа

математические модели нейронов - student2.ru (2.5)

где di, yi могут принимать любые значения.

Минимизация различий между фактическими yi и ожидаемыми di выходными сигналами нейрона может быть представлена как минимизация некоторой (целевой) функции погрешности E(w), чаще всего определяемой как

математические модели нейронов - student2.ru (2.6)

где р – количество обучающих выборок. Оптимизация E(w) по правилу персептрона является безградиентной, при большом р количество циклов обучения и его длительность быстро возрастают без всякой гарантии достижения минимума целевой функции. Устранить эти недостатки можно только при использовании непрерывных f(u) и E(w).

Сигмоидальный нейрон

Структура – ФН МакКаллока–Питтса (рис. 2.1).

Функции активации – униполярный f1 (табл. 2.1, рис. 2.2 в) или биполярный f2 (табл. 2.1, рис. 2.2 г) сигмоиды, непрерывно дифференцируемые во всей области определения, причем как математические модели нейронов - student2.ru , так и математические модели нейронов - student2.ru имеют практически одинаковую колоколообразную форму с максимумом при u=0 (рис. 2.3).

Обучение – с учителем путем минимизации целевой функции (2.6) с использованием градиентных методов оптимизации, чаще всего алгоритма наискорейшего спуска (АНС). Для одной обучающей пары (р=1) j–я составляющая градиента согласно (2.4), (2.6) имеет вид:

математические модели нейронов - student2.ru (2.7)

где математические модели нейронов - student2.ru . При этом значения wij уточняются либо дискретным

математические модели нейронов - student2.ru (2.8)

либо аналоговым способом из решения разностного уравнения

математические модели нейронов - student2.ru (2.9)

где h, m Î (0,1) играют роль коэффициентов обучения, от которых сильно зависит его эффективность. Наиболее быстрым (но одновременно наиболее трудоемким) считается метод направленной минимизации с адаптивным выбором значений h, m.

математические модели нейронов - student2.ru

Следует отметить, что применение градиентных методов обучения нейрона гарантирует достижение только локального экстремума, который для полимодальной E(w) может быть достаточно далек от глобального минимума. В этом случае результативным может оказаться обучение с моментом (ММ)

математические модели нейронов - student2.ru (2.10)

где 0<a<1 – коэффициент момента, или использование стохастических методов оптимизации.

Наши рекомендации