Стохастическая модель нейрона

В отличие от детерминированных моделей (2.1)…(2.6), в стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы u_i, но и от некоторой случайной переменной, выбираемой при каждой реализации из интервала (0,1). Это означает, что y_i структуры ФН (рис. 2.1) принимает значения ±1 с вероятностью

(2.22)

где u_i определяется (2.4), а b > 0 (чаще всего b = 1).

Процесс обучения нейрона стохастической модели состоит из следующих этапов:

1) расчет u_i (2.4) для каждого нейрона сети;

2) расчет вероятности P(y_i=±1) по формуле (2.22);

3) генерация значения случайной переменной RÎ(0,1) и формирование выходных сигналов y_i , если P(y_i)>R, или –y_i , если P(y_i)<R;

4) адаптация весовых коэффициентов w_ij (при фиксированных y_i) по используемым правилам, например, при обучении с учителем – по правилу Видроу–Хоффа

(2.23)

Доказано, что такой подбор w_ij минимизирует целевую функцию

(2.24)

где n – число нейронов, р – количество обучающих выборок.

Контрольные вопросы и задачи

1. Какие процессы в нервной клетке отражает структура ФН МакКаллока–Питтса?

2. Какие особенности имеют сигмоидальные функции активации?

3. Какие стратегии обучения НС Вы знаете? Каковы их особенности?

4. Приведите структуру и алгоритм обучения персептрона.

5. Почему проблему обучения нейрона можно свести к минимизации некоторой функции?

6. Опишите достоинства и недостатки градиентных методов оптимизации.

7. Почему «ADALINE» с функцией активации типа signum называют линейным нейроном?

8. Каковы основные особенности структур нейронов «Instar» и «Outstar» Гроссберга?

9. Расскажите о структуре и правилах обучения нейрона Хебба.

10. Какие методы преодоления расходимостей весов при обучении по Хеббу Вы знаете?

11. В чем заключается механизм конкуренции и правила обучения нейронов типа WTA?

12. В чем заключается и как решается проблема «мертвых» нейронов при обучении структур WTA?

13. Укажите принципиальное отличие стохастической модели нейрона от остальных моделей и что это дает?

14. Приведите алгоритм обучения стохастической модели нейрона?

15. В чем заключается правило обучения Видроу–Хоффа?

16. Определите область значений, выражение для производной и ее значение в начале координат для функции активации типа алгебраической сигмоиды

17. Пусть х₁, х₂, … х_N – компоненты вектора входных сигналов, подаваемых на вход нейрона с порогом w₀ и логистической функцией активации (табл. 2.1), где a – произволен. Как нужно изменить компоненты х₁, х₂, … х_N, чтобы получить на выходе прежний сигнал при a=1?

18. Нейрон j получает входной сигнал от четырех других нейронов, уровни возбуждения которых равны 10; –20; 4; –2, а соответствующие веса связей – 0.8; 0.2; –1.0; –0.9. Вычислите выходной сигнал нейрона, если его функция активации:

а) пороговая; б) линейная (с k=1); в) логистическая (с a=1).

19. Покажите, в каких случаях ФН МакКаллока–Питтса можно аппроксимировать сигмоидальным нейроном?

20. При каких условиях нейрон с сигмоидальной функцией активации может аппроксимировать линейный нейрон?