Этапы развития нейрокомпьютеров

1943 г. Выход работы Дж. Мак-Каллока и У. Питта, в которой были впервые сформулированы основные причины построения искусственных нейронов и нейронных сетей.

1957 г. В.И. Арпольз и А.Н. Колмогоров решили 13-ю проблему Гильберта, доказав, что любую непрерывную функцию многих переменных можно представить в виде суперпозиции непрерывных функций одной переменной и функции сложения.

1959 г. Публикация статьи Дж. Мак-Каллока «О чем глаза лягушки говорят мозгу лягушки», где впервые было введено понятие нейрона-детектора, определенным образом реагирующего на внешние раздражители.

1962 г. Нейрофизиолог Ф. Розенблатт создал модель односложной нейронной сети, названной персептроном, которая была использована для попыток анализа электрокардиограмм и распознавания печатных и рукописных букв.

1969 г. Выход критической статьи М. Минского, в которой доказывалась невозможность использования сетей типа персептрона для многих классов задач. Им было доказано, что персептрон не может выполнить функцию логическое исключающее–ИЛИ. Из-за этой работы нейросети стали непопулярными на долгие годы.

1970-е гг. Исследования очень немногими кибернетиками показало о чрезмерном пессимизме прогноза М. Минского. Оказалось, что многие неразрешимые по Минскому задачи можно успешно решить многослойными нейросетями. Однако, пессимизм полностью не развеялся из-за сложности организации на практике многослойного персептрона.

1982 г. Американский биофизик Дж. Хопфилд предложил интересную модель сети, названной его именем. Примерно в то же время была предложена модель двунаправленной ассоциативной памяти Б. Коскоу.

Середина 1980-х гг. Возникновение настоящего нейросетевого бума. Причины: новые нейромодели, возрастающий интерес к изучению нервной системы.

1986 г. Выход работы Д.Е. Рмельхарта, Дж. Е. Хиптона, Р. Дж. Уильямса, в которой предложен эффективный способ обучения многослойной нейросети методом обратного распространения ошибки.

1989 г. Анализ 13-ой проблемы Гильберта в контексте нейросетевых алгоритмов. Доказано, что всякую непрерывную функцию многих переменных можно с любой точностью приблизить трехслойным персептроном с достаточным числом нейронов в скрытом слое.

1990-е гг. Развитие новых парадигм замедлилось. Зато нейросети и нейрочипы прочно вошли в инженерную практику.

Модель нейрона

Простейшая модель нейрона, ,которая на практике используется в нейросетях, представлена на рис. 1.52.

Рис. 1.52. Простейшая модель нейрона

В этой модели: X — входной вектор сигналов нейрона. Это выходные сигналы других нейронов; Y — выход нейрона.

Каждый входной сигнал X_i умножается на соответствующий вес связи W_i (аналог синоптического веса синапса). Вес W_i является скалярной величиной: он положителен для возбуждающих и отрицателен для тормозящих связей.

Взвешенные весами входные сигналы поступают на блок суммации, соответствующий белку сомы, где осуществляется их алгебраическая суммация и получается выход S.

Сигнал S может претерпевать нелинейное преобразование f, например, при реальном ограничении сигнала по амплитуде.

В этой простейшей модели не учитывается нелинейность пространственно-временной суммации в соме нейрона, которая особенно проявляется для сигналов от возбуждающих и тормозящих синапсов. Не учитываются также временные задержки и т. п.

Несмотря на это нейроподобные сети на основе таких простых моделей нейрона эффективно демонстрируют свойства биологических систем.

Надо отметить, что приведенная модель нейрона проста только внешне, но далеко непроста, если сюда включить алгоритмы настройки коэффициентов W_i.

Алгоритм построения нейронной сети состоит из двух этапов. На первом этапе применительно к конкретной прикладной задаче формируется структура соединений нейронной сети. Главное здесь, помимо рецепторных и эффекторных нейронов, определить число скрытых нейронов и структуру их связей. Это далеко неформальная задача и практически и теоретически.

На втором этапе устанавливается алгоритм адаптации сети, т. е. способ вычисления весовых коэффициентов W_i. Этот набор правил может формироваться с привлечением учителя и без него.

Обучение нейронной сети

Одно из важнейших свойств нейронной сети — это способность к самоорганизации. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются весовые коэффициенты W_i в ответ на входное воздействие.

Многие из обучающих правил являются развитием идеи Хебба о том, что обучение основано на увеличении силы связи между одновременно активными нейронами. Таким образом, часто используемые связи усиливаются, что объясняет феномен обучения путем привыкания.

Формула Хебба вычисления коэффициентов W_i нейрона имеет вид:

W_i(t+1) = W_i(t) + a X_i Y,

где a — скорость обучения.

По этой формуле значение W_i в текущий момент времени образуется из W_i в предыдущий момент времени и соотношения сигналов X_i и Y, включая и знаки этих сигналов.

При малом значении а сеть будет обучаться более надежно, но медленно. При большом а — быстро, но с ненадежным результатом.