Нейросетевые вычислительные системы

Рассмотренные выше классы параллельных вычислительных систем ориентированы на решение хорошо формализованных задач, сводящиеся к расчетам по формулам для заданных исходных данных. Однако существуют широкий класс практически важных, но плохо формализованных задач, например, таких как

· распознавание образов;

· кластеризация данных;

· оптимизация ( -полные задачи).

Нейросетевые вычислительные машины предназначены для решения именно таких задач.

Искусственный нейрон.

Нейрон (см. Рис.1) задается вектором входов нейрона вектором весов входов нейрона , функцией состояния нейрона ( ), функцией активации нейрона и выходом нейрона .

Рис. 1. Условное изображение искусственного нейрона.

Функция состояния нейрона определяет состояние нейрона в зависимости от его входов, весов входов и, возможно, предыдущих состояний нейрона. Чаще всего используют следующие функции состояния нейрона, не зависящие от предыдущего состояния.

1. Скалярное произведение векторов , :

(1)

2.

3. Расстояние между векторами , измеренное в некоторой метрике. Например,

(2)

4.

Нейрон с функцией состояния (1) называется персептроном, с функцией состояния (2) – нейроном с радиальными базисными функциями.

Функция активации нейрона определяет выход нейрона как функцию его входа - . Наиболее распространенными являются следующие функции активации:

Рис. 2. Ступенчатая пороговая функция активации.

· ступенчатая пороговая функция активации (см. рис. 2)

где – некоторая константа;

· линейная пороговая функция активации (см. рис. 3)

где – некоторые константы;

Рис. 3. Линейная пороговая функция активации.

· сигмоидальная функция активации (см. рис. 4)

где – некоторые константы;

Рис. 4. Сигмоидальная функция активации.

· гауссова функция активации (см. Рис.5)

где – некоторые константы;

Рис. 5. Функция активации - гауссиан.

Нейронные сети.

Нейронная сеть образуется путем объединения выходов нейронов с входами нейронов. В зависимости от вида графа межнейронных соединений нейронные сети делятся на следующие два класса сетей:

· ациклические нейронные сети (см. рис. 6);

· циклические нейронные сети (см. рис. 7).

Рис. 6. Пример ациклической нейронной сети.

Рис. 7. Пример циклической нейронной сети.

Нейронная сеть, построенная на основе персептронов, называется персептронной нейронной сетью. Нейронная сеть, построенная на основе нейронов с радиальными базисными функциями, называется нейронной сетью с радиальными базисными функциями.

Нейронные сети делятся на конструируемые и обучаемые сети.

В конструируемых нейронных сетях число нейронов, их тип, граф межнейронных связей и веса входов нейронов определяются при создании сети, исходя из задачи, которую должна решать сеть. Конструируемые нейронные сети используются, например, в качестве ассоциативной памяти (памяти, адресуемой по содержанию).

В обучаемых нейронных сетях их графы межнейронных связей и веса входов нейронов изменяются в процессе обучения нейронной сети.