Основі положення теорії нейронних мереж

ЗМІСТ

Основі положення теорії нейронних мереж……………………………………......4

Біологічний нейрон……………………………………………………………….....5

Структура і властивості штучного нейрона…………………….……………….....6

Властивості нейронних мереж……………………………………………………...9

Топологія нейронних мереж………………………………………...……………..11

Навчання нейронних мереж…………………………………………………….....16

Застосування нейромереж……………………………………………....................32

Персептрони...............................................................................................................34

Нейронні мережі зустрічного розповсюдження.....................................................39

Нейронні мережі Хопфілда і Хеммінга...................................................................43

Мережа з радіальними базисними елементами (RBF)...........................................47

Ймовірнісна нейронна мережа (PNN).....................................................................49

Узагальнено-регресійна (GRNN) та лінійна НМ....................................................51

Ефективність функціонування нейронних мереж..................................................52

Література………………………………………………………………………..….54

Основі положення теорії нейронних мереж

Під нейронними мережами (НМ) розуміють обчислювальні структури, які моделюють прості біологічні процеси, звичайно асоційовані з процесами людського мозку. Вони є розпаралеленими системами, здібними до навчання шляхом аналізу позитивних і негативних дій. Елементарним перетворювачем в даних мережах є штучний нейрон або просто нейрон, названий так по аналогії з біологічним прототипом.

Термін «нейронні мережі» сформувався в 40-х роках XX століття серед дослідників, що вивчали принципи організації і функціонування біологічних нейронних мереж. Основні результати, одержані в цій області, пов'язані з іменами американських дослідників У. Маккалоха, Д. Хебба, Ф. Розенблатта, М. Мінського, Дж. Хопфілда і ін.

Розглянемо деякі проблеми, вирішувані в контексті НМ і які представляють інтерес для користувачів.

Класифікація образів. Задача полягає у знаходженні належності вхідного образу (наприклад, мовного сигналу або рукописного символу), представленого вектором ознак, одному або декільком заздалегідь визначеним класам. До відомих додатків відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми, класифікація клітин крові.

Кластеризація/категоризація. При вирішенні задачі кластеризації, яка відома також як класифікація образів «без вчителя», відсутня навчальна вибірка з мітками класів. Алгоритм кластеризації заснований на подібності образів і розміщує близькі образи в один кластер. Відомі випадки застосування кластеризації для отримання знань, стиснення даних і дослідження властивостей даних.

Апроксимація функцій. Припустимо, що є навчальна вибірка ((x₁, у₁); (x₂, у₂),…, (x_N, у_N)) (пари даних вхід-вихід), яка генерується невідомою функцією F(x), яка спотворена шумом. Задача апроксимації полягає в знаходженні оцінки невідомої функції F(x). Апроксимація функцій необхідна при вирішенні інженерних і наукових задач моделювання.

Передбачення/прогноз. Нехай задані n дискретних відліків {у(t₁); у(t₂),…, у(t_к)} в слідуючі моменти часу t₁, t₂,…, t_к. Задача полягає в прогнозі значення y(t_k+1) в деякий майбутній момент часу t_k+1. Передбачення має значний вплив на ухвалення рішень в бізнесі, науці і техніці. Прогноз цін на фондовій біржі і прогноз погоди є типовими додатками техніки передбачення/прогнозу.

Оптимізація. Численні проблеми в математиці, статистиці, техніці, науці, медицині і економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є знаходження такого рішення, яке задавольняє систему обмежень і максимізує або мінімізує цільову функцію. Відома задача комівояжера є класичним прикладом задачі оптимізації.

Пам'ять, що адресується за змістом. У моделі обчислень фон Неймана звернення до пам'яті доступне тільки за допомогою адреси, яка не залежить від змісту пам'яті. Більш того, якщо допущена помилка в обчисленні адреси, то може бути знайдена абсолютно інша інформація. Асоціативна пам'ять, або пам'ять, що адресується за змістом, доступна по вказівці заданого змісту. Вміст пам'яті може бути викликаний навіть по частковому входу або спотвореному змісту. Асоціативна пам'ять надзвичайно корисна при створенні мультимедійних інформаційних баз даних.

Управління. Розглянемо динамічну систему, задану сукупністю {u(t); у(t)}, де: u(t) є вхідною управляючою дією, а у(t) - виходом системи у момент часу t. У системах управління з еталонною моделлю метою управління є розрахунок такої вхідної дії u(t), при якій система слідує по бажаній траєкторії, яка диктована еталонною моделлю. Приклад – оптимальне керування двигуном.

Біологічний нейрон

Нервова система і мозок людини складаються з нейронів, які з’єднані між собою нервовими волокнами. Нервові волокна здатні передавати електричні імпульси між нейронами. Всі процеси передачі подразнень від нашої шкіри, вух і очей до мозку, процеси мислення і управління діями – все це реалізовано в живому організмі як передача електричних імпульсів між нейронами.

Нейрон (нервова клітина) є особливою біологічною клітиною, яка обробляє інформацію (рис. 1.1). Він складається з тіла і відростків нервових волокон двох типів – дендритів, по яким приймаються імпульси, і єдиного аксона, по якому нейрон може передавати імпульс. Тіло нейрона включає ядро, що містить інформацію про спадкові властивості, і плазму, що володіє молекулярними засобами для виробництва необхідних нейрону матеріалів.

Рис. 1.1. Біологічний нейрон

Нейрон одержує сигнали (імпульси) від аксонів інших нейронів через дендрити (приймачі) і передає сигнали, що згенеровані тілом клітини, уздовж свого аксона (передавача), який в кінці розгалужується на волокна. На закінченнях цих волокон знаходяться спеціальні утворення – синапси, що впливають на силу імпульсу.

Синапс – елементарний структурний і функціональний вузол між двома нейронами (волокно аксона одного нейрона і дендрит іншого). Коли імпульс досягає синаптичного закінчення, вивільняються певні хімічні речовини, які називаються нейротрансмітерами. Нейротрансмітери дифундують через синаптичну щілину, порушуючи або загальмовуючи, залежно від типу синапсу, здатність нейрона-приймача генерувати електричні імпульси. Результативність синапсу може настроюватися прохідними сигналами, так що синапси можуть навчатися залежно від активності процесів, у яких вони беруть участь. Ця залежність від передісторії працює як пам'ять, яка, можливо, відповідальна за пам'ять людини. Важливо відзначити, що вага синапсів може змінюватися з часом, що змінює і поведінку відповідного нейрона.

Контрольні питання

1. Дайте визначення біологічного нейрона

2. Наведіть структуру біологічного нейрона

3. Що таке синапс та нейротрансмітери?