Линейный слой LIND в рабочем пространстве MATLAB.
Для создания линейного слоя LIND используется функция newlind.
Синтаксис:
net = newlind(P, T)
Линейный слой LIND использует для расчета весов и смещений процедуру решения систем линейных алгебраических уравнений на основе метода наименьших квадратов, и поэтому в наибольшей степени он приспособлен для решения задач аппроксимации, когда требуется подобрать коэффициенты аппроксимирующей функции. В задачах управления такой линейный слой можно применять для идентификации параметров динамических систем.
Функция net = newlind(P, T) формирует нейронную сеть, используя только обучающие последовательности входа P размера RxQ и цели T размера SxQ. Выходом является объект класса network object с архитектурой линейного слоя.
Пример.
P = [0 : 3];
T = [0.0 2.0 4.1 5.9];
net = newlind(P,T);
gensim (net);
Анализ данных показывает, что требуется найти аппроксимирующую кривую, которая близка к зависимости t = 2*p. Применение линейного слоя LIND в данном случае вполне оправдано.
Значения весов и смещений равны:
net.IW{1}, net.b{1}
ans = 1.9800
ans = 0.3000
Соответствующая аппроксимирующая кривая описывается соотношением
yk = 1.9800rk + 0.3000
Выполним моделирование сформированного линейного слоя:
Y = sim(net, P)
Y = 0.0300 2.0100 3.9900 5.9700
В целом функция newlind вычисляет значения W и смещения В для линейного уровня с входом Р и целью Т, решая линейное уравнение в структуре метода наименьших квадратов:
[W b]*[P;ones] = T.
Задание.
1. Сформировать в рабочем пространстве MATLAB линейный слой LIND, использующего метод наименьших квадратов и рассмотреть его структуру.
2. Задать следующие обучающие последовательности:
P = [1 : (1/3) : 2];
T = [9.0 7.4 8.1 0.5];
3. Выполнить моделирование сформированного линейного слоя.
Y = sim(net,P);
4. Построить графики зависимостей.
Лабораторная работа 3
Динамическая нейронная сеть
Сеть прямой передачи с запаздыванием
Для создания динамической нейронной сети применяется функция NEWFFTD. Функция newfftd предназначена для создания многослойных нейронных сетей прямой передачи сигнала с линиями задержки и заданными функциями обучения и настройки, использующими метод обратного распространения ошибки.
Синтаксис:
net = newfftd(PR, ID, [S1 S2 ….. Sn], {TF1 TF2 ….. TFn}, btf, blf, pf)
Входные аргументы:
PR – массив размера Rх2 минимальных и максимальных значений R векторов входа;
ID – вектор параметров линии задержки на входе сети;
Si – количество нейронов в слое i;
TFi – функция активации слоя I, по умолчанию tansig;
btf – обучающая функция, реализующая метод обратного распространения, по умолчанию trainlm;
blf – функция настройки, реализующая метод обратного распространения, по умолчанию learngdm;
pf – критерий качества обучения, по умолчанию mse.
Выходные аргументы:
net – объект класса network object динамической многослойной нейронной сети.
Пример:
Зададим последовательность входа и целей:
P = {1 0 0 1 1 0 1 0 0 0 0 1 1 0 0 1};
T = {1 -1 0 1 0 -1 1 -1 0 0 0 1 0 -1 0 1};
Создадим нейронную сеть:
net = newfftd([0 10], [0 1], [5 1], {‘tansig’ ‘purelin’})
Архитектура нейронной сети: двухслойная сеть с прямой передачей сигнала и линией задержки [0 1]; первый слой – 5 нейронов с функцией активации tansig; второй слой – 1 нейрон с функцией активации purelin; диапазон изменения входа [0 10].
Обучим сеть в течении 50 циклов и промоделируем, используя в качестве теста обучающую последовательность входа:
net.trainParam.epochs = 50;
net = train(net, P, T);
Y = sim(net, P);
Y = [1] [-1] [0] [1] [0] [-1] [1] [-1] [0] [0] [0] [1] [0] [-1] [0] [1]
Выход сети точно совпадает с целевой последовательностью.
Свойства сети:
Функциями активации могут быть любые дифференцируемые функции, например: tansig, logsig или purelin.
Обучающими функциями могут быть любые функции, реализующие метод обратного распространения: trainlm, trainbfg, trianrp, traingd и др.
Функция trainlm является обучающей функцией по умолчанию, поскольку обеспечивает максимальное быстродействие, но требует значительных ресурсов памяти. Если ресурсы памяти недостаточны, воспользуйтесь следующими методами:
Установите значение свойства net.trainParam.mem_reduc равным 2 или более, что снизит требования к памяти, но замедлит обучение;
Воспользуйтесь обучающей функцией trainbfg , которая работает медленнее, но требует меньше памяти, чем Ь-функция trainlm;
Перейдите к обучающей функции trainrp, которая работает медленнее, но требует меньшей памяти, чем М-функция trainbfg.
Функциями настройки могут быть функции, реализующие метод обратного распространения: learngd, learngdm.
Критерием качества обучения может выступать любая дифференцируемая функция: mse, msereg.
Алгоритм:
Многослойная динамическая сеть прямой передачи включает Ni слоёв с функциями взвешивания dotprod, функциями накопления netsum и заданными пользователем функциями активации.
Первый слой характеризуется матрицей весов входа, другие слои – матрицами весов входа предшествующего слоя; все слои имеют смещения. Выход последнего слоя является выходом сети. Веса и смещения каждого слоя инициализируются с помощью М-функций initnw.
Режим адаптации реализуется М-функцией adaptwb. Для режима обучения выбирается обучающая функция, использующая метод обратного распространения ошибки.
Оценка качества обучения основана на функциях оценки качества, выбираемых из списка {mae | mse | msereg | sse}.
Задание.
1. Создать в рабочем пространстве MATLAB двухслойную нейронную сеть с прямой передачей сигнала и линией задержки [0 1]; число нейронов на втором слое –1; на первом – варьируется; функции активации – tansig, purelin; диапазон изменения входа [0 10].
2. Задать последовательность входов и целей , содержащих не менее 10 значений.
3. Обучить сеть (не менее 30 циклов) и протестировать с использованием заданной последовательности входа.
Лабораторная работа 4
Линейные сети
Линейный слой
Линейные слои находят применение при решении задач аппроксимации, фильтрации и предсказания сигналов, построении моделей динамических систем в задачах управления. Функция newlin() формирует нейронную сеть в виде линейного слоя.
Синтаксис:
net = newlin(PR, s, id, lr);
net = newlin(PR, s, o, P);
Входные аргументы:
PR – массив размера Rх2 минимальных и максимальных значений для R векторов входа;
s – число нейронов;
id – описание линии задержки на входе сети, по умолчанию [0];
lr- параметр скорости настройки, по умолчанию 0.01.
Выходные аргументы:
net – объект класса network object с архитектурной линейного слоя.
Функция net = newlin(PR, s, o, P), где Р –матрица векторов входа, формирует линейный слой с параметром скорости настройки, гарантирующим максимальную степень устойчивости слоя для данного входа Р.
Пример:
Сформировать линейный слой, который для заданного входа воспроизводит заданный отклик системы.
Сформируем последовательности векторов входа и цели:
Р = {0 -1 1 1 0 -1 1 0 0 1};
T = {0 -1 0 2 1 -1 0 1 0 1};
Архитектура линейного входа: линия задержки типа [0 1 2], 1 нейрон, вектор входа с элементами из диапазона [-1 1], параметр скорости настройки 0.01.
net = newlin([-1 1], 1, [0 1 2], 0.01);
Gensim(net)
Обучим сеть в течении 100 циклов и промоделируем, используя в качестве теста обучающую последовательность входа:
net.trainParam.epochs = 100;
net = train(net, P, T);
Y = sim(net, P);
Алгоритм:
Линейный слой использует функцию взвешивания dotprod, функцию накопления потенциала netsum и функцию активации purelin. Слой характеризуется матрицей весов и вектором смещений, которые инициализируются М-функцией initzero.
Адаптация и обучение выполняются М-функциями adaptwb и trainwb, которые моделируют веса и смещения, используя М-функцию learnwh, до тех пор пока не будет достигнуто требуемое значение критерия качества обучения в виде средней квадратичной ошибки, вычисляемой М-функцией mse.
Задание.
1. Создать в рабочем пространстве MATLAB линейный слой со следующей архитектурой: линия задержки типа [0 1 2], 1 нейрон, вектор входа с элементами из диапазона [0 1], параметр скорости настройки 0.01.
2. Сформулировать две обучающие последовательности Р1, Т1 и Р2, Т2, содержащих не менее 10 значений.
3. Обучить сеть с использованием:
· только обучающей последовательности Р1, Т1 (не менее 100 циклов);
· всего объема обучающих данных, соответствующего объединению векторов входа Р3 = [P1 P2] и векторов целей T3 = [T1 T2].
и выполнить моделирование сети для всех значений входа (для обоих случаев), объединяющих векторы Р1 и Р2 – Y = sim(net, [P1 P2]) (для повторной инициализации сети использовать команду net = init(net)).
4. Сравнить результаты моделирования, сделать вывод.
Лабораторная работа 5