Нейросетевая модель и модели на основе нечетких множеств

Искусственные нейронные сети (ИНС) [5] используются для решения различных технических задач, в частности, в радиоэлектронике для моделирования и прогнозирования процессов, классификации и распознавания реализаций процессов и т.п. [48, 51, 55, 57, 58].

В общем случае ИНС представляет собой направленный граф с взвешенными связями, в котором узлами являются простейшие элементы – искусственные нейроны [53, 50]. По архитектуре связей ИНС делят на два класса: сети прямого действия, в которых графы не имеют петель, и рекуррентные сети или сети с обратными связями.

В указанных выше работах для задач моделирования реализаций находят применение сети прямого действия, которые называют многослойными перцептронами (рис. 4.1), в них нейроны расположены слоями и соединены однонаправленными связями, идущими от входа к выходу сети. Многослойный перцептрон является статической моделью в том смысле, что на заданные входные сигналы он вырабатывает одну совокупность выходных значений, не зависящих от предыдущего состояния сети.

Рис. 4.1

Структурная схема искусственного нейрона представлена на рис. 4.2.

Рис. 4.2

Формально нейрон реализует отображение в соответствии с выражением

, (4.5)

где – значения на входах нейрона; n – число входов нейрона; – весовые коэффициенты нейрона, определяемые в процессе обучения; – начальное смещение нейрона; – активационная функция выхода нейрона.

В качестве активационной функции в большинстве случаев применения при моделировании и прогнозировании в электропотреблении используется сигмоидальная функция вида [5, 48, 51, 55, 57]:

, (4.6)

хотя возможно применение и других функций (линейной, гиперболического тангенса, бинарной функции и т.п.).

Многослойные нейронные сети (НС) прямого действия (многослойные перцептроны) объединяют несколько слоев нейронов, причем каждый последующий слой обрабатывает сигналы от предыдущего или вектора входных сигналов. На рис. 4.2 изображена трехслойная НС прямого действия, предназначенная для моделирования и прогнозирования реализации процесса [69, 71], состоящего из 24 точек – часовых отсчетов . Эта сеть состоит из входного (распределительного или 0-го слоя), промежуточного (скрытого или 1-го слоя на рис 4.1) и выходного (2-го слоя на рис. 4.1) слоев. Общую структуру НС можно представить как: 3-4-24, т.е. имеется 3 входных сигнала, 4 нейрона в промежуточном слое и 24 нейрона на выходе. В качестве входных влияющих факторов используются: средняя температура предыдущих суток ; электропотребление предыдущих суток данного типа; ожидаемая средняя температура на день прогноза.

В виде математического выражения трехслойная НС, изображенная на рис. 4.1, может быть представлена формулой

, (4.7)

где – размерность вектора входов нейронной сети ( =3); – число нейронов в скрытом слое ( =4); – векторы настраиваемых параметров нейронной сети соответственно первого и второго слоев; , – активационные функции нейронов первого и второго слоев, соответственно – вектор входных сигналов нейронной сети в j-й момент времени.

Обоснование использования МНС в качестве моделей динамических систем определяется серией работ академиков А.Н. Колмогорова и В.И. Арнольда, в которых доказано, что любую прерывную функцию n переменных можно получить с помощью операций сложения, умножения и суперпозиции из непрерывных функций одного переменного [68]. На основе этих работ доказан ряд теорем [5, 52] об аппроксимации непрерывных функций многих переменных нейронными сетями с использованием практически произвольной функции одного переменного.

С математической точки зрения функционирование МНС можно рассматривать как совместное функционирование отдельных нейронов сети. Каждый нейрон получает на входе вектор сигналов , вычисляет его скалярное произведение (2.5) с вектором весовых коэффициентов нейрона и результат преобразуется некоторой функцией в выходной сигнал . Результат поступает на входы других нейронов или выход МНС. Таким образом, нейронные сети вычисляют суперпозиции функций одного переменного и их линейные комбинации.

В [54] показано, что произвольная непрерывная функция может быть аппроксимирована с достаточной точностью нейронной сетью с одним скрытым слоем, содержащим нейроны с сигмоидальными функциями активации (4.6), и выходным слоем, содержащим нейроны с линейной активационной функцией.

Перед использованием нейронной модели для прогнозирования процессов ее необходимо обучить закономерностям, содержащимся в известной предыстории моделируемого процесса, в частности электропотребления:

, (4.8)

где – векторы входных и выходных сигналов системы электроснабжения в j момент времени; N – число данных в предыстории.

Обучение нейронной сети, то есть определение коэффициентов слоев осуществляется по известной предыстории при выбранной структуре МНС вида (4.7) (рис.4.2). При обучении используются различные алгоритмы, в частности, в рассматриваемом случае используется итерационное обучение сети по методу обратного распространения ошибки [48, 51, 49]. Основная решаемая задача при использовании этого метода состоит в нахождении параметров модели типа (4.7), посредством минимизации функционала:

, (4.9)

где ; – моделируемое с помощью НС на основе выражения (4.7) значение реализации.

При практической реализации обучения типа (4.9) итерационный пересчет коэффициентов может осуществляться по формуле [48, 51, 55, 15]:

, (4.10)

где – ошибка i-го нейрона в текущем слое; – выход k-го нейрона предыдущего слоя, подаваемый на вход i-го нейрона; – коэффициент скорости обучения, выбирают в диапазоне 0,9 – 1,0; – коэффициент ускорения обучения и сходимости, выбирают в диапазоне 0 – 1,0.

При использовании активационной функции нейронов (4.6) ошибка нейронов выходного слоя рассчитывается по формуле [48, 51, 55, 15]:

, (4.11)

ошибка нейронов иных слоев определяется иначе:

. (4.12)

Обучение МНС (рис.4.2) или идентификация процесса в форме НС осуществляется как итерационный процесс изменения коэффициентов сети всех слоев [5, 51, 55]:

- изначально им полагают значения, например, из отрезка [– 0,5;0,5];

- на вход МНС (рис.4.2) подают один из входных векторов из предыстории (4.8) и рассчитывают значения на выходах всех нейронов сети;

- по формуле (4.11) определяются ошибки нейронов выходного слоя и далее в соответствии с (4.10) определяют новые значения коэффициентов между промежуточным и выходным слоем;

- вычисляют по (4.12) ошибки нейронов промежуточного слоя и в соответствии с (4.10) вычисляют новые коэффициенты между промежуточным и входным слоями и т.д. Таким образом, корректировка коэффициентов осуществляется от выходных нейронов к входным (обратное распространение ошибки);

- обучение заканчивают при достижении заданной точности или выполнении заданного количества итераций, а также после исчерпания всей предыстории (4.8) процесса электропотребления.

Следует отметить, что перед прогнозированием с использованием МНС предысторию делят по типам суточных графиков: рабочие, выходные, предпраздничные, послепраздничные и т.п. Далее нейронные модели строятся для каждого типа реализаций.

В реализованной программе краткосрочного прогнозирования, внедренной в диспетчерской службе ОАО «Ростовэнерго» [48, 51] при участии А.В. Демуры, используется многослойный перцептрон рис. 4.1. Оценка погрешности прогнозирования осуществлялась по известной предыстории. Так, в одном из худших случаев при прогнозировании реализации для 8-ми дней сентября 1993 года, когда обучение выполнялось по данным августа 1993 года, среднеквадратическая погрешность прогнозирования реализации 26 сентября составила 4,5 %.

В электроснабжении МНС используются при решении различных задач моделирования и прогнозирования нагрузки:

- краткосрочном прогнозировании пиковой (максимальной) нагрузки или суточного электропотребления на ряд следующих суток предприятия или радиосистемы [55, 56, 57];

- оперативном прогнозировании нагрузки следующего часа предприятия или радиосистемы [57, 49];

- краткосрочном прогнозировании реализаций на ряд следующих суток предприятия или радиосистемы [48, 51, 58].

В данной работе подробно рассматривается лишь последнее применение, как наиболее адекватное концепции МНС.

Остановимся на достоинствах применения МНС (или многослойного перцептрона) при краткосрочном прогнозировании процесса:

- прогнозирование электрической нагрузки с приемлемой точностью;

- хорошая адаптивность, способность к обучению и обобщению при моделировании сложных закономерностей изменения электропотребления; при этом МНС способна эффективно моделировать процессы с коррелированными входными факторами;

- простота и наглядность представления модели и алгоритмизации;

- устойчивость к помехам.

Недостатки применения многослойного перцептрона (МНС) при краткосрочном моделировании и прогнозировании нагрузки:

- активационные функции нейронов (сигмоидальная, линейная, гиперболического тангенса) выбираются произвольно и при этом практически никак не отражают особенности моделируемого процесса;

- при построении МНС реализуется, как правило, не минимально возможная размерность задачи (структура сети: число слоев, число нейронов в промежуточных слоях); размерность сети кроме отражения размерности моделируемого процесса сильно связана, например, со сходимостью процесса обучения сети;

- отсутствие хорошо формализованных алгоритмов выбора структуры нейронной сети, исходя из особенностей моделируемого процесса и входных влияющих факторов; это особенно важно, когда изменения процесса требуют адаптивного изменения и структуры сети;

- МНС не реализуют концепцию многомерного моделирования процесса электропотребления, наиболее адекватную, как было показано выше, моделированию реализаций.

В настоящее время нейросетевые модели рассматриваются как расширение известных одномерных регрессионных моделей [6], но в отличие от них они являются нелинейными моделями [5]:

NNARX(Neural Network – based AutoRegressive eXogenous signal) – нейросетевая авторегрессионая модель с учетом входных сигналов:

.

NNARMAX(Neural Network – based AutoRegressive, Moving Average, eXogenous signal) – нейросетевая авторегрессионная модель скользящего среднего с учетом входных сигналов:

.

Однако применение этих моделей при прогнозировании нагрузки имеет описанные выше недостатки.

Иным близким подходом моделирования нагрузки промышленных предприятий является использование моделей на основе нечеткой логики. Нейросетевые и нечеткие модели иногда объединяют в единый нейро-нечеткий подход моделирования [5] и при моделировании используют гибридные ANFIS-технологии (Adaptive Neuro-Fuzzy Inference Systems) [59]. Это объясняется удобством совместного использования и простой общей интерпретацией в виде нейро-нечетких сетей.

Математическое моделирование на основе нечеткой логики (нечеткие математические модели) базируются на двух основных положениях [5, 60]:

1) использование функции принадлежности , связывающей множества значений моделируемой величины со значением в интервале , определяющем степень принадлежности («вероятность») данного значения; при этом форма может быть произвольной и определяется конкретной задачей и проектировщиком;

2) использование нечетких логических (И, ИЛИ, НЕ и т.п.) и иных операций (диффузификации, импликации и т.п.) над функциями принадлежности (нечеткими множествами), на основе которых строятся продукционные правила и определяется нечеткая математическая модель.

Детерминированную функцию принадлежности можно рассматривать как применение алгебраического подхода к статистической функции плотности распределения вероятности . При этом для функции принадлежности не обязательно выполняется известное условие нормировки, привычное для функций плотности вероятности [30]:

; .

Указанная алгебраизация позволяет реализовывать эффективные модели процессов, когда накоплен малый статистический материал и применение статистических моделей невозможно либо когда реализуется моделирование сложных зависимостей по экспертным данным.

Преимущества нечеткого подхода при моделировании процессов состоят в следующем [60]:

- сложное поведение моделируемых систем затрудняет их моделирование с помощью известных подходов и традиционных методов (принцип «несовместимости» Л. Заде). При этом возрастает число требуемых переменных и параметров модели. Нечеткая же модель реализует лингвистическую (словесную) модель системы в форме продукционных правил, обладающую работоспособностью и достаточным качеством работы;

- нечеткая модель приспособлена к параллельной обработке большого числа правил модели, что позволяет реализовать быстродействующие модели.

Составление нечеткой модели (продукционных правил) подразумевает 4 подхода: 1) на основе опыта и знаний эксперта; 2) путем создания модели действий оператора; 3) путем обучения, по измеренным статистическим данным; 4) на основе составления нечетких моделей отдельных составляющих системы.

Традиционные же подходы математического моделирования, как правило, базируются на подходах3 и 4.

В электроэнергетике гибридные нейро-нечеткие подходы применяются, например, для моделирования при оценке технического состояния электрооборудования в реальном масштабе времени, в частности, синхронных генераторов [59]. Прогноз годового электропотребления в Ростовской области достаточно эффективно осуществляется с использованием нечетких моделей по изменению объемов промышленного производства и непромышленного электропотребления [48, 51]. При этом в нечетких моделях использовалась трапецеидальная функция принадлежности (нечеткое множество)

,

полученная по данным экспертных оценок в 90-е годы. Из приведенного нечеткого множества следует, что наибольшая возможность снижения годового электропотребления в 1992 – 1995 гг. находилась в диапазоне 7,5 – 12 %. Использование данной прогнозной модели позволило с достаточной точностью осуществлять прогноз (планирование) годового потребления в 1994 – 1996 гг. в период существенной нестабильности в экономике. Нечеткую логику используют при долгосрочном прогнозировании требуемого топлива [61] на электростанциях энергосистемы. При этом функцию принадлежности для расхода топлива определяют по трапецеидальной функции принадлежности прогноза электроэнергии с учетом доверительного интервала разброса. В результате функция принадлежности получается нелинейной (не трапецеидальной) и строится как огибающая значений для различных положений границ доверительного интервала. Эта модель по сравнению с линейной моделью дает лучший прогноз (погрешность 2 – 5 %) [61].

Оперативный прогноз общего электропотребления предприятия и максимума мощности в часы максимума нагрузки энергосистемы также реализуют, используя нечеткие модели на основе планируемого выпуска продукции [69]. При этом выпуск продукции определяется по реализуемым нечетким моделям на основе построенных функций принадлежности, а статистическая зависимость между суточным потреблением и максимум мощности предприятия задается в форме интервальной оценки.

При прогнозировании суточных графиков электрической нагрузки нечеткие модели практически не применяются, хотя по общим принципам применения это близко к использованию нейронных сетей.