Методы оценки и прогнозирования систем

Методы прогнозирования и оценки систем разделяют по степени формализации на интуитивные (экспертные) и формализованные (фактографические).

Интуитивные методы используются на начальных этапах моделирования, когда реальная система не может быть выражена в количественных характеристиках, ощущается недостаток в фактическом материале, не позволяющий описать закономерности поведения системы в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы.

К основным интуитивным методам прогнозирования и оценивания характеристик систем, используемым в системном анализе, относят:

· метод сценариев;

· метод мозговой атаки или коллективной генерации идей;

· метод Дельфи;

· метод дерева целей

и другие.

Метод сценариев

Метод применяют при подготовке и согласовании представлений о проблеме или объекте. Вначале этот метод предполагал подготовку текста в письменном виде, содержащего логическую последовательность событий или возможные варианты решения проблемы, упорядоченные во времени.

Однако требование привязки ко времени позднее было снято при сохранении логической последовательности прогнозируемых событий.

В сценарии могут быть не только содержательные рассуждения, которые помогают учесть детали, обычно не принимаемые во внимание при формальном представлении системы, но и результаты количественного или статистического анализа с предварительными выводами, полученными на их основе.

Сценарий содержит предварительную информацию, на основе которой составляются последующие прогнозы или разрабатываются варианты проекта. Таким образом, сценарий помогает составить представление о проблеме, чтобы затем приступить к более формализованному анализу системы.

Мозговая атака

Автором метода считают американского психолога А. Осборна. Концепция «мозговая атака» получила широкое распространение с начала 50-х годов ХХ века. Она рассматривалась, как метод тренировки мышления, нацеленный на открытие новых идей и достижение согласия группы специалистов на основе интуитивного мышления.

При проведении сессий метода мозговой атаки придерживаются следующих основных правил [3]:

· обеспечить как можно большую свободу мышления участников и высказывания ими новых идей;

· приветствовать любые идеи, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее);

· не допускать критики любой идеи (даже мимикой и жестами), не объявлять ее ложной и не прекращать обсуждение;

· желательно высказывать как можно больше идей, особенно нетривиальных.

Как правило, в обсуждении принимают участие 10 – 15 экспертов. Участникам не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы подготовить участников к обсуждению проблемы, им перед сессией представляют некоторую исходную информацию по обсуждаемой проблеме в письменной или устной форме. Сессии могут проводиться в виде совещаний, советов, временных комиссий и т. п.

Недостатки метода:

· присоединение к мнению наиболее авторитетного специалиста;

· нежелание отказаться от публично высказанного мнения;

· следование за мнением большинства.

Метод Дельфи

Это один из наиболее распространенных на Западе методов коллективного прогнозирования. Название метода своими корнями уходит в античный мир. Оно связано с древнегреческим городом Дельфи с храмом Аполлона. При храме служили специально выделенные жрицы – пифии. Их служба заключалась в том, чтобы довести до «клиента» свои видения. Причем делали они это независимо друг от друга.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это избавляет его от недостатков предыдущего метода.

В методе Дельфи прямые дебаты заменены последовательными индивидуальными опросами экспертов, проводимыми в форме анкетирования. Ответы обобщаются и вместе с дополнительной информацией доводятся до сведения экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до получения приемлемой сходимости совокупности мнений экспертов. Результаты экспериментов показали, что для достижения приемлемой сходимости требуется не более пяти туров опроса.

Алгоритм метода Дельфи заключается в следующем:

· организуется последовательность циклов «мозговой атаки»;

· вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную оценку ответам экспертов;

· опрос экспертов проводится в несколько туров, контакты между экспертами исключаются, но предусматривают ознакомление экспертов с мнениями друг друга между турами, вопросы от тура к туру уточняются;

· в наиболее хорошо организованных процедурах экспертам присваивают весовые коэффициенты значимости их мнений, определенные на основе предшествующего опыта.

С целью минимизации расходов на получение прогноза стремятся привлекать минимальное количество экспертов при условии обеспечения заданной ошибки результата прогнозирования , где . Минимальное количество экспертов определяется зависимостью

.

Недостатки метода:

· значительные временные затраты на проведение экспертизы (большое количество повторений оценок);

· необходимость неоднократного пересмотра экспертами своих ответов, что может вызвать у них отрицательную реакцию на всю процедуру.

Однако не следует считать, что интуитивные методы идеальны при прогнозировании в долгосрочном периоде. Ни один из них не дает гарантированного результата. Основные отличия интуитивных методов заключаются в форме опроса экспертов и в способах усреднения результатов. При этом основой технологии получения результата для всего разнообразия интуитивных методов является интуиция специалиста – нечто загадочное, не поддающееся строгой алгоритмизации.

Квинтэссенцию экспертных методов предсказания будущего удачно выразил доктор исторических наук И.В. Бестужев-Лада в своей Рабочей книге по прогнозированию: «…Если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным»[5]. Но может быть именно узкий профессионализм экспертов и является причиной неудачных долгосрочных прогнозов с их участием? Так, например, не был выполнен ни один пятилетний план, составленный с применением столь мощного интеллектуального потенциала, не говоря уже о более дальнем прогнозировании.

Вместе с тем, Г.С. Альтшуллер приводит впечатляющие данные достоверности прогнозов известных писателей-фантастов (таблица 3.3) [9].

При этом ни один из авторов не пользовался сложными формулами экстраполяции и не подвергал свои идеи усреднению ни по одной из научных методик.

Но привлекают внимание следующие факты. Рабочий день Ж. Верна[6]: с пяти утра до двенадцати – работа над рукописью, правка корректуры, обед, снова работы – подбор источников, пополнение картотеки, чтение, а с девяти вечера – сон. После Ж. Верна осталась картотека, состоящая из 20 тысяч тетрадей.

Таблица 3.3

Достоверность прогнозов писателей-фантастов

Авторы	Общее количество фантастических идей	Судьба фантастических идей
Сбылись или обязательно сбудутся	Подтвердилась осуществимость	Оказались ошибочными
Кол-во	%	Кол-во	%	Кол-во	%
Ж. Верн
Г. Уэллс
А. Беляев

Может быть, как раз в том, что авторы не являлись специалистами в какой- либо области науки, а обладали широким системным кругозором, позволяющим охватить истину в целом, и заключается причина их успеха. Из существующих научных методик прогнозирования такому подходу наиболее полно соответствует теория решения изобретательских задач (ТРИЗ) и развивающаяся в ней теория развития систем.

В ТРИЗ выделяют три уровня прогнозирования[7].

1. Определение граничных условий анализируемого процесса.

2. Качественное прогнозирование.

3. Количественное прогнозирование.

Определение граничных условий процесса обычно не дает конкретных количественных оценок, но требует наиболее глубокого понимания исследуемого процесса. Ясность с граничными условиями необходима для долгосрочного прогнозирования. Основным подходом на этом уровне прогнозирования является выявление системных связей процесса (системы).

Любая система (процесс) является составной частью надсистемы (надсистеного процесса) и выполняет определенные функции в соответствии с целями надсистемы. Задачей прогнозирования на этом верхнем уровне является выявление этих функций и определение условий, при которых их выполнение войдет в противоречие с целями надсистемы. Это может произойти в следующих случаях:

· при переразвитии исследуемой системы надсистема не справляется с ее обслуживанием и вынуждена перестраиваться, меняя сложившиеся взаимосвязи;

· при попытке переразвития системы надсистема стремится ликвидировать нарушение субординации;

· при развитии надсистемы до такого уровня, когда ее не удовлетворяет выполнение функций системой, последняя заменяется на более совершенную;

· когда исчезает необходимость в выполнении функций системы или надсистемы.

Основным инструментом на верхнем уровне прогнозирования являются законы развития систем (ЗРС), иерархия этих законом и разрешение противоречий, возникающих при анализе системы с различных точек зрения, при применении разных законов.

При проведении качественного прогнозирования (2 уровень) выявляются причинно-следственные связи между процессами одного системного уровня. Там, где это невозможно, необходимо вывить корреляцию между этими процессами. Основными инструментами на этом уровне являются модели процессов, ЗРС, статистические исследования процессов.

Целесообразность проведения количественных исследований определяется результатами первых двух уровней. Если прогнозы по двум верхним уровням говорят о том, что процесс в перспективе существенно не изменится или будет стремиться к вполне определенной точке равновесия, то возможно применение математических моделей. Однако эти модели требуют, как правило, большого количества сравнительно точных данных и больше подходят для планирования (например, бюджета системы), чем для долгосрочного прогноза. Реальные же субъекты рынка заинтересованы в прогнозировании моментов изменения тенденций развития системы.

Уровень прогнозирования зависит от дальности прогноза и монотонности ЗРС. Кроме того, чем длительнее сроки прогнозирования, тем более высокого уровня надсистему следует рассматривать [10].

Формализованные методы

Одним из наиболее распространенных формализованных (фактографических) методов прогнозирования является метод наименьших квадратов (МНК). Сущность метода: имеются результаты функционирования системы, привязанные к временной шкале, по которым необходимо определить закон функционирования системы во времени. При этом исходят из того, что и в дальнейшем система будет развиваться в соответствии с этим законом:

,

где – расчетные значения исходного ряда, − фактические значения исходного ряда, − число наблюдений.

Но реальность часто вносит свои коррективы в прогнозные оценки.

Для учета этого обстоятельства при оценке социально-экономических систем в вышеприведенную формулу вводят весовые коэффициенты (коэффициенты дисконтирования), которые характеризует изменение ценности информации во времени ( ):

.

К сожалению, формальных процедур выбора параметра не разработано, и он выбирается исследователем произвольно. Отсюда возникает парадокс: насколько точно нужно представлять исходную информацию, если коэффициенты к ней подбираются произвольно. Кроме того, при прогнозной оценке оценивается и дальность прогнозирования. Для этого часто используют показатель Б. Белоконя:

,

где − абсолютное время упреждения, – величина эволюционного цикла развития системы.

При этом считается, что формализованные методы прогнозирования являются действенными, если величина глубины упреждения укладывается в рамки эволюционного цикла ( ). При возникновении в рамках прогнозного периода развития системы «скачка» ( ) необходимо использовать интуитивные методы (как для оценки силы «скачка», так и для оценки времени его осуществления). В этом случае формализованные методы используются для оценки эволюционных участков развития системы до и после скачка.