Комплексная динамическая оценка инновационной деятельности

Для эффективного управления процессом научно-технических инноваций (нововведений) необходимо оценивать эффективность их реализации. Экономическую эффективность на ранних стадиях определить затруднительно. Поэтому для этих целей используется комплексная динамическая оценка эффективности (КДОЭ).

Основные исходные положения КДОЭ.

1. Системный подход при оценке эффективности инноваций, при котором объекты и субъекты (творческие коллективы, работники) рассматривается как элементы единой системы управления.

2. Обеспечение здоровой конкуренции среди субъектов, а следовательно, равных условий их деятельности, конкурсной системы финансирования.

3. На ранних стадиях инноваций, особенно на стадии фундаментальных исследований, конкурсный отбор проектов осуществляется на основе учета в большей степени научного потенциала субъектов нововведений.

4. Выбор реципиентов, то есть фирм, где реализуются проекты, осуществляется на основе их восприимчивости инновациям, определяемой системой показателей.

5. Научный потенциал субъектов нововведений определяется по прогнозным значениям показателей, получаемым по данным ретроспективного (прошлого) периода, продолжительность которого определяется требуемой точностью прогноза, а срок прогноза – периодом реализации проекта.

КДОЭ научно-технического потенциала субъектов инноваций включает следующие этапы:

1) формирование массива частных показателей эффективности субъектов инноваций путем отбора с использованием методов экспертной оценки и теории математической статистики;

2) расчет прогнозных значений частных показателей эффективности одним из экстраполяционных методов;

3) определение интегральных показателей эффективности путем свертки частных;

4) введение ограничений и критериев отбора субъектов научно-технических инноваций.

1) Для проведения конкурсного отбора в идеальном варианте нужна адекватная оценка ожидаемых результатов выполнения заданий программы каждым из потенциальных исполнителей, отнесенных к соответствующим затратам исполнителя, то есть оценка ожидаемой эффективности НИР. Если в основе задания лежит проведение опытно-конструкторских работ, то речь должна идти об ожидаемой эффективности предполагаемых проектов. Оценка эффективности НИР носит вероятностный характер. Неопределенность эффективности усиливается с приближением характера работы к фундаментальному. Экономический эффект не может служить универсальным критерием эффективности даже для внедренных НИР.

Однако нужны критерии для выбора наиболее подходящего исполнителя конкретной темы НИР. Предлагается использовать оценку, которая учитывала бы сравнительную эффективность деятельности субъектов в прошлом периоде.

При оценке эффективности деятельности научных учреждений, предприятий или научных, проектных, производственных подразделений используется, как правило, комплекс показателей. Показатели, которые могут быть использованы для оценки эффективности, делятся на различные группы в зависимости от признаков, по которым они классифицируются. Например, с учетом методов измерения оценочные показатели делятся на 2 группы: количественные и качественные. К количественным показателям относятся показатели, которые могут быть измерены в натуральных единицах. Для качественных показателей не существует либо меры, либо способа измерения (вычисления), вследствие чего их количественное измерение, то есть измерение абсолютного значения, невозможно. Оценка качественных показателей производится в сравнительной мере (лучше, важнее, полнее, оригинальнее, актуальнее и т.д.).

Количественная оценка оцениваемого субъекта возможна путем использования шкал предпочтений. Содержание шкал составляет несколько уровней, отражающих возможные качественно различные состояния оцениваемых субъектов по отношению к рассматриваемому показателю. Более корректно в данном случае использование коллективного мнения экспертов.

В зависимости от возможности сопоставления показателей оцениваемых субъектов различают абсолютные, удельные и относительные показатели. Абсолютные показатели характеризуют величину оценки субъекта в стоимостных или натуральных единицах. Абсолютные показатели находятся по сумме частных (накопленных) результатов.

Удельные показатели характеризуют величину эффекта как результата, приходящегося на единицу затрат (объема) ресурса или потенциала оцениваемого объекта.

Относительные показатели получаются в результате отнесения абсолютного или удельного показателя на опорное (максимальное, средневзвешенное и т.д.) значение того же показателя, и в силу этого они являются всегда безразмерными.

В зависимости от уровня агрегирования показатели могут быть разделены на частные, составные (обобщенные) и комплексные. Существующие методы оценки базируются на критериях, представляющих собой двух- – четырехуровневую иерархическую систему, которая включает в себя простые показатели промежуточных уровней и комплексный (интегральный) показатель верхнего уровня.

Выбор показателей осуществляется путем экспертной оценки специалистов, опроса заинтересованных сторон, коллективного обсуждения в органах управления инновациями. Участники, стараясь оценивать как можно более объективно и всесторонне рассматриваемый объект, составляют значительное количество показателей. Часть показателей может в то же время быть недостаточно достоверными или дублирующими друг друга. На стадии отбора показателей предлагается производить проверку имеющихся показателей на достоверность. Поскольку вся процедура комплексной оценки может выполняться с использованием специальной компьютерной программы, то можно произвести поиск некоторых возможных ошибочных показателей. Поскольку разброс значений каждого показателя практически соответствует закону нормального распределения случайных величин, то проверяются значения, сильно отличающиеся от других, то есть соответствие их основной выборке (основной массе показателей среди остальных оцениваемых объектов) по критерию Стьюдента [62].

В конечном итоге состав показателей определяется экспертом с учетом анализа экономической или физической природы связи рассматриваемых частных показателей эффективности и их значимости.

2) Анализ частных показателей оценки эффективности показывает, что их изменение во времени часто отличается. Одни оцениваемые субъекты улучшают свою деятельность, другие – ухудшают. Очевидно, исходя из поставленной цели, немаловажно учесть динамику показателей каждого субъекта. Этого можно достичь, используя в интегральной оценке эффективности прогнозные значения частных показателей, полученные фактографическими или экспертным методами.

Фактографические методы больше пригодны для оценки научного потенциала коллективов и организаций. Методы экспертных оценок находят применение для прогноза направлений развития техники и научных исследований. Фактографические методы имеют самостоятельное значение, но могут использоваться и для более точных оценок экспертами в методах экспертных оценок. Прогнозирование путем аппроксимации ретроспективных значений временного ряда в зависимости от используемого метода имеет различную точность прогноза.

Один из наиболее распространенных методов прогнозирования заключается в построении формы тренда динамического ряда путем экстраполяции простыми зависимостями. При этом имеет определенная последовательность проведения операций по выбору вида функций и расчета их параметров[62].

Разновидностью данного способа прогнозирования является использование в качестве экстраполяционных функций полиномов. Параметры полиномов находят методом наименьших квадратов. Выбор оптимальной степени многочлена может быть выполнен также с помощью компьютера. Однако достоверность и точность экстраполяционных прогнозов определяются в первую очередь правильным подбором вида функции. В то же время способы подбора вида функции являются неформализованными, неоднозначными, существенным образом зависящими от интуиции и субъективных качеств прогнозиста. В связи с этим предлагается более глубоко изучать динамику процесса на ретроспективном периоде с помощью дифференциальных функций роста и выравнивания.

В основе некоторых методов заложен принцип, согласно которому новейшие данные учитываются в большей степени, чем более ранние. Наиболее известными среди них являются методы движущей средней и экспоненциального сглаживания.

В данном случае более пригоден метод экспоненциального сглаживания. Процедура сглаживания при рассматриваемом методе осуществляется по рекурентной формуле [62]:

,

где – экспоненциальная средняя р порядка; α – параметр сглаживания; t – время, год сглаживания.

Важную роль при экспоненциальном сглаживании играет выбор оптимального параметра сглаживания, так как от него зависит соотношение всех ранних и поздних значений временного ряда при определении коэффициентов модели, а, следовательно, и результатов прогноза. Чем больше α , тем больше вклад последних наблюдений в формировании тренда, а влияние начальных условий быстро убывает. При малом α прогнозные оценки учитывают все наблюдения, при этом влияние более «старой» информации происходит медленно. Для определения α используются следующие соотношения:

1) Соотношение Брауна, выведенное из условия равенства скользящей средней и экспоненциальной средней (N – число точек ряда, для которых динамика ряда считается однородной и устойчивой (период сглаживания);

2) Соотношение Мейера , (δ_n – среднеквадратичная ошибка модели; δ_ε – среднеквадратическая ошибка исходного ряда); использование последнего соотношения затруднено тем, что достоверно определить δ_n и δ_ε из исходной информации очень сложно[63].

Выбор параметра α целесообразно связывать с точностью прогноза. Для более обоснованного выбора α можно использовать процедуру обобщенного сглаживания, которая позволяет получить соотношения, связывающие дисперсию прогноза и параметр сглаживания.

Параметр α можно определять, строя прогноз на год, по которому имеются фактические данные. Прогнозные значения определяются при применении α от 0,1 до 0,9 с шагом 0,05. Сопоставление фактических и расчетных значений покажет, при каких значениях α достигается максимальная точность прогноза. Доказано, что при прогнозировании показателей эффективности субъектов нововведений целесообразно использовать α = 0,3…..0,6 (при N = 4, α = 0,6). Для получения более точных прогнозов можно производить уточнение с использованием вышеизложенного метода. Критерием точности выбранного параметра считается минимум средней относительной ошибки [62].

Для определения начальных условий можно применить один из трех вариантов:

1. Здесь используется формула Брауна-Мейера, связывающая коэффициенты прогнозирующего полинома с экспоненциальными средними соответствующих порядков:

Тогда начальные условия для линейной модели:

; ; .

2. В качестве начального уровня сглаживания берется первый член ряда, то есть .

3. Начальный уровень сглаживания принимается равным среднему значению исходного временного ряда. Наибольшую точность прогнозов для функции тренда первой и второй степени имеют первый и второй варианты. При первом варианте лучшие результаты дает функция тренда второй степени.

Следует отметить, что многие показатели эффективности НИР для небольших научных коллективов носят нестабильный, стохастический характер и являются практически непрогнозируемыми. То же самое относится и к научным подразделениям с относительно низкой эффективностью НИР. Зная начальные условия и значения параметра α, можно вычислить экспоненциальные средние . Динамический ряд ищем в виде

.

Коэффициенты ряда определяют через экспоненциальные средние по фундаментальной теореме Брауна-Мейера. Коэффициенты находят решением системы р+1 уравнений с р+1 неизвестными, связывающей параметры прогнозирующего полинома с исходной информацией. Так для линейной модели

;

.

Доказано, что превышение второго порядка модели не приводит к существенному увеличению точности прогноза, но значительно усложняет процедуру расчета.

В том случае, когда в окрестности конечной точки временного ряда детерминированная составляющая близка к постоянной, достаточно применить аппарат однократного экспоненциального сглаживания и прогноз определяется по формуле

.

При этом получаем следующий доверительный интервал прогноза:

,

где t_p – доверительная граница распределения Стьюдента, соответствующая уровню значимости р (обычно р=0,05);

δ – среднеквадратическое отклонение случайной составляющей

.

Если детерминированная составляющая – линейна, применяют двойное экспоненциальное сглаживание и точечный прогноз осуществляется по формуле

,

где – время, год прогноза.

Доверительный интервал для прогноза:

Если детерминированная составляющая – нелинейна, применяют тройное экспоненциальное сглаживание.

Точность кратковременного прогноза (на 1-2 года) практически не ухудшается при сокращении временного ряда до 4-5 лет.

Критерии точности прогнозов:

- D_τ доверительный интервал прогноза, составленный с привлечением среднеквадратического отклонения случайной составляющей t_p – критерия Стьюдента;

- средняя относительная ошибка функций тренда;

- средняя относительная ошибка прогноза, определенная на ретроспективном участке временного ряда для всех субъектов.

Оценив точность прогнозных значений по одному из вышеназванных критериев, в случае достаточной точности прогнозных значений, используем их для получения локальных интегральных критериев.

Для получения интегральных значений эффективности деятельности предлагается следующая формула

.

Здесь x_{ij i} – частный показатель _j – субъекта; x_imax – максимальное значение i-го показателя среди S субъектов; n – количество показателей оценки; a_i – весовой коэффициент i-го показателя.

Выбор варианта связан с целями оценки, потребностью в том или ином виде анализа оценок эффективности.

Таким образом, предлагается следующая схема комплексной динамической оценки эффективности субъектов инноваций:

f₁ o t

Д Х Х₁ У Q

g ,

Q₁

где f₁ – операция получения множества частных показателей эффективности X из множества данных Д ; ot – операция отбора и проверки частных показателей для получения множества X₁ , частных показателей оценки эффективности; t – прогнозирование частных показателей X₁ ; У – множество прогнозных значений; g – операция шкалирования и свертки частных показателей для получения локальных критериев оценки эффективности Q₁ и интегрального показателя оценки эффективности Q.

Если оценка эффективности научной деятельности производится по совокупности натуральных, социальных и стоимостных показателей, которые имеют большую степень неопределенности, то эффективность производственной деятельности более корректно можно определить по соотношению экономических результатов и затрат. При выборе вариантов стратегического развития трудовых процессов может быть использована методика оценки эффективности инвестиционных проектов и их отбора для финансирования, которая изложена в следующей главе.