Виды экспертных оценок, индивидуальные экспертные оценки

Экспертные оценки бывают индивидуальные и коллективные.

Индивидуальные оценки — это оценки одного специалиста. Например, преподаватель единолично ставит на экзамене оценку студенту. Врач ставит диагноз больному и назначает лечение.

Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению экспертной комиссии. Классический пример коллективной экспертной оценки — решение суда присяжных. По простым делам судья принимает решение единолично, при рассмотрении тяжких преступлений законодательством предусмотрена возможность участия в принятии решений комиссии экспертов — присяжных заседателей.

Работа экспертной комиссии может быть растянута во времени.

Например, лечащий врач может отправить пациента на обследование врачам-специалистам, дать распоряжение сдать различные анализы, сделать флюорографию и т.п. Собрав мнения экспертов (в данном случае врачей-специалистов) и проанализировав объективные данные, лечащий врач формулирует окончательное решение, выражающее мнение всей экспертной комиссии.

Индивидуальная экспертная оценка может потребовать от специалиста выполнения большого объема работы, например подготовка рецензии на рукопись книги или заключения оппонента о диссертации, представленной к защите на соискание ученой степени. Обычно эксперт должен следовать тем или иным правилам, приведенным в нормативной и методической документации по определенному виду экспертной деятельности. Например, при оценке диссертации эксперт должен исходить из нормативных документов Высшей аттестационной комиссии Российской Федерации.

В структуры государственной власти постоянно поступают научно‑технические проекты, подготовленные различными организациями и отдельными гражданами. По каждой заявке требуется принять решение о целесообразности осуществления проекта и необходимом для этого содействии со стороны структур государственной власти (финансировании, организационных решениях).

Первый шаг — проект направляется на экспертизу. Эксперт Российского исследовательского научно-консультационного центра экспертизы (РИНКЦЭ) получает следующий документ.

Вопросы, которые должны быть отражены в заключении эксперта

1. Актуальность проекта.

2. Краткая характеристика положения в данной области в стране и за рубежом.

3. Научное значение проекта.

4. Научная новизна предлагаемых решений.

5. Прикладное значение проекта.

6. Новизна предлагаемых технических (технологических) решений.

7. Существующие отечественные и зарубежные аналоги (марка, тип, фирма, страна).

8. В чем заключается преимущество предлагаемых решений по сравнению с существующими в данной области в стране и за рубежом.

9. Сравнительные данные экономических показателей объекта и его аналогов (в сопоставимом виде).

10. Оценка потенциала разработчика:

· наличие научно-технического задела „„ в данной областии в чем он выражается;

· „„ наличие научно-производственной базы.

11. Обоснованность стоимости работ, оценка структуры затрат.

12. Реальность достижения поставленных целей:

· „„ в предлагаемые сроки;

· „„ предлагаемыми способами (методами) и ресурсами.

13. Возможность серийного освоения предлагаемого проекта.

14. Последствия создания и использования проекта:

· „„ научные и научно-технические;

· „„ экологические;

· „„ гуманитарные;

· „„ экономические;

· „„ социальные.

15. Выводы:

· „„ необходимость реализации проекта (полная, частичная);

· „„ целесообразность финансирования (в целом, частично);

· „„ рекомендации эксперта.

Мнение эксперта должно быть выражено в специальном документе — заключении. На все 15 приведенных вопросов эксперт должен ответить в своем заключении. Ясно, что этот документ должен быть достаточно объемным, а подготовка его трудоемка.

Когда нужна формализация мнений экспертов? Цели экспертизы могут быть различны. Так, отзыв официального оппонента заканчивается выводом о том, соответствует или нет рассмотренная им диссертация требованиям ВАК Российской Федерации. Рецензент научного журнала делает в конце своего заключения вывод о том, может или нет данная статья быть опубликована в журнале. В этих двух случаях нет необходимости сравнивать между собой различные объекты экспертизы.

Однако часто необходимо проводить такое сравнение. Научно-технические или инвестиционные проекты нельзя рассматривать отдельно друг от друга, поскольку ограничено суммарное финансирование, выделенное на всю совокупность проектов.

5.2 Оценка и выбор вариантов с помощью экспертов, коллективные экспертные оценки

Рассмотрим несколько процедур коллективных экспертных оценок, начиная с простейших, при этом вводя и обсуждая используемые в дальнейшем понятия.

Оценка номеров в КВН. Простейший пример коллективных экспертных оценок — оценка номеров в известной игре КВН. Экспертной комиссией является жюри. Просмотрев номер, каждый из членов жюри поднимает планшет со своей оценкой. Затем люди сидящие за компьютером (технический работник, не член жюри) вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений). Люди сидящие за компьютером представляет коллектив тех, кто обеспечивает организацию и проведение экспертизы. Этот коллектив называют «рабочей группой» (РГ) [или «группой сопровождения».

Таким образом, два основных объекта рассмотрения в настоящем учебнике — это экспертная комиссия (ЭК) и рабочая группа (РГ).

Фигурное катание.В фигурном катании процедура обработки оценок экспертов усложняется — перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Пусть X1, X2, …, Xn — оценки n экспертов. При проведении КВН в качестве коллективной экспертной оценки используют среднее арифметическое всех n оценок:

В фигурном катании нужно переставить элементы выборки в порядке возрастания (точнее, неубывания) и получить вариационный ряд X(1) ≤ X(2) ≤ … ≤ X(n), исключить минимум X(1) и максимум X(n), а затем в качестве коллективной экспертной оценки взять урезанное среднее арифметическое, т.е. среднее арифметическое оставшихся (n – 2) членов вариационного ряда:

С точки зрения прикладной математической статистики, X* — это робастная оценка теоретического среднего, нацеленная на борьбу с аномальными (резко выделяющимися) результатами наблюдений. Поскольку ясно, что аномальные результаты порождены внешними влияниями на судей фигурного катания, искажающими их профессиональные экспертные оценки, то простое изменение правил расчетов итоговой оценки (переход от среднего арифметического к урезанному среднему) позволяет уберечь экспертов от вызванных извне уклонений от решения поставленных перед ними задач.

Итак, правила обработки оценок экспертов существенно влияют на объективность выводов экспертной комиссии.

Экспертный выбор.Экспертные оценки часто используют при выборе: одного варианта технических устройств — из нескольких; группы космонавтов — из многих претендентов; набора проектов научно-исследовательских работ для финансирования — из массы заявок; получателей экологических кредитов — из многих желающих; инвестиционных проектов для реализации — среди представленных и т.д.

Типовая ситуация такова. Заказчик формулирует технические требования к будущему изделию. Объявляется конкурс (тендер), итогом которого должен быть выбор той или иной разработки для серийного выпуска. Допущенные к конкурсу организации к заданному сроку представляют опытные образцы. Как правило, оказывается, что эти образцы несравнимы, каждый из них по каким-то важным показателям качества лучше других, а по другим важным показателям — хуже того или иного из остальных образцов. Например, у одного опытного образца дальность полета больше, у другого — расход топлива на 1000 км меньше, у третьего — потолок полета выше, у четвертого — броня крепче, у пятого — под крыльями можно дополнительно подвесить две ракеты.

Какой стратегический бомбардировщик (из разработанных разными конструкторскими бюро и представленных на тендер) выбрать для серийного производства?

Задача экспертной комиссии — выбрать опытный образец для запуска в серийное производство. Есть два принципиально разных подхода к решению этой задачи.

Первый из них основан на сравнении образцов. Например, каждый из экспертов упорядочивает образцы в соответствии со своими предпочтениями. Полученные от экспертов упорядочения (ранжировки) обрабатываются теми или иными математическими методами с целью расчета итогового мнения комиссии экспертов. В другом варианте организации экспертизы образцы предъявляют эксперту попарно для сравнения, математический анализ результатов парных сравнений позволяет найти итоговое мнение. В третьем варианте каждого эксперта просят выбрать три лучших образца и т.д.