Как Вы оцениваете уровень Вашей «приобщенности» к теоретическим и практическим проблемам построения правового государства?
(Отметьте, пожалуйста, крестиком соответствующую оценку в строке против каждой из трех перечисленных характеристик)
| Критерии «приобщенности» | Высокий (ая) | Средний(яя) | Низкий (ая) |
| 0,5 | |||
| Уровень теоретического знания проблемы (/с,) | + | ||
| Практический опыт (кг) | + | ||
| Способность предвидеть логику событий (к3) | + |
Исходя из числовых значений оценок, обозначенных крестиками в клетках таблицы, рассчитаем коэффициент уровня компетентности эксперта по проблемам правового государства:
Полученное число свидетельствует о том, что уровень компетентности эксперта по исследуемому вопросу выше среднего.
При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, «опыт многочисленных экспертиз и у нас и за рубежом показывает, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других»7.
Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Такая ситуация чаще всего характерна для ученых, творческих деятелей, известных политиков, экономистов. Этот метод можно рассмотреть на примере формирования группы экспертов, осуществленного С. Бешелевым и Ф. Гурвичем.
7 Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. М., 1976. С. 35.
Предположим, что мы имеем список, включающий десять экспертов, \ просим каждого из них выделить пять наиболее компетентных коллег. Н; основании ответов построим табл. 2, обозначив в ней номерами от 1 до 101 первом столбце тех, кого выбирают, а в первой строке тех, кто выбирает В клетках таблицы число «1» обозначает выбор, «тире» — отсутствие выбора «0» — указывает на то, что никто сам себя не назвал.
Таблица Таблица взаимных оценок экспертов
| Кого назвали | Кто назвал | Сколько | |||||||||
| раз назвал | |||||||||||
| - | - | - | . - | ||||||||
| - | |||||||||||
| - | - | - | - | - | - | - | |||||
| - | - | - | |||||||||
| - | - | ||||||||||
| - | - | - | - | ||||||||
| - | |||||||||||
| - | - | - | - | - | - | - | |||||
| - | - | - | - | ||||||||
| - | - | - | - | - | - | ||||||
| Итого |
В последнем столбце таблицы приводится сумма голосов, которые полу чил соответствующий эксперт. Эти числа принимаются в качестве «веса мнений, ими заменяются «единицы» в таблице (по столбцам), в результат чего получается ранжированный ряд оценок уровня компетентности все десяти экспертов (табл. 3).
Таблица Таблица уточненных взаимных оценок экспертов
| Кого назвали | Ктоназвал | Суммарнаяоценка | Ранговая оценка | |||||||||
| компетентности | ||||||||||||
| - | - | - | - | - | ||||||||
| - | - | |||||||||||
| - | - | - | - | - | - | - | ||||||
| - | - | - | - | - | ||||||||
| - | - | - | ||||||||||
| - | - | - | - | - | ||||||||
| - | - | |||||||||||
| - | - | - | - | - | - | - | - | |||||
| - | - | - | - | - | ||||||||
| - |
Таким образом, если мы хотим сформировать группу из пяти наиб< компетентных экспертов, то, судя по оценкам в предпоследнем столбце зачислим в эту группу экспертов под номерами 7, 5, 2, 9, 4.
ФАКТОРЫ ВАЛИДНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК
В наиболее общем виде можно выделить две основные функции метода экспертной оценки в социологическом исследовании: оценка состояния (включая причины) и прогноз тенденций развития различных явлений и процессов социальной действительности.
Валидность — доверие, которое заслуживают суждения экспертов. Она зависит от компетентности экспертов и трудности решаемой задачи. Существует много причин, по которым эксперт может оказаться не в состоянии реализовать свой интеллектуальный и творческий потенциал. Отметим некоторые из них и дадим рекомендации по их устранению.
1. Идентификация суждения с его источником — естественный компонент восприятия человека человеком. Значительно снимается при отсутствии непосредственного контакта экспертов. Если же группа работает в режиме очного взаимодействия, следует составлять ее так, чтобы туда не попадали люди, хорошо знающие друг друга, начальники и подчиненные. Включение в группу «громких имен» целесообразно лишь тогда, когда вся она состоит из специалистов высокого ранга.
2. Центростремительное давление возникает из-за свойственного большинству людей смещения своих суждений в сторону нейтральной середины.
Врезка
Необычные эксперты
3 июле-августе 2002 г. исследовательский центр РОМИР провел опрос о культурном облике Москвы, где в качестве экспертов выступила не совсем обычная категория людей, а именно иностранцы,живущие и работающие в столице': представители крупных зарубежных компаний, торговых представительств, сотрудники посольств, культурных фондов, информационных агентств и средств массовой информации, исследовательских организаций, университетов. Все эксперты занимают ключевые посты в своих компаниях и организациях (возглавляют российские представительства компаний, занимают высокие позиции в дипломатических представительствах, культурных и исследовательских организациях). Они представляли следующие страны: США, Японию, Германию, Великобританию, Францию, Испанию, Норвегию, Грецию, Кипр, Австралию, Эстонию, Латвию, Украину, Югославию. Исследование проходило в форме неформализованных интервью. Структура интервью предполагала, что эксперты расскажут о своем лич-
Подробнее см.: Громова Р. Жизнь в Москве глазами иностранцев // http://www.romir.ru/ socpolit/socio/09_2002/image-of-moscow-w2.htm
ном опыте жизни в Москве, выскажут оценки тех или иных сторон культурной жизни города, но при этом у них останется возможность высказать свои взгляды на русскую культуру и в более широком смысле: о том, в чем заключается, по их мнению, ее специфика, о значении русской культуры для иностранцев, об их ожиданиях, связанных с Россией. Экспертные интервью записывались на диктофон, у интервьюера также была возможность делать необходи-
мые заметки в процессе проведения интервью. В ходе исследования было взято 40 экспертных интервью, данные которых расшифровывались, кодировались и обрабатывались методами качественного анализа.
Результаты опроса экспертов. В начале интервью экспертам предлагалось рассказать, с чем ассоциируется для них русская и российская
Установлено: чем выше самооценка компетентности эксперта, тем выщ устойчивость высказываемых суждений. Переход к заочному взаимодей ствию экспертов сам по себе не исключает возникновения центростремитель ного давления, однако некоторые процедуры сбора информации (процеду ры с качественной обратной связью, с индивидуальной обратной связью позволяют справиться с этой сложностью.
3. Стремление к доминированию может возникать у членов экспертно группы, не являющихся признанными лидерами, это потенциальный источ ник конфликтов. Следует избегать включения экспертов с повышенной тя гой к лидерству в опросы с режимом непосредственного воздействия.
4. Неустойчивость формирующегося мнения характерна для большинств экспертов на этапе знакомства с объектом и первичного обдумывания оце нок. Высказанное в этот момент незрелое суждение может быть воспринят остальными как желанная подсказка. На первом этапе необходимо поддет живать информационную изоляцию экспертов.
Достоверность экспертных оценок повышается за счет правильной ф0г мализации исходной информации, корректного подбора экспертов, соблк дения принципов и процедур экспертного опроса. Она зависит и от индивг дуальных качеств эксперта (профессиональных и практических знаний, ста» и опыта работы в конкретной сфере деятельности и др.).
культура, назвать имена культурных деятелей, работавших в разное время в различных областях искусства и культуры, которые вспоминаются в первую очередь, если речь заходит о русской культуре. Ответ на этот вопрос ни у кого из экспертов не вызвал заметных затруднений, подавляющее большинство из них легко называли имена и явления, ассоциирующиеся для них с русской и российской культурой. На первом месте по числу упоминаний стоит русская литература — о писателях, о литературных произведениях, о литературе вообще вспомнил 31 эксперт из 40 участников этой волны исследования. По словам одного из экспертов, «литература — это слава России». На втором месте среди различных областей и явлений российской культуры стоит российская музыкальная культура (о ней упоминают 23 эксперта), причем здесь речь идет почти исключительно о классической музыке. На третьем месте по числу упоминаний экспертами идет российское театральное искусство в самом широком понимании. Российское изобразительное искусство, по мнению экспертов, в целом меньше репрезентирует российскую культуру. Исключение здесь составляют художники-авангардисты, которых упоминали некоторые эксперты (всего таких упоминаний было 7). По мнению экспертов, авангард — это вклад России в мировую культуру; как выразился эксперт из Японии, «авангард не мог бы сформироваться в отрыве от революции, от революционного сознания, он просто не мог возникнуть нигде, кроме России».
По уровню проведения и организации культу| ных мероприятий (театр, выставки) все экспе' ты ставят Москву в один ряд с крупнейшик культурными центрами мира: «думаю, Моей можно сравнить с крупнейшими городами ми| по богатству культурной жизни»; «подобж можно увидеть и в других городах мира, н пожалуй, только в крупных мировых центре таких, как Лондон, Париж, Нью-Йорк, к которь теперь принадлежит и Москва»; «то, что я до с пор видела в Москве (театры, выставки), соп ставимо только с культурными событиями с мых крупных городов мира». Сопоставление с мировыми культурными wet рами (это в основном Лондон, Париж, Берли* Нью-Йорк) идет чаще в пользу Москвы («ее сравнивать с Лондоном, в Москве более 6ypi-культурная жизнь, если говорить в целом»; «i чество спектаклей, на мой взгляд, в Москве л' ше»; «в других странах тоже ставятся бале" есть подобные спектакли, но в Москве они особо высоком уровне»; «в Москве богаче ку. турный выбор»).
Однако там, где речь заходит о нетеатральн культурной жизни, часть экспертов считают,' в организации крупных культурных мероприят Москва пока уступает другим культурным це рам. Часто эксперты отмечают организаци! ные и бытовые неудобства, отсутствие необ димой инфраструктуры, с которыми им при дится сталкиваться при посещении культурн мероприятий, хотя сами мероприятия не вы: вают никаких нареканий.