Проведение экспертных опросов

Перед началом экспертного опроса следует четко определить его цели, сформулировать требующую разрешения проблему. Часто оказывается, что проблема разбивается на ряд специфических подпроблем, требующих решений, относящихся к различным областям маркетинга (ценообразование, реклама, разработка продукта). Для их решения требуются эксперты различных направлений.

1. Определение количества привлекаемых экспертов. Можно произвести расчет количества экспертов по методам статистики (на основе разброса мнений и требуемой точности). Однако чаще используется практический подход.

Он основывается на следующих соображениях.

q Экспертов не должно быть мало, чтобы не было сильного влияния отдельного эксперта на общий результат.

q Большая численность экспертной группы не всегда повышает достоверность оценок.

q Высококвалифицированных экспертов достаточно мало.

q Нижняя граница количества экспертов соответствует общепринятому правилу представительности: оно должно быть не меньше, чем количество принимаемых решений. Верхняя граница определяется количеством экспертов, которых может пригласить фирма, организующая опрос.

q Для обсуждения различных вопросов, требующих узкой специализации экспертов, обычно подбираются группы одинаковой численности.

2. Квалификация приглашаемых экспертов оценивается по личному опыту совместной работы, имеющимся рекомендациям от авторитетных лиц, стажу работы в данной области, успешности предшествующей деятельности в качестве эксперта.

3. Проведение опроса. Помимо общих требований к опросам, таких, как

q соответствие задаваемых вопросов целям исследования;

q удобство работы с анкетой;

q удобная для экспертов организация проведения опроса,

имеется ряд правил именно для экспертных опросов. К их числу относятся:

q предоставление экспертам всей требуемой информации;

q проведение коллективных обсуждений, если это целесообразно;

q обеспечение независимости мнений экспертов;

q анонимность ответов для членов экспертной группы.

Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить оцениваемые вопросы, согласовать порядок проведения опросов.

Затем экспертам направляются анкеты с пояснительной запиской.

На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.

Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.

4. Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять другие характеристики, например, моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее), медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).

При получении количественных оценок используется следующая процедура, учитывающая то, что ценность получаемых оценок зависит от опыта и интуиции эксперта. Пусть свое мнение высказывает n экспертов и каждый из них оценил некоторый параметр величиной X_i. Тогда общая экспертная оценка составит

где X_эксп – общая экспертная оценка,

v_i – вес каждой оценки (значимость эксперта).

Для определения весов используется ряд способов.

q В простейшем случае все веса равны 1.

q Если лицо, принимающее решения, более доверяет одним экспертам и осторожно относится к мнению других, веса могут быть различны. Таким образом, исследователь устанавливает веса на основе мнения лица, принимающего решения.

q Наилучший путь повысить объективность назначения весов при повторных экспертизах – сравнить оценки каждого эксперта с действительным развитием событий. Эксперты, которые дали плохие оценки, в дальнейшем могут вообще не привлекаться к экспертизам.

q Оценка экспертов исследователями, проводящими опрос. Выбирается ряд показателей, характеризующих квалификацию эксперта. Это могут быть уровень образования, опыт практической работы, широта кругозора. Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале. Общая оценка эксперта представляет собой сумму проставленных баллов.

q Самооценка. В анкету включаются вопросы об общем стаже, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. В США опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью прогнозов.

q Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить аналогичные субъективные балльные оценки своим коллегам по экспертной группе.

Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.

Некоторые интересные методы получения весов предлагается в [4].

Для обобщения всех полученных оценок автор [4] предлагает использовать обобщенный вес как среднее геометрическое полученных оценок:

где v_i,И, v_i,C, v_i,O –балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами соответственно,

V_И, V_C, V_О –максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки коллегами соответственно.

Эта формула удобна тем, что результирующие веса находятся в пределах от 0 (совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок[12];

5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства. Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками[13].

Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением экспертиз.

Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции[14].

***

Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить достаточно точные решения плохо формализуемых задач.