Метод экспертных оценок
МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК
Методические указания к практической работе по дисциплине
«Управление качеством»
Ростов-на-Дону 2011
Составители: Борисова Л.В., Димитров В.П.
УДК 658.562
Метод экспертных оценок: методические указания к практической работе по дисциплине «Управление качеством»/ Ростов-на-Дону, Издательский центр ДГТУ, 2011, 12 с.
Методические указания предназначены для проведения практических работ по дисциплине «Управление качеством» со студентами специальностей 200501, 200503, 220501, 080502 080507 и других специальностей.
Печатается по решению методической комиссии факультета «Приборостроение и техническое регулирование»
Научный редактор: кандидат технических наук,
доцент М.Х. Сергеева
ã Издательский центр ДГТУ, 2011
ВВЕДЕНИЕ
Цель практических занятий состоит в приобретении навыков использования экспертных методов оценки при решении задач менеджмента качества.
Задачи:
- ознакомиться с сущностью метода экспертной оценки;
- ознакомиться с методикой решения задач и обработкой результатов;
- развить навыки работы с прикладными пакетами программ (например, Excel).
Экспертные методы обычно используются при определении состава и структуры показателей качества продукции; весомости показателей качества; при определении комплексных показателей качества, а также при аттестации качества продукции.
Значительное число задач, связанных с анализом, оценкой и управлением качеством продукции на основе экспертных методов, содержит ряд общих процедур:
―определение конкретной цели экспертизы, формирование рабочей группы, формирование экспертной группы и составление рабочей документации;
―опрос экспертов, в ходе которого проводится анализ документов и оценка объектов исследования;
―обработку и анализ результатов опроса, состоящего из подготовки исходных данных, выделения экспертов с резко выделяющимся мнением, расчет итоговых оценок, их группировку, ранжирование по значимости и выделение доминирующих оценок.
Группа экспертов может состоять из 7―12 человек. При необходимости повышения достоверности экспертных оценок численный состав группы следует увеличить до 15 ― 20 человек в зависимости от сложности продукции и сложности решаемых вопросов.
1. ПОСЛЕДОВАТЕЛЬНОСТЬ ЭТАПОВ ПРОВЕДЕНИЯ АНАЛИЗА
1 этап. Экспертам предлагается опросная анкета, в которой каждому из n экспертов предлагается написать перечень параметров (показателей качества), характеризующих, по их мнению, конкретный объект (изделие, технологический процесс и т. д.).
В результате составляется таблица с перечнем показателей (m ― число параметров) и их условными обозначениями (табл. 1).
Таблица 1 – Список рассматриваемых параметров
| Наименование показателя (параметра) | Условное обозначение |
| Q1 | |
| Q2 | |
| . . . | |
| Qm |
2 этап. Каждый эксперт индивидуально заполняет вторую анкету, где показатели должны быть ранжированы (упорядочены) по их значимости. Если, по мнению эксперта, показатели не различается по силе их влияния (по значимости) на исследуемый объект, то им присваивается один и тот же порядковый номер (ранг). Показатели ранжируются в порядке убывания от наиболее значимого (ранг 1) до наименее значимого (ранг m). Например, табл. 2.
Таблица 2 – Индивидуальное ранжирование признаков
| № эксперта | Признаки | |||||
| Q1 | Q2 | … | Qj | … | Qm | |
| Ранги | ||||||
| X11 | X12 | … | X1j | … | X1m | |
| например: |
3 этап. На основе индивидуальных анкет составляется общая матрица рангов (табл. 3).
Таблица 3 – Матрица рангов
| № эксперта | Ранги Х, присвоенные показателям Q | |||||
| Q1 | Q2 | … | Qj | … | Qm | |
| ... i … n | X11 X21 … Xi1 … Xn1 | X12 X22 … Xi2 … Xn2 | … … … … … | X1j X2j … Xij … Xnj | … … … … … | X1m X2m … Xim … Xnm |
В табл. 3 приняты обозначения: Xij ¾ ранг j-го показателя у i-го эксперта; n ¾ число экспертов; m ¾ число показателей.
4 этап. На основании данных таблицы 3 проводится оценка степени согласованности мнений опрошенных экспертов. Необходимость проведения этой процедуры обуславливается тем, что: во-первых, в силу индивидуальных особенностей каждого эксперта, уровня его знаний и представлений об объекте параметры могут быть истолкованы неоднозначно; во-вторых, ранжирование параметров может быть произведено неквалифицированно из-за недостаточной изученности объекта.
Оценка степени согласованности мнений экспертов осуществляется с помощью коэффициента конкордации.
Если в матрице рангов (см. табл. 3) отсутствуют равные значения рангов в каждой из строк, то оценка степени согласованности мнений экспертов определяется по формуле
. (1)
Значение W = 1 говорит о полном совпадении мнений экспертов.
Значение W = 0 говорит о полном не совпадении мнений экспертов.
В практических ситуациях 0 < W < 1. При близости коэффициента координации к нулю (W = 0,1 ÷ 0,5) следует сделать заключение о том, что состав экспертов подобран неудачно или объект изучен недостаточно полно.
Если значение W близко к единице (W ≥ 0,9), может оказаться, что экспертиза проведена формально без должного изучения объекта. В обоих указанных случаях экспертизу следует повторить.
5 этап. Проверяется значимость (отличие) коэффициента конкордации W от нуля с помощью z-критерия Фишера:
(2)
Если z ≥ zα, то с вероятностью Р = (1 – α) (где α - уровень значимости критерия) можно утверждать, что имеется неслучайная согласованность во мнениях экспертов.
В этом случае z находится по формуле (2), а zα – с помощью статистических таблиц. Исходными данными для получения zα являются уровень значимости z-критерия α, который обычно берется равным 0,01 ¾ 0,10, и степени свободы v1 и v2:
; v2 = (n – 1) v1. (3)
Значения zα при α = 0,05 приведены в приложении.
Если z < zα, то с вероятностью Р ≥ (1 – α) можно утверждать, что между экспертами нет согласованности и необходимо провести новое анкетирование или выявить группу экспертов, у которых согласованность мнений достаточно высокая. С этой целью один эксперт исключается из совокупности и подсчитывается коэффициент W1 для оставшихся экспертов. Если W1 > W, то данный эксперт исключается из совокупности. Такие расчеты проводятся для каждого эксперта. В результате расчетов степень согласованности мнений экспертов, оставшихся в совокупности, повышается.
2. МОДЕЛЬНЫЙ ПРИМЕР
Пусть опрошено 5 экспертов о степени влияния некоторых параметров Q (количественных признаков) на качество продукции. Экспертами были выбраны 6 параметров. Результирующая опросная матрица представлена в табл. 4. В рассматриваемом примере в матрице рангов (табл. 4) отсутствуют равные значения рангов в каждой из строк.
Таблица 4 – Результирующая матрица опроса экспертов
| № (эксперта) | Ранги Xij параметров Q |  | |||||
| Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | ||
 |
Порядок обработки полученных данных следующий.
1. По данным таблицы 4 рассматриваемые параметры ранжируются так:
Результаты расчета показывают, что на рассматриваемый показатель качества продукции наибольшее внимание оказывает параметр x5, а наименьшее влияние – параметр x6 .
2. Оценку степени согласованности экспертов рассчитаем по формуле (1), так как в матрице рангов отсутствуют равные значения рангов у одного и того же эксперта. Определим S.
Таким образом, при S = 225,5 коэффициент конкордации равен:
3. Проверим значимость отличия коэффициента конкордации от нуля. Для этого вычислим расчетное значение
z-критерия Фишера:
Степени свободы v1 и v2 определяются как:
При уровне значимости α = 0,05 для v1 = 5 и v2 = 20 получаем, что zα = 0,5.
Поскольку расчетное значение z = 0,72 больше zα = 0,5, то с вероятностью P = 0,95 можно утверждать, что между экспертами имеет место неслучайное согласие о силе влияния на рассматриваемый показатель качества выбранных количественных признаков.
3. ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ
Задание №1
Группой из семи экспертов проранжировать перечисленные ниже характерные особенности представления студентов о своей будущей работе (табл. 5).
Таблица 5 – Характерные особенности будущей работы
| Работа будет хорошо оплачиваемой | |
| Соответствовать моим способностям и наклонностям | |
| Представлять самостоятельность и независимость | |
| Предоставлять возможность регулярно выезжать по делам службы за границу | |
| Престижная, признанная и востребованная обществом | |
| Обеспечивать хорошие социальные гарантии | |
| Творческой, интересной, требующей умственного напряжения, инициативы | |
| Характеризоваться гигиеническими и невредными для здоровья условиями труда | |
| Предоставлять возможность многочисленных контактов с людьми | |
| Не требовать особого физического труда | |
| Не требовать полной отдачи сил и времени | |
| Если будет возможность, предпочел бы вообще не работать |
Задание №2
Группой из семи экспертов проранжировать типичные признаки слабости в управлении российскими предприятиями на современном этапе (табл. 6).
Таблица 6 – Недостатки в управлении предприятиями
| Формальное участие в управлении первого руководителя | |
| Отсутствие некоторой документации по качеству | |
| Слабая обратная связь с потребителем и субподрядчиком | |
| Использование в работе устаревших документов | |
| Не выдерживание заданных показателей при закупке сырья | |
| Недостаточное применение статистических методов для анализа и принятия решений | |
| Недостоверный учет затрат на обеспечение качества | |
| Неполнота надзора за оборудованием | |
| Недостаток мероприятий предотвращающих брак (как профилактических, так и предупреждающих) | |
| Руководителем не производится анализ работы системы менеджмента качества предприятия | |
| Недостаточное внимание к проблеме повышения квалификации сотрудников | |
| Небрежность в складском хозяйстве |
екомендуемая литература
1. Экспертные оценки и их применение в энергетике/И.С. Вартазаров, И.Г. Горлов, Е.В. Минаев, Р.М. Хвастунов; Под ред. Р.М. Хвастунова. ― М.: Энергоиздат, 1981. ― 188 с.
2. Надежность и эффективность в технике: Справочник. В 10 т. Т. 7. Качество и надежность в производстве/Под ред. И.В. Апполонова. ― М.: Машиностроение, 1989. ― 280 с.
ПРИЛОЖЕНИЕ А
Значения zα при 5 %-ном уровне значимости
| v2 | v1 | |||||||||
| ∞ | ||||||||||
| ∞ | 2,45 1,46 1,58 1,02 0,94 0,90 0,86 0,84 0,82 0,80 0,79 0,78 0,77 0,76 0,76 0,75 0,75 0,74 0,74 0,74 0,73 0,73 0,73 0,72 0,72 0,72 0,72 0,72 0,72 0,71 0,69 0,67 | 2,65 1,47 1,13 0,97 0,88 0,82 0,78 0,85 0,72 0,71 0,69 0,68 0,67 0,66 0,65 0,64 0,64 0,63 0,63 0,63 0,62 0,62 0,62 0,61 0,61 0,61 0,60 0,60 0,60 0,60 0,57 0,55 | 2,69 1,48 1,11 0,94 0,84 0,78 0,74 0,70 0,68 0,66 0,64 0,62 0,61 0,60 0,60 0,59 0,58 0,58 0,57 0,56 0,56 0,56 0,55 0,55 0,55 0,54 0,54 0,54 0,54 0,54 0,51 0,48 | 2,71 1,48 1,11 0,93 0,82 0,76 0,71 0,67 0,64 0,62 0,61 0,59 0,58 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0,52 0,52 0,51 0,51 0,51 0,50 0,50 0,50 0,50 0,50 0,46 0,43 | 2,72 1,48 1,10 0,92 0,81 0,74 0,69 0,65 0,62 0,60 0,58 0,57 0,55 0,54 0,53 0,52 0,52 0,51 0,50 0,50 0,50 0,49 0,48 0,48 0,48 0,48 0,47 0,47 0,47 0,46 0,43 0,40 | 2,73 1,48 1,09 0,91 0,80 0,73 0,68 0,64 0,61 0,58 0,56 0,55 0,54 0,52 0,51 0,50 0,50 0,49 0,48 0,48 0,47 0,47 0,46 0,46 0,46 0,45 0,45 0,45 0,44 0,44 0,41 0,37 | 2,74 1,48 1,09 0,90 0,79 0,71 0,66 0,62 0,59 0,56 0,54 0,52 0,51 0,50 0,48 0,48 0,47 0,46 0,45 0,45 0,44 0,44 0,43 0,43 0,42 0,42 0,42 0,42 0,41 0,41 0,37 0,33 | 2,75 1,48 1,08 0,89 0,77 0,69 0,64 0,59 0,56 0,54 0,51 0,49 0,48 0,46 0,45 0,44 0,43 0,43 0,42 0,41 0,41 0,40 0,40 0,39 0,39 0,38 0,38 0,38 0,37 0,37 0,32 0,28 | 2,76 1,48 1,08 0,88 0,76 0,67 0,61 0,57 0,53 0,50 0,48 0,46 0,44 0,43 0,41 0,40 0,39 0,38 0,37 0,37 0,36 0,35 0,35 0,34 0,34 0,33 0,38 0,32 0,32 0,32 0,26 0,21 | 2,77 1,49 1,07 0,86 0,65 0,59 0,54 0,50 0,47 0,44 0,42 0,40 0,38 0,36 0,35 0,34 0,32 0,32 0,31 0,30 0,29 0,28 0,27 0,27 0,26 0,26 0,25 0,25 0,24 0,16 0,00 |
Составители: Борисова Людмила Викторовна
Димитров Валерий Петрович
МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК
Методические указания к практической работе по дисциплине
«Управление качеством»
Редактор
ЛР № В набор
В печать Офсет. Бумага тип
Формат 60´84/16. Объем 0,5 усл. п.л., 0,5 уч.-изд.л.
Заказ № Тираж
Издательский центр ДГТУ.
Адрес университета и полиграфического предприятия:
344000, Ростов-на-Дону, пл. Гагарина, 1.