Использование шкал экспертной оценки качества продукции (услуги)

Цель работы: формирование навыков по разработке карт экспертного анализа показателей качества продукции (услуги).

Теоретическая часть

1. В соответствии с Общероссийским классификатором продукции (ОКП) или Общероссийским классификатором услуг населению (ОКУН) устанавливают принадлежность исследуемого товара (продукции, услуги) к номенклатурной группе. Пользуясь нормативно-техническими документами такими, как стандарты Системы показателей качества продукции (СПТК) и другими, выбирают те, которые необходимы для определения показателей, подлежащих обязательной оценке.

2. Разрабатывают структурную схему показателей в зависимости от анализируемых свойств конкретной продукции или услуг. Типовая структура показателей качества услуг приведена в таблице 1.

Таблица 1. Показатели услуги

Комплексный показатель	Групповые показатели	Единичные показатели
Качество услуг	Качество основных услуг	Организация процесса оказания услуги
Условия обеспечения процесса оказания услуги
Безопасность услуги
Профессиональная компетентность персонала
Качество дополнитель-ных услуг
Качество обслуживания	Продолжительность обслуживания
Культура обслуживания
Эстетичность
Комфортность
Удобство расположения предприятия и режим его работы

Построение структурной схемы — процедура, требующая от экспертов высокой профессиональной информированности и квалиметрических знаний. Поэтому для облегчения этой работы экспертам предлагается определить только перечень показателей качества, которые необходимо учитывать при оценке качества и объединить их в группы. Целесообразно, чтобы операциям построения структурной схемы показа­телей качества предшествовали разработка классификации потребителей в со­ответствии с их требованиями к продукции и построение структурной схемы свойств.

Пример. Анализ условий потребления мужских наручных часов показал, что наиболее резко требования потребителей отличаются по отношению к следующим показателям:

эстетическим;

информационным;

точности;

защищенности.

Потребителей делят на тех, кто предъявляет высокие и средние требования. В результате анализа исключаются маловероятные сочетания требований. В зависимости от целей и условий потребления потребности могут отличаться, что приводит к классификации продукции по назначению.

Например, наручные часы можно разделить на 2 категории: универсальные и специализированные. Универсальные часы - наиболее распространенная группа, характеризующаяся большим количеством показателей качества и широким диапазоном их значений. Многие модели универсальных часов имеют устройства дополнительной временной информации: календарь, сигнал, секундную стрелку и т.д. Специализированные часы снабжены устройствами, позволяющими получать необходимую для определенного вида деятельности информацию: шкалами для измерения пути, скорости, компасом, термометром, глубиномером, барометром, счетчиком Гейгера и т.д. Специализированные часы нередко требуют высокой защищенности. Например, часы для аквалангистов.

Другой пример. Показывающие манометры измеряют давление обыкновенных и коррозионных жидкостей и газов. Поэтому их делят на обыкновенные и коррозионностойкие. Поскольку они работают в различных условиях, исполнение их может быть обыкновенное, тряскопрочное и виброустойчивое.

Иерархическая структурная схема показателей качества продукции приведена на рис. 1. «Качество» располагается на самом высоком нулевом уровне иерархической структуры, а ме­нее комплексные показатели - на 1-ом уровне. В свою очередь, каждый из этих показателей рассматривается как состоящий из некоторого числа показателей качества, лежащих на 2-ом уровне рассмотрения, и т. д.

При построении структурной схемы целесообразно выполнять следующие четыре условия:

а) признак, по которому любой комплексный показатель де­лится на показатели нижележащего уровня (классификацион­ный признак), должен быть единым для всех показателей.

б) число по­казателей, входящих в однородную группу, не должно пре­вышать 5—7;

в) повторение показателей нежелательно;

г) число показателей качества, входящих в однородные груп­пы на одном уровне структурной схемы, не должно резко отли­чаться.

Рис. 1. Структурная схема показателей качества

Ниже приведены примеры построения структурных схем пока­зателей качества (табл.2, 3, 4 и 5).

Пример 1.Структурная схема эргономических показателей качества наручных часов (таблица 2)

Комплексные показатели	Единичные показатели
Эргономические показатели	Удобство ношения	Соответствие руке
Невозможность повреждения при надевании
Невозможность потери
Удобство восприятия информации	Удобство восприятия секунд
Удобство восприятия часов и минут
Удобство восприятия чисел месяца и дней недели
Удобство восприятия промежут-ков времени
Удобство восприятия звукового сигнала момента времени

Пример 2.Структурная схема конструкторско-технологических и эстетических показателей качества игрушек (таблица 3).

Комплексные показатели	Комплексные и единичные показатели
Конструкторско-технологический показатель	Прочность конструкции
Современность конструктивного решения
Технологичность конструкции
Эргономический показатель	Соответствие конструкции игрушки (размера, формы) размерам и форме тела ребенка и его отдельных частей
Безопасность пользования игрушкой
Эстетический (художественно педагогический) показатель	Завершенность и выразительность формы, гармоничность пропорций
Гармоничность цветовых сочетаний
Возрастная адресованность

Пример 3.Структурная схема эстетических показателей ка­чества меховой одежды (основные группы показателей) (таблица 4).

Комплексные показатели	Единичные показатели
Эстетический показатель	Моделирование	Силуэт, форма и композиционное решение модели
Сочетание фактуры меха, отделок и фурнитуры
Соответствие модели изделия современному направлению моды
Конструирование	Функционально-конструктивная приспособленность модели
Посадка изделия на фигуре человека
Внешняя отделка	Качество отделки волосяного покрова кожевой ткани
Колористическое оформление
Качество шитья при изготовлении изделия
Количество отделочных материалов

3. Оценку показателей качества проводят экспертным групповым (коллективным) методом по собственному выбору. Выбор принятого к экспертизе метода необходимо обосновать.

В соответствии с международной терминологией методы исследований любых объектов делятся на 2 группы: количественные и качественные. Для более точной характеристики методов целесообразно использовать названия: расчетно-аналитические и экспертные. Классификация методов оценки показателей качества приведена в таблице 5.

Таблица 5. Классификация методов оценки показателей

Методы оценки показателей	Расчетно-аналитические	Анализ временных рядов
Каузальное (причинно-следственное) моделирование
Экспертные	1. Потребительская оценка 2. Анкетирование 3. Интервьюирование 4. Потребительские конференции, презентации и т.д.
1. Групповые (коллективные) 2. Различительные (сравнения, различия, дифференциации) 3. Описательные (профильный)
3. Оценка соответствия качества в системе ГОСТ Р 4. Обязательная сертификация 5. Добровольная сертификация
Методы обработки экспертной информации	Статистические
Алгебраические
Шкалирование

Расчетно-аналитические методы предназначены для упорядочения и систематизации полученной информации в стройную систему данных для упрощения дальнейшего исследования.

Однако при изучении показателей некоторых специфических объектов исследования определить параметры их оценки в общепринятом смысле практически невозможно. Существует определенная специфичность, например, таких объектов как услуги, так как их свойства в ряде случаев количественно измерить нельзя. Их можно предпочесть, пожелать, сравнить, отметить различия и т.п. Когда исходных количественных данных заведомо недостаточно, прибегают к интуитивно-логическому анализу с помощью экспертов. Полученное в итоге обобщенное мнение экспертов имеет высокую степень объективности и применяется как окончательная оценка. Такая оценка называется экспертной.

При экспертных оценках часто возникает необходимость решения задач сравнения оцениваемых объектов по качественным признакам (важность, ценность, полезность и т.п.). Для решения таких задач применяют различительные методы (сравнения, различия, дифференциации) и описательные. Описательные методы широко применяются в профильном анализе и балльной системе оценки показателей. Для того, чтобы обеспечить возможность включения этих параметров в механизм анализа, их необходимо преобразовать, превратив в количественные характеристики. Также преобразование осуществляется с помощью балльного шкалирования.

Экспертная оценка может быть индивидуальной и групповой в зависимости от численности экспертной группы и методов опроса.

Индивидуальная экспертная оценка именуется "потребительской оценкой" показателей, так как учет индивидуальных мнений формирует окончательную оценку мнения большинства привлеченных к анализу потребителей. Эти методы еще называются методами приемлемости и предпочтения.

В управлении качеством потребительская оценка играет важную роль в проведении позиционирования, т.е. соотнесения качества товара (продукции, услуг) к существующим аналогам сходного назначения, когда происходит мысленный анализ похожести, заменимости и превосходства.

Более часто применяемая в потребительской оценке система предпочтительности и приемлемости с использованием шкалы желательности позволяет выделить не только лучшую услугу, но и степень ее желательности в зависимости от какого-либо фактора: изменение условий проживания, условий и сроков предоставления услуги, технологического режима и т.д. Процент нежелательности рассчитывается как отношение нежелательных оценок по каждому образцу к общему количеству оценок:

g = n/N

где n - число нежелательных оценок; N - всего оценок.

В таблице 6 показан пример сводного экспертного листа для образцов А. Б, В, Г, оцененных группой покупателей из 20 человек.

Метод предпочтения основан на определении степени предпочтения одной или нескольких проб, выбранный из ряда представленных для оценки проб, с помощью гедонических шкал (от греческого hedone - наслаждение). Гедонические шкалы отражают степень приемлемости при предпочтении в интервале "нравится - не нравится".

Самые простые из них - словесная шкала и гедоническая шкала лиц.

В таблице 6 приведена словесная гедоническая шкала, имеющая 9 уровней желательности.

Таблица 6. Сводный экспертный лист

Уровень желательности	Количество оценок по образцам услуг
А	Б	В	Г
Очень желательный
Весьма желательный
Среднежелательный
Маложелательный
Нейтральный
Слегка нежелательный
Средне-нежелательный
Весьма нежелательный
Очень нежелательный
Всего оценок, N
Число нежелательных оценок, n
Процент нежелательности, g

Потребительская желательность является важным критерием оценки качества, однако, отношение потребителя к продукту зависит от многих факторов, как субъективных (привычка, предубеждение и т.д.), так и объективных (экономических, реклама).

Коллективные (групповые) методы применяются для измерения действительного качества товаров (продукции, работ, услуг) при участии коллективов экспертов. Используется непосредственная оценка с помощью органов чувств (сенсорный или органолептический анализ). Интуиция, квалификация и опыт экспертов являются основой для проведения экспертизы.

Среди групповых методов экспертной оценки можно выделить методы, основанные на применении качественных и количественных различительных тестов.

К качественным относятся методы сравнения парного, треугольного, два из трех (дуо-трио), два из пяти, а также ранговый (порядковый). Методы качественных различий позволяют ответить на вопрос, есть ли разница между оцениваемыми образцами по одному из показателей качества (вкусу, запаху, консистенции, внешнему виду и т.п.) или общему впечатлению о качестве, но не отвечают на вопрос, какая разница между образцами. При качественном тестировании инструментом анализа при оценке качества являются органы чувств человека (зрения, осязания, восприятия, слуха, вкуса и запаха).

Метод парного сравнения удобно использовать для выяснения виляния на качество продукта какого-либо фактора: изменения рецептуры, режима технологического процесса производства или хранения, использования нового вида упаковки и т.д. При этом показателю, которому отдается предпочтение в паре, присваивается шифр 2. Мене предпочтительному показателю присваивается шифр 0. В том случае, когда ни одному из показателей не отдается предпочтения или эксперт затрудняется высказать свое мнение, обоим показателям присваивается шифр 1.Пример карты попарного сравнения объектов одним экспертом представлен в таблице 7.

Таблица 7. Таблица попарного сопоставления

Номера объекты	Номера объектов	Сумма предпочтений	Коэффициент значимости
	-					0,17
		-				0,50
			-			0,08
				-		0,25

Коэффициент значимости (весомости) в данном случае рассчитывается как отношение числа предпочтений оцениваемого объекта к общему количеству возможных предпочтений одного объекта над всеми остальными, т.е. как m(m-1), где m - количество рассматриваемых объектов.

Коэффициенты весомости, рассчитываемые группой экспертов, находят по формуле:

где n - количество экспертов;

m- число оцениваемых показателей (объектов);

Q_ij - коэффициент весомости (шифры) j-го показателя в баллах, которые дал i-тый эксперт.

При проведении рангового метода дегустатору предлагают беспорядочно поданные закодированные образцы ранжировать в порядке нарастания или снижения интенсивности оцениваемого признака.

К количественным различительным тестам относятся методы индекса разбавления и scoring. Эти методы позволяют количественно оценить интенсивность определенного свойства или уровень качества продукта в целом.

Метод индекса разбавлений предназначен для определения интенсивности запаха, вкуса, окраски продукта по величине предельного разбавления.

Метод scoring основан на использовании графических или словесных шкал. Графическая шкала представляет собой отрезок прямой определенной длины (например, 90 мм), на концах которого указаны предельные значения характеристики какого-либо свойства. Эксперту предлагают 2 образца, для которых оцениваемая характеристика имеет минимальное и максимальное значения, и один образец, для которого интенсивность характеристики неизвестна. При сравнении третьего образца с двумя первыми оценивается относительное значение характеристики и отмечается на шкале перпендикулярным штрихом с учетом расстояния от обоих концов.

Балловый метод используют для дифференцированного экспертного анализа, проводимого высококвалифицированными специалистами. Метод позволяет установить уровни частичного (по отдельным показателям) и общего (по комплексу показателей) качества. Результаты оценки выражают в виде баллов условной шкалы с возрастающей последовательностью чисел, каждое из которых соответствует определенной интенсивности того или иного показателя качества. При использовании научно-обоснованной балловой системы и соблюдении других основных требований метод балловой оценки позволяет получать достаточно объективные, надежные, хорошо воспроизводимые результаты.

Существуют 3, 5, 7, 9, 13, 30 и 100-балловые шкалы органолептического анализа (выявляемого с помощью органов чувств) (табл. 8).

Современным требованиям наиболее полно удовлетворяют 5-балловые шкалы с использованием коэффициентов весомости (важности, значимости) для отдельных показателей качества.

В целях унификации балловых шкал целесообразно руководствоваться следующими рекомендациями, составленными по результатам международных разработок.

Таблица 8. Квалиметрические шкалы экспертных оценок

Трехбалловая шкала
Градация	Баллы	Качество
		Хорошее
		Удовлетворительное
		Плохое
Пятибалловая шкала
Градация	Баллы	Качество
		Отличное
		Хорошее
		Удовлетворительное
		Плохое (едва приемлемое)
		Очень плохое (неприемлемое)
Стобалловая шкала с пятью уровнями качества
Градация	Баллы	Качество
		Высокое
		Выше среднего
		Среднее
		Ниже среднего
		Низкое
Стобалловая шкала с семью уровнями качества
Градация	Баллы	Качество
		Очень высокое
		Высокое
		Выше среднего
		Среднее
		Ниже среднего
		Низкое
		Очень низкое

В связи с различной значимостью единичных признаков в общем восприятии товарного качества при расчете обобщенного показателя качества, представляющего собой сумму произведений оценок по единичным показателям на соответствующие коэффициенты весомости, необходимо использовать их на стадии обработки экспертных листов

Б_об= К₁Б₁ + К₂Б₂ + К₃Б₃ + …+ К_nБ_n ,

где К - коэффициенты весомости показателей качества;

Б - оценка в баллах по единичным показателям качества.

В качестве пример в таблице 9 представлен листок опроса экспертов при назначении коэффициентов весомости (КВ) показателей качества туристских услуг при использовании 20-балловых шкал.

Таблица 9.

Эксперты	Коэффициенты весомости показателей
Безо-пас-ность	Ка-че-ство пи-та-ния	Каче-ство средств раз-меще-ния	Каче-ство тран-спор-тных услуг	Ком-фортность	Эсте-тич-ность	Соот-ветс-твие наз-наче-нию	SКВ
SКВ
Сред. арифм. КВ	8,6	1,2	1,1	1,7	1,3	1,7	4,4
Усред-ненное КВ

Описательные методы основаны на словесном описании свойств продуктов. К описательным методам относится профильный анализ. Непременным условием при применении описательных методов является использование точной терминологии, не допускающей разночтений.

Профильный метод основан на том, что отдельные импульсы свойств, объединяясь дают качественно новый импульс общей характеристики продукта. Выделение наиболее характерных для данного продукта элементов качества позволяет установить профиль продукта, а также изучить влияние различных факторов (исходного сырья, режимов производства, упаковки, условий хранения и др.). Комиссия несколько раз проверяет профиль эталонного образца. Эталонами могут служить химически чистые вещества, являющиеся ключевыми для данного товара. По эталону уточняются терминология определений, очередность появления и интенсивность отдельных импульсов. Затем оценивают интенсивность ощущений по условной шкале. Для оценки интенсивности характерных признаков можно использовать различные шкалы (рис. 2).

Рис. 2. Профильные шкалы
.

Результаты, полученные профильным методом и статистически обработанные, можно представить в виде: профилей прямоугольников, профилей полуокружностей или в виде профилей полной окружности.

Словесная балловая шкала:

0 - признак отсутствует;

1 - только узнаваемый или ощущаемый;

2 - слабая интенсивность;

3 - умеренная интенсивность;

4 - сильная;

5 - очень сильная интенсивность.

На рис. 3 показан пример профиля сенсорных свойств продукта в виде полной окружности. Наиболее важные частичные признаки расположены по часовой стрелке, интенсивность отложена по радиусам. На одном рисунке можно показать несколько профилограмм для сравнения качества испытуемых образцов с эталоном или отразить влияние изучаемого фактора: технологических режимов, упаковки и хранения.

-

Рис. 3. Влияние хранения на сенсорные признаки десертного шоколада

^______ - без хранения

----- - после 10 недель хранения

^{___…___…___}- после 36 недель хранения

(-) - отрицательное направление признака

Профильный метод имеет большие перспективы в органолептическом анализе благодаря гибкости и возможности приспособить его для решения различных задач производственного или исследовательского характера. Недостатком этого метода является то, что не всегда двумя различающимися описательными терминами можно выразить два различных ощущения.

Таким образом, научно-обоснованные методы экспертной оценки просты, удобны в обращении и позволяют достаточно надежно дифференцировать услуги по качественным уровням, а также определить уровень качества товара, продукции, услуги.

Практическая часть

Занятие проводится при делении группы студентов на подгруппы по 2-3 человека.

1. Студенты определяют набор показателей качества продукции (услуг) и критерии их оценки по выбранному объекту исследования.

2. Разрабатывается карта экспертизы показателей качества продукции (услуг) выбранного объекта.

3. Проводятся оценка качества продукции (услуг) выбранного объекта.

4. Производится обработка результатов экспертной оценки выбранного объекта.

При разработке карты экспертизы показателей качества продукции (услуг) необходимо определить коэффициенты значимости, ранжировать показатели, построить профильную шкалу эталона.

Оценка качества исследуемого объекта проводится после сбора фактической экспертной информации по подготовленным картам и профилям. Необходимо выявить динамику изменений. Для этого установить период исследования, количество контрольных замеров.

Обработку результатов экспертной оценки проводят статистическим методом.

Выводы

По результатам проделанной работы студенты делают выводы по результатам экспертного анализа.

Контрольные вопросы

1. Какие существуют показатели качества продукции (услуг)?

2. Как строится структурная схема показателей качества?

3. Какие существуют методы оценки показателей качества?

4. Какие бывают экспертные оценки?

5. Что такое гедоническая шкала?

6. Что такое различительные тесты и какие они бывают?

7. Что такое коэффициенты весомости?

8. Что такое балловый метод и какие они бывают?

9. Что такое профильный метод и профильные шкалы?

Практическая работа № 12