Тотальный контроль качества: узкая и широкая трактовка валидности

Когда сталкивается множество противоречивых версий по одному вопрос; и все они имеют право на существование, поскольку отражают научную прак тику, способы бытования научного термина, различия в подходах, существу ющие между разными школами, направлениями и даже национальными тра дициями, ожидать появления общего мнения нельзя. Оно в принципе невоз можно. И не только потому, что научная практика постоянно расширяете икстарым дефинициям прибавляются новые. Приведение мнений к едином; знаменателю, как правило, означает сужение и обеднение содержания исход ного понятия. Ничего страшного нет в том, что валидность, как и многи иные социологические категории, трактуют по-разному. Применяя это слов! к разным ситуациям, социологи и психологи неявно говорят: без него на? обойтись нельзя, оно очень важно для науки, оно помогает прояснить мно гие запутанные явления. Как только будет наведен порядок в социологичес ком хозяйстве, а за термином валидность закрепят раз и навсегда данную фор

Trochim W. The Research Methods. Knowledge Base: Introduction to Validity //http://trochim.human.comell.edL

kb/introval.htm

An Online Textbook/ By G. David Garson. — North Carolina State University// http://www2.chass.ncsu.edi

garson/pa765/validity.htm

Bernard H.R. Research methods in anthropology. Qualitative and Quantitative Approaches. L.: Altamii

Press, 1994. P. 37-39.

мулировку, он как методологическая проблема умрет. Сужение в данном случае означает смерть. Придется придумывать новые понятия к разнообраз­ным случаям жизни.

Но если невозможно добиться порядка, то как-то обобщить беспорядок все же можно. Первое, что приходится констатировать, — это наличие двух смыс­лов — понимание валидности в широком и узком смыслах. В узком смысле валидность ограничивают двумя конкретными процедурами — операционали-зацией и измерением. Большинство авторов связывают валидность именно с ними. Правда, до сих пор не ясно, как соотносятся между собой операциона-лизация и измерение. Одни специалисты видят в них два взаимосвязанных, но автономных процесса, другие включают операционализацию в измерение как часть в целое, третьи поступают прямо наоборот, считая, что измерение — более широкое понятие. За каждым подходом скрывается известная аргумен­тация, поэтому отказаться от него не так просто. С нашей точки зрения, из­мерение как количественная процедура приписывания числовых мер (по­казателей) качественным явлениям, отображенных в социологических пе­ременных, — всего лишь часть более общего процесса операционализации. Последняя включает помимо измерения (числовой процедуры) еще ряд ша­гов, методов, процедур, которые не сводятся к измерению, например переход от абстрактного к конкретному. Таким образом, валидность — это характери­стика одновременно и операционализации, и измерения, но эти понятия свя­заны между собой как часть и целое.

Это очень важный тезис. Зафиксируем его — измерение выступает позд­ним этапом операционализации, так сказать, ее завершающей стадией. А на ранних фазах идет углубленная работа в самом теоретическом теле програм­мы исследования: активно трудятся все ее винтики и механизмы. Перед тем как явиться в своем анкетном обличий, программа должна пройти длитель­ную черновую работу — выявить все ошибки и нелепости. В противном слу­чае ошибки, не упрежденные на теоретической стадии, не только проник­нут в методический инструментарий, но и повлекут за собой новые. Возник­нет эффект снежного кома: ошибки одна за другой будут порождать все новые отклонения, в результате научный отчет, который социолог представляет заказчику, будет напоминать комедию ошибок.

В широком смысле валидность возникает на стадии обоснования теорети­ческой модели предмета исследования, когда не заходит речь ни об опера­ционализации, ни об измерении. В широком понимании валидность описы­вает правильность логического построения теории, продуманность ее поня­тийного каркаса, отсутствие логических ошибок.

Иными словами, в узком смысле валидность касается измерения, шкал, анкетных вопросов, а в широком — построения самой теории.

Если валидность настолько вездесуща, то ее впору сравнить с отделом технического контроля, который на предприятии проверяет качество вы­пускаемой продукции. Ныне контроль качества не ограничивается отделом или цехом, его осуществляют на всех стадиях производства и в нем участвует весь персонал — от рабочего до директора. Всеобщий контроль качества продукции на производстве, а также контроль послепродажного бытия то­вара, вплоть до потребителя и гарантийных мастерских, получил название тотального контроля качества. Думается, что валидность в чем-то напоми­нает такую систему контроля. Современные менеджеры знают, что затра-

ты на нее очень высоки, но зато и конечный эффект велик. Главное — ка­чественным товаром доволен потребитель, от него идет все меньше рек­ламаций, а имидж фирмы повышается. Современные социологические фирмы, проводящие опросы, в том числе политические и маркетинговые, озабочены не столько скоростью проведения исследования и суммой гоно­рара, сколько его качеством и своей репутацией. Острая конкуренция на опросном рынке заставляет социологов заботиться о качестве продукции и вводить тотальный контроль, стало быть, значение валидности не умень­шается, а возрастает.

Рис. 65. Операционализация и измерение

Проблема валидности процедуры операционализации, т.е. правильное™ (адекватности) перевода абстрактных категорий в измеряемые при помоиц количественных величин «понятия» и «признаки», относится к числу наи­важнейших в социологической науке (рис. 65).

Измерение — это процесс наблюдения и фиксации данных, которые со браны в ходе исследования. В связи с этим возникают два вопроса: 1) как мь понимаем те фундаментальные идеи, на которых построено наше измерение' 2) как мы понимаем различные виды измерения, на котором построено со циальное исследование?

Ответ на первый вопрос предполагает анализ уровней измерения, а имение номинальную, ординальную, интервальную и ранговую шкалы. В связи < этим встает проблема надежности измерения (reliability).

Ответ на второй вопрос требует рассмотрения четырех проблем измере ния: 1) конструирование и применение вопросника, используемого в выбо рочном обследовании, в частности в анкетировании и интервью; 2) рассмот рение методов построения тех шкал, которые будут использоваться в изме рении социальных явлений; 3) качественное исследование, предполагают^ обзор широкого круга нецифровых способов получения данных; 4) ненавяз чивое (unobtrusive) измерение, представляющее большой спектр методов из мерения, которые прямо не связаны с контекстом исследования.

D ВНЕШНЯЯ ВАЛИДНОСТЬ

Валидность принято подразделять на внешнюю и внутреннюю. Одно­значных критериев того, что относить к внешней, а что к внутренней ва-лидности, в литературе нет. В одном случае внешнюю валидность выносят за сферу программы исследования, полагая, что она больше совпадает с проблемой репрезентативности данных — на какой круг людей распрост­раняются ваши данные. В другом случае внешняя валидность помещается в область подготовки программы и располагается на стыке между теорией и инструментом. Внутренняя валидность всегда относилась только к про­грамме исследования.

На наш взгляд, и в этом мы солидарны с Д. Грейсоном и У. Трочимом", понятие внешней валидности {external validity) указывает степень правомерно­сти, с которой полученные в социологическом исследовании выводы можно распространять на других людей, не попавших в выборочную совокупность. Опросив 50 или 100 студентов-юристов третьего курса одного из столичных вузов, социологи спешат обобщить полученные закономерности не только на всех столичных юристов, но часто — на всех студентов-гуманитариев либо на всех студентов вообще. Обычно никакого злого умысла в том нет: ученому кажется, что так ведут себя все студенты, например, интересуются не столько учебным процессом, сколько дополнительным заработком и перспективой дальнейшего трудоустройства. Возможность обобщить полученные на неболь­шой выборке результаты на весь массив (всю популяцию студентов) ему под­сказывает здравый смысл, личные наблюдения и жизненный опыт. Может быть, так оно и есть. С обыденной точки зрения здесь никаких нарушений нет, обобщение вполне правомерное. Но является ли оно законным с позиций стро­гой методологии?

Ответ на этот вопрос может дать только понятие внешней валидности вашего исследования. Она показывает границы, за которыми теряет науч­ную значимость ваша попытка распространить результаты своего исследо­вания, полученные на небольшой выборке, на других людей, другие объек­ты, другие явления, внешне похожие на изученные вами. Внешняя валид­ность отвечает на вопрос: на какой массив людей (популяцию) можно распространить полученные в вашем исследовании закономерности, явля­ется ли ваша выборка типичной? Проблема распространения выводов на генеральную совокупность, сделанных на малой выборке людей, касается не только людей или мест их проживания, но и времени. Распространяют­ся ли ваши закономерности на рабочую молодежь крупных городов, живу­щую в 60—90-е гг., или они ограничиваются узкими рамками 70-х гг.? Если выборочная совокупность построена по всем правилам статистики, если респонденты подбирались в соответствии с требованиями теории вероят­ности, то беспокоиться за внешнюю валидность вам не следует. Но если они нарушены, то ошибки лучше устранить на ранних стадиях исследования. В противном случае вы получите инвалида, а не доброкачественную про­грамму исследования.

An Online Textbook/ By G. David Garson. — North Carolina State University//http://www2.chass.ncsu.edu/ garson/pa765/validity.htm; Trochim W. The Research Methods. Knowledge Base: Introduction to Validity // http://trochim.human.cornell.edu/kb/introval.htm

Синонимами внешней валидности {external validity) в западной литерату­ре выступают понятия applicability, generalisability, relevance, transferability. Все они определяют степень, в которой результаты исследования применимы для ситуаций, отличных от тех, в которых оно выполнялось.

ВНУТРЕННЯЯ ВАЛИДНОСТЬ

Кроме внешней валидности существует еще внутренняя валидность. В ее понимании также не достигнуто единого взгляда: одни ученые отождествляют ее с конструктной или конструктивной валидностью (construct validity), другие полагают, что это самостоятельный крупный вид валидности, в рамках которо­го конструктивная валидность выступает всего лишь разновидностью.

Если обратиться к существу вопроса и постараться разобраться в природе внутренней валидности, то вот что выясняется. Еще раз проведем параллель между инвалидностью и нетрудоспособностью. Если человек не может пол­ноценно трудиться потому, что у него не хватает широких знаний для овла­дения другими профессиями, а своя специальность прикрыта, то речь идет о внешней нетрудоспособности и внешней инвалидности. Иное дело, когда у человека органический порок, например он глухонемой или вместо руки у него протез. Он не может полноценно трудиться в силу своих конструктив­ных (конструкционных, конструктных — словом, как хотите) недостатков. В социологии такую инвалидность называют внутренней.

Валидность понятий.Представителям социальных наук (политологам, социологам, психологам) затрудняет жизнь то обстоятельство, что им при­ходится пользоваться понятиями, которые трудно увидеть, еще труднее опе-рационализировать и измерить. Физический объект видим, осязаем и даже передвигаем на другое место, он обладает длиной и шириной, весом и т.д. Но такие понятия, как власть, демократия или солидарность, непросто пред­ставить количественно, выразить на языке точных измерений. Социальным ученым приходится пользоваться показателями, лишь косвенно соответству­ющими понятиям, которые они представляют. В таком случае «всегда суще­ствует опасность, что выбранные показатели будут неадекватно отражать понятия, которые мы хотим с их помощью измерять. Для обозначения сте­пени соответствия измерений понятиям, которые эти измерения должны отражать, используется термин "валидность"»¹². Понятие считается валид­ным в том случае, когда оно: а) включает весь набор реальных фактов, явле­ний и объектов, которые охватываются им (список эмпирических референ­тов по возможности должен быть исчерпывающим); б) включает только тс факты и явления, которые относятся к этому понятию (не должно быть лиш­него, не относящегося к сути дела). Предположим, вы включили в анкету вопрос о роде деятельности респондента и в список альтернатив а) не вклю чили сферу управления, хотя упомянули производство и сервис; б) не забы­ли производство, сервис и управление, но включили также домашнее хозяй ство и огородничество. Вот так все запутав, вы получили инвалида.

Другой пример. Вы решили оценить эффективность работы местной по ликлиники. Кого надо опрашивать — работников поликлиники, ее пацин

Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. М., 1997. С. 100.

тов, жителей микрорайона, местные органы власти или пользоваться доку­ментальной статистикой? От правильного выбора зависит конечный успех. В одном случае вы получите инвалида, в другом —дееспособный инструмент исследования.

Рис. 66. Оценка эффективности работы поликлиники зависит от выбора опрашиваемых

Таким образом, первый шаг в валидизации теоретической части программы касается отдельных понятий, проверки каждого из них по критериям: а) пол­ноты охвата объектов, признаков, явлений; б) уместности этих признаков и явлений, их соответствия существу дела. Назовем это первой фазой установле­ния внутренней валидности. Она требует корректного проведения процедуры операционализации.

Валидность выводов.Внутренняя валидность затрагивает не только отдель­ные понятия, но и их цепочки. Теоретическое предположение о том, что на рост производительности труда влияет освещение или шум в цехе, может не подтвре-диться лишь потому, что вы не учли действия скрытого фактора, например, присутствия в испытательной комнате наблюдателя или социально-психологи­ческого климата в бригаде. Такая ситуация возникла в знаменитых хоторнских исследованиях, проведенных Э. Мэйо в 1927—1932 гг. в американской корпо­рации «Вестерн электрик компани», и с тех пор известна под названием «хоторн-ского эффекта». Д. Грейсон, автор учебника по математической статистике, приводит этот пример для иллюстрации внутренней валидности. Беда исследо­вателей заключалась в том, что они не учли действия скрытой переменной. Они полагали, что освещение — независимая переменная, а производительность труда — зависимая. Если изменить первую, скажем улучшить освещение, то измениться и вторая — возрастет продуктивность. На самом деле последняя то возрастала, то падала, хотя освещение все время улучшали. Много позже кри­тики хоторнских экспериментов доказали, что на изменение производительно­сти влияло присутствие в комнате ученого-наблюдателя, с которым испытуе­мые девушки все время переговаривались, переглядывались, который создавал

более комфортную психологическую обстановку. Поскольку ошибку разгляде­ли не авторы эксперимента, а его критики, то под сомнение был поставлен ус­пех в целом. В 1960—80-е гг. в США раздавались обоснованные сомнения в том, что хоторнские эксперименты произвели подлинную революцию в менеджмен­те, выдвинув на первый план человеческий фактор. Так вот одна ошибка может повлиять на все исследование.

Такова вторая стадия внутренней валидизации. Она касается не отдель­ных атомов, а целых молекул, не понятий и переменных, а пропозиций, т.е. некоторых предложений-формул, в которые вместо неизвестных можно под­ставить конкретные переменные (например, освещение и производитель­ность) и благодаря заложенной в пропозиции логической связке получить ут­верждение о причинно-следственной связи между двумя явлениями. В рас­смотренном примере таковым выступает утверждение о том, что освещение ведет к повышению производительности труда. Каждое по отдельности по­нятие-переменная, а именно освещение и производительность труда, в хо-торнских экспериментах были операционализированы (сведены к более кон­кретным понятиям), а затем измерены (этим конкретным понятиям-призна­кам были приписаны точные единицы измерения и шкалы, например, производительность труда следовало измерять в количестве соединений двух электродов в минуту, ранжированных, условно говоря, от 2 до 10) очень кор­ректно. Некорректным оказалось их соединение, т.е. социологическое суж­дение о причинно-следственном влиянии освещения на производительность. Где-то в недрах ситуации притаился невидимый фактор, присутствие в ком­нате экспериментатора, который испортил все дело.

Если бы Э. Мэйо и его команда учли влияние невещественных факторов на рост производительности труда (достижение современной индустриаль­ной психологии), они, естественно, не допустили бы нелепой ошибки. Скры­тые факторы, роль психологических переменных известны сегодня каждо­му студенту. Но дело в том, что именно гарвардские ученые и лично Э. Мэйо открыли ту самую индустриальную психологию и создали доктрину челове­ческих отношений, которые изучают сегодня студенты. Открытие произошло во второй половине знаменитых экспериментов, когда Э. Мэйо учел свои ошибки, внес необходимые коррективы в программу исследования, переде­лал весь инструментарий. Улучшение программы или, если хотите, ее вали-дизация привели гарвардских социологов и психологов к мировому откры­тию. Такова цена валидности в современной науке.

♦ ♦ ♦

Итак, внутренняя валидность, в отличие от внешней, касается не генераль­ной совокупности, не количества людей, на которых распространяются полу­ченные выводы, а построения самой теории, процедуры разработки этих вы­водов. Она отвечает на вопрос о том, насколько точны и аккуратны использу­емые вами понятия, измеряют или описывают ли они те явления, для которых вы их предназначили. Может так случиться, что понятие хорошее само по себе, но к этому случаю оно не подходит. Оно может охватывать совсем иной круг реальных событий либо только отчасти охватывать (а значит, грамотно пред­сказывать и объяснять) те события, которые социолог намеревается изучить. Тогда возникает вопрос: а то ли вы измеряете, что собирались измерить?