В количественном оценивании программ

Качественные опоры, на которых покоятся количе­ственные данные, могут быть обнаружены путем про­слеживания исходных данных для любого прокола на перфокарте или какой угодно численной величины на выходе ЭВМ. За тестовыми показателями какой-нибудь программы из серии программ компенсаторного началь­ного обучения (Head Starts Programs)¹ лежат вербаль-

_________________________________________________________________________________

¹ Об оценке программ (и в частности, программ компенсатор­ного начального обучения) см. также статью «Измерение воздей­ствий, оказываемых запланированным социальным изменением» в данной книге. — Прим. ред.

ные или наглядные инструкции, полученные сотрудни­ком, проводившим тестирование, вербальные и нагляд­ные разъяснения, которые этот сотрудник давал детям, качественное понимание вопросов детьми и т. д. В осно­ве опознания детей, подвергшихся тестированию, как тех же самых, которые принимали участие в предше­ствующих занятиях по данной учебной программе, тоже лежит чье-то качественное знание. Учебные инструкции в рамках этой программы излагались обыденным язы­ком, и если добросовестность их выполнения подверга­лась проверке, то это делалось посредством качествен­ных наблюдений. Если практиковались интервью с родителями, то беседа держалась на вере в общность языка и мотивов. Регистрация реакций и кодирование ответов на открытые вопросы получают количественную форму лишь как конечный продукт какого-нибудь про­цесса качественных суждений. Эти опоры обыденного знания в большинстве своем столь распространены и надежны, что мы не обращаем на них внимания. Одна­ко я уверен, что на таком основании покоится все коли­чественное знание в социальных науках, равно как и в физических.

Это основание столь надежно, что мы оставляем его без внимания, и тем не менее зависимость от качествен­ного знания налицо даже тогда, когда она ничем не оправдана. Критика качественной основы необходима, и она, как выясняется, зависит от качественного знания, полученного из более полного контекста. В настоящее время у нас наблюдается в этом плане ненормальное разделение труда: с одной стороны, ряд ученых в сфере социальных наук придерживаются количественного под­хода, они пользуются данными переписей, сведениями о доходах и количественными показателями преступ­ности, забывая, что эти данные основываются на каче­ственных суждениях. С другой стороны, есть социологи, придерживающиеся качественного подхода, они зани­маются критикой способов, которыми получены эти цифры, анализируя, например, социальную динамику интервью, проводимого при переписи, различное пони­мание явлений разными участниками программ, страхи и давление, скрывающиеся за ответами, и, поскольку при этом вырабатывается скептицизм, отказываются при­нимать участие в проведении количественных анализов.

Особенно решительная критика содержится в лите­ратуре, появляющейся в области квантифицированных административных отчетов. Ее суть можно уловить уже по следующим заголовкам: «„Хорошие" организацион­ные основания для „плохих" клинических отчетов» (Garfinkel [42]); «Заметки о применениях официальной ста­тистики» (Kitsuse, Cicourel [55]); «Фальсификация полицейских отчетов о преступности и политическое давление» [Seidman, Couzens [85]; «План Никсона по борьбе с преступностью подрывает статистику пре­ступлений» (Morrissey [65]); «Занижение квалифика­ции преступлений, обнаруженное в Балтиморе» (Twigg [92]). (См. также Becker [4, 5]; Douglas [35]; Beck [3]; Blau [8]; Etzioni, Lehman [37]; Ridgeway [78].)

Подобные же исследования необходимы в связи с тестированием успехов. Если верить множеству различ­ных анекдотов, вычислительные машины слишком часто с бесстрастной серьезностью обрабатывают не представляющие ценности данные, полученные от детей, либо проводивших массовые бойкоты обследований, либо саботировавших процесс тестирования, либо обра­щавших свои ответы в шутку. Получили распростране­ние анекдоты о подобных же происшествиях, связанных с вопросниками, шкалами по исследованию установок и интервью (Vidich, Bensman [93]). Мы нуждаемся в том, чтобы такая критика была увязана с количественными исследованиями. В настоящее время некоторая связь между этими двумя подходами хотя и намечается, но недостаточна. Известная интеграция этих данных нужна, по крайней мере, в методологии полевого эксперимен­тирования, куда она входит под рубриками «угрозы валидности» или «правдоподобные конкурентные гипоте­зы» (см., например, Campbell, Stanley [26], Cook, Camp­bell [34] ¹). Качественное рассмотрение различных контекстов измерения часто приводит к гипотезам, со­гласно которым различия между данными предвари­тельного и итогового тестирования или между экспери­ментальной и контрольной группами проистекают из

_____________________________________________________________________________

^{1 См}. перевод этих работ в данной книге, а также: W e b b E. J., C a m p b e l l D. T., S c h w a r t z R. D.,

S e c h r e s t L. Unobtrusive measures: Nonreactive Research in the Social Sciences. Chicago, Rand McNally, 1968. — Прим. ред.

различного понимания процесса измерения респонден­том и исследователем, а не из изменений свойства, на отображение которого рассчитана данная мера. Некото­рые из этих конкурентных гипотез могут быть исключе­ны путем использования формальных свойств плана эксперимента, однако многие из них должны оставаться качественными даже в самом доскональном отчете — в том, что касается способа создания конкурентной гипо­тезы, выявления других свидетельств в пользу валидности этой гипотезы и общего суждения относительно ее правдоподобия. Там, где дело касается измерений соци­альных взаимодействий, это составляет проблему, по крайней мере, столь же значительную для рандомизиро­ванных «истинных» экспериментов, как и для квази­экспериментов.

Для многих работ по оценке эффективности экспери­ментальных (особенно квазиэкспериментальных) про­грамм угрозу валидности содержат многочисленные со­бытия, не относящиеся к экспериментальной программе, которые могли вызвать наблюдаемые изменения. Выяв­ление этих конкретных альтернативных объяснений и оценка их правдоподобия являются делом обыденного знания и требуют детального знакомства с конкретными локальными условиями.

Хотя эти правила относительно использования каче­ственного знания ясно сформулированы в пособиях по количественным методам, они редко применяются. Ис­следователь склонен полагать, что открыто говорить о таких вещах — значит ставить под угрозу видимость научной достоверности или что слабость в этих вопро­сах свидетельствует о его собственной некомпетентности. Оборонительная позиция полевого экспериментатора в отношении своих коллег — лабораторных исследовате­лей ведет к дальнейшему пренебрежению этой сторо­ной проблемы, тем более, если такой исследователь за­рабатывает себе на жизнь, работая по контракту в сфере оценивания программ.

В текущих работах по количественной оценке про­грамм качественное знание обычно представлено в описательной истории программы, а также в описании ее содержания, в количественных мерах и средствах сбора данных и в вербальном обобщении ее итогов. Иначе числовые данные не поддавались бы интерпре-

тации. И все же такое качественное содержание часто представляет собой запоздалое незапланированное размышление.

В этом докладе о роли качественного знания в коли­чественном оценивании программ действия уже содер­жались указания на настоятельную необходимость эксплицитного признания этой роли. Ниже эта тема по­лучит дальнейшее развитие. Нам придется также — хо­тим мы этого или нет — учитывать и соображения, воз­никающие при качественном оценивании программ в отсутствие количественных мер. Прежде чем мы присту­пим к этому, неплохо было бы, по-видимому, остано­виться на типах качественного знания, которые уже существуют или могли бы быть предложены.