Искажающий эффект количественных индикаторов

Исследования по оценке эффективности в США ста­новятся признанным инструментом принятия социаль­ных решений. Определенные социальные индикаторы, отбираемые с помощью таких социологических методов, как выборочные обследования, уже получили этот ста­тус: таковы индексы безработицы и стоимости жизни, которыми располагает Статистическое управление мини­стерства труда. Поскольку они составляют постоянную часть процесса принятия политических решений, полезно рассматривать их по аналогии с голосованием в ходе по­литических выборов (Gordon, Campbell [46]; Campbell [18]). При таком широком подходе, подтверждаемом качественными социологическими исследованиями того,

как создается общественная статистика, я прихожу к следующим пессимистическим законам (по крайней мере, для практики США): чем более какой-либо количествен­ный социальный индикатор используется для принятия социального решения, тем больше будет он подвержен искажающим влияниям, и тем более вероятно он будет извращать, и нарушать социальные процессы, контроли­ровать которые он предназначен. Я проиллюстрирую эти два закона некоторыми примерами, которые я принимаю всерьез, хотя они и носят по преимуществу анекдоти­ческий характер.

Воспользуемся для примера сравнением статистики голосования и данными переписи в Чикаго. Процесс голосования сопровождается детально разработанными предохранительными мерами, рассчитанными на то, чтобы обеспечить его честность; в отношении процесса переписи таковых мало, и обойти их ничего не стоит. Тем не менее, в нашем регионе статистика голосования внушает подозрения, тогда как статистика переписи пользуется неограниченным доверием (если не считать неполного учета взрослых мужчин-негров). Я нахожу такой порядок относительного доверия оправданным. Лучше всего он объясняется тем фактом, что «голоса» постоянно используются — это связано с реальными последствиями, поскольку дело касается работы, денег и власти, — и поэтому испытывают на себе мощное дав­ление попыток исказить их. Данные же переписи до последнего времени не использовались у нас для вы­работки политических решений. (Даже конституцион­ное требование, согласно которому следует менять избирательные округа, чтобы приводить их в соответ­ствие с расселением после каждой переписи, игнориро­валось десятилетиями.)

Другой пример. В согласии с духом научного управ­ления, ответственной подотчетности, стратегии «PPBS» (о которой уже упоминалось) и т. п. полицейские уча­стки в некоторых административных округах оцени­ваются с помощью «показателя очистки», иначе говоря, пропорцией раскрытых преступлений, и в случае, когда этот показатель низок, следствием является значитель­ное давление со стороны администрации и обществен­ности. Сколник [84] показывает, что это давление вы-

зывает как искажение самого индикатора, так и кор­рупцию уголовного судопроизводства. Регистрация не всех поступающих от населения жалоб или регистра­ция их задним числом, уже после раскрытия преступ­ления, — таковы простые уловки, которые трудно разоб­лачить, поскольку отсутствует независимая регистрация жалоб. Более сложный случай коррупции возникает при сочетании «показателей очистки» с «заключением сделки о признании». Это переговоры истца и суда с обвиняемым, завершающиеся соглашением относи­тельно преступления, в котором обвиняемый готов при­знать себя виновным, и наказания, на которое он со­гласен. Тем самым сокращается стоимость и длитель­ность судебного разбирательства. Хотя этот обычай и является законным лишь частично, в большинстве случаев он, вероятно, не столь уж нежелателен. Одна­ко в сочетании с «показателями очистки» он, как обна­ружил Сколник, ведет к следующему злоупотреблению в отправлении правосудия. Для грабителя, пойманного с поличным, дело может кончиться тем, что он получит тем менее суровое наказание, чем большее число ранее совершенных и нераскрытых преступлений он готов взять на себя. Заключением сделки о признании он оказывает полиции большую услугу, улучшая «показа­тель очистки», а та в свою очередь гарантирует более мягкое наказание. Сколник полагает, что во многих случаях грабитель сознается в преступлениях, которых он на самом деле не совершал. Цифры преступности являются в целом индикаторами, подверженными иска­жению. Для многих преступлений изменение числовых показателей отражает скорее изменение активности полицейских, а не изменение числа актов правонаруше­ния (Gardiner [41]; Zeisel [105, 106]). Представляется достаточно хорошо документированным фактом то, что одна из широко известных преднамеренных попыток социального изменения — меры, принятые Никсоном против преступности, — имела своим главным след­ствием искажение количественных показателей пре­ступности (Seidman, Couzens [81]; Morrissey [70]; Twigg [91]), связанное с неполной регистрацией преступле­ний и их неправомерной квалификацией как менее серьезных.

Имеются данные о сходных искажениях, происходя­щих при пользовании административными записями также и других типов (Kitsuse, Cicourel [59]; Garfinkel [42]). Блаy [9] приводит целый ряд примеров того, как нормы производительности, установленные для работников правительственных учреждений, отрицатель­но сказываются на их деятельности, губительно влияя на эффективность программы. Оценивание служащих по числу посетителей, которые прошли «через их руки», привело в одном бюро по найму к поспешности и не­эффективности, как в интервьюировании, так и в реше­ниях об определении на работу. Количественная оценка персонала по числу трудоустроенных лиц привела к концентрации усилий на самых легких случаях и к иг­норированию тех посетителей, кто более других нуж­дается в помощи, — тактика, известная как «снимание пенок» (Miller et al. [68]). В пессимистическом очерке Риджуэя о дисфункциональных последствиях измере­ний выполняемых действий (Ridgeway [72]) приводится еще ряд примеров.

Весьма красноречивую иллюстрацию этого принци­па можно найти в одной экспериментальной программе компенсаторного образования. В эксперименте, прове­денном в городе Тексаркана и посвященном «кон­тракту о выполнении» (Stake [86]), дополнительное обучение менее подготовленных детей проводилось ли­цами, заключившими контракт, которые приходили в школы со специальными обучающими машинами и осо­быми инструкциями. Искажающие давления были весь­ма сильны, так как размер платы этим лицам зависел от оценок выполнения теста их учениками. Оказалось, что лица, заключавшие контракт, обучали ответам на конкретные вопросы теста, которые должны были ис­пользоваться при итоговом тестировании, и по результа­там которых и производилась выплата вознаграждения. Хотя они приводили в свою защиту логико-позитивист­ский, операционально-дефиниционалистский аргумент о том, что цель, на которую они согласились, была определена как улучшение показателей по одному только данному тесту, этот случай был расценен всеми как скандальный. Однако вопрос о том, насколько при­емлемо натаскивание учащихся на сходных вопросах из других тестов, дебатируется до сих пор. С моей

точки зрения, тесты успеваемости вполне могут служить ценными показателями общей школьной успеваемости в условиях нормального преподавания, ставящего своей целью общую образованность. Но когда тестовые оцен­ки становятся целью процесса обучения, они утрачива­ют свое значение как индикаторы образовательного ста­туса и в то же время извращают в нежелательном отношении процесс образования. (Использование «объек­тивных» тестов в курсах обучения и на вступительных экзаменах сопровождается, несомненно, подобными же погрешностями.) С компенсаторным образованием в це­лом связаны случаи еще и других искажений процесса измерения, таких, например, как проведение предвари­тельного тестирования в расчете на получение как мож­но более низких показателей, с тем чтобы итоговое тес­тирование обнаружило более значительное улучшение, или выбор для специального обучения только тех, кто при предварительном тестировании показал наихудшие результаты, так чтобы регрессия к среднему обнару­жила явное улучшение. Стэйк [86] приводит перечень еще и других проблем. Тесты успеваемости фактически являются индикаторами, весьма подверженными иска­жениям.

Эта серьезная методологическая проблема, воз­можно, является универсальной. Я убежден, что это одна из главных проблем, которые предстоит решить, если мы собираемся достичь осмысленных оценок на­ших усилий в осуществлении запланированных социаль­ных изменений. Эта проблема будет стоять тем острее, чем большее распространение получат количественные оценки социальных программ. Мы должны разрабаты­вать средства, позволяющие избежать этой проблемы, если собираемся идти вперед. Нам следовало бы изучать социальные процессы, посредством которых обнаружи­вается коррупция и искажение, пытаться проектировать социальные системы, наделенные этими средствами. В исследовании по теме «Контракт о выполнении» дан­ную проблему обнаружил «внешний оценщик». В одном из более поздних американских исследований такого рода роль «караульного» взял на себя Союз учителей Сиэтла. Мы должны искать и институционализировать подобные формы и средства, предотвращающие утрату объективности. Нам следовало бы, кроме того, изучить

институциональную форму таких индикаторных систем, как индексы переписи населения или стоимости жизни в США, которые представляются сравнительно не­восприимчивыми к искажениям. Многие коммента­торы, включая меня самого (Campbell [16]), считают, что применение многочисленных индикаторов, из кото­рых каждый признан несовершенным, облегчит решение проблемы; Риджуэй [72], однако, сомневается в этом. Имеются еще и другие проблемы, которые мож­но предвидеть в будущем. Особого внимания требует группа проблем, сконцентрированных вокруг использо­вания при оценке эффективности программ обследова­ний общественного мнения, вопросников или измерений социальных установок. В США дело идет к тому, что в скором времени нужно будет предварительно сооб­щать всем, кто участвует в подобных опросах, как бу­дут использоваться полученные данные, и высылать им копии результатов. Участники будут иметь право поль­зоваться этими результатами в своих собственных поли­тических целях. (Когда дело касается обследований общественного мнения, к которым прибегает правитель­ство США, существующего у нас статуса свободы ин­формации было бы достаточно, чтобы установить это право уже сейчас.) Можно ожидать, что в этих усло­виях использование опросов для оценки локальных программ правительственных служб, если оно будет осуществляться в сложных в политическом отношении сообществах, каковые мы находим в некоторых из на­ших беднейших городских кварталов, приведет к следу­ющим новым проблемам. Будут проходить политические кампании, рассчитанные на то, чтобы участники обсле­дования отвечали именно так, как угодно местным по­литическим организациям, — точно так же, как прово­дятся кампании, имеющие своей целью влиять на ре­зультаты голосования. Будут попытки того же порядка, что и подтасовка избирательных бюллетеней. «Ошибка интервьюера» станет проблемой в еще большей степени. Нужно ждать и эффектов «бэндвагона» ¹,то есть кон-

_________________________________________________________________________________

¹ Bandwagon (амер.) — сторона, победившая на выборах. Бук­вально обозначает автобус с музыкантами, сопровождающими пред­выборные и послевыборные действа. Эффект «бэндвагона» связан с отношением к движению, имеющему или получившему шансы на

формного влияния со стороны опубликованных резуль­татов предшествующих обследований. Появятся новые смещения вроде повышенного числа жалоб.

Мне думается, что обследования общественного мне­ния будут все-таки полезны, если принять соответству­ющие меры предосторожности. Это в большинстве своем проблемы, исследованием которых мы могли бы за­ниматься уже сейчас, предвосхищая будущие запросы. (Гордон и Кэмпбелл [46] приводят подробное обсуж­дение этих проблем на материале оценки эффективно­сти одной программы службы социального обеспе­чения.)

* * *

ЗАКЛЮЧЕНИЕ

Был дан сжатый обзор некоторых проблем, возник­ших в практике США при измерении воздействий, ока­зываемых запланированным социальным изменением. Разделы этой работы, где речь шла о проблемах, име­ющих отношение к политическим процессам, выглядят по преимуществу пессимистическими. Хотя здесь и имеются очень серьезные проблемы, общая картина все-таки не столь уж мрачна, как кажется. Отметим, что разделы о временны́х сериях и рандомизированных планах эксперимента содержат данные об успешном опыте, достойном подражания. И многие квазиэкспери­ментальные оценки эффективности, которые я раскрити­ковал, могли бы быть осуществлены лучше, если бы этого требовало сообщество методологов социальной науки. Существуют, однако, новые методологические проблемы, которые возникают, когда мы переходим от экспериментирования в лабораториях в область оценки

______________________________________________________________________________

успех, с подверженностью публики авторитарному давлению. О со­циально-психологической специфике «эффекта бэндвагона» см., в частности: C a m p b e l l D. T. On the possibility of experimenting with the «bandwagon» effect. — In: Readings in reference group theory and research. Ed. by Hyman H., Singer E. N. Y., The Free Press, 1968, p. 452—460. — Прим. ред.

эффективности социальных программ. При решении этих проблем мы испытываем потребность в новых со­циально-организационных усовершенствованиях.

ЛИТЕРАТУРА

1. A n d e r s o n J. K. Evaluation as a process in social systems. Unpubl. doct. diss. Northwestern University, 1973.

2. B a l d u s D. C. Welfare as a loan: An empirical study of the recovery of public assistance payments in the United States. — Stan­ford Law Review, 1973, 25, 123—250.

3. B a r n o w B. S. The effects of Head Start and socioeconomic status on cognitive development of disadvantaged children. Unpubl. doct. diss. University of Wisconsin, 1973.

4. B a u m a n R. A., D a v i d M. H., M i l l e r R. F. Working with complex data files: II. The Wisconsin assets and incomes studies archive. — In: R L. B i s c o (ed.). Data bases, computers, and the social sciences. N. Y., Wiley-Interscience, 1970, 112—136.

5. B e c k B. Cooking the welfare stew. — In: R. W. H a b e n s t e i n (ed.). Pathways to data: Field methods for studying ongoing social organizations. Chicago, Aldine, 1970.

6. B e c k e r H. M., G e e r B., H u g h e s E. C. Making the grade. N. Y., Wiley, 1968.

7. B e c k e r H. W. Sociological work: Method and substance. Chicago, Aldine, 1970.

8. B e r l i n e r J. S. Factory and manager in the USSR. Cam­bridge, Mass., Harvard Univ. Press, 1957.

9. B l a u P. M. The dynamics of bureaucracy (rev. ed.). Chicago, Univ. of Chicago Press, 1963.

10. B o r u c h R. F., C a m p b e l l D. T. Preserving confidentiality in evaluative social research: Intrafile and interfile data analysis. Paper presented at the meeting of the American Association for the Advancement of Science. San Francisco, February/March 1974.

11. B o x G. E. P., T i a o G. C. A change in level of non-sta­tionary time series. Biometrika, 1965, 52, 181 — 192.

12. B o x G. E. P., J e n k I n s G. M. Time-series analysis: Fore­casting and control. San Francisco, Holden Day, 1970.

13. C a m p b e l l D. T. Pattern matching as an essential in distal knowing. — In: K. R. H a m m o n d (ed.). The psychology of Egon Brunswik. N. Y., Holt, Rinehart & Winston, 1966, 81—106.

14. Campbell D. T. Administrative experimentation, institu­tional records, and nonreactive measures. — In: S t a n l e y J. C., E l a m S. M. (eds.). Improving experimental design and statistical analysis. Chicago, Rand McNally, 1967, 257—291. — Reprinted in: W. M. E v a n (ed.). Organizational experiments: Laboratory and field research. N. Y., Harper & Row, 1971, 169—179.

15. Campbell D. T. A phenomenology of the other one: Cor­rigible, hypothetical and critical. — In: M i s c h e 1 T. (ed.). Human action: Conceptual and empirical issues. N. Y., Academic Press, 1969a, 41—69.

16. C a m p b e l l D. T. Reforms as experiments. Amer. Psycho­logist, 1969b, 24,409—429.

17. C a m p b e l l D. T. Сonsidering the case against experimental evaluations of social innovations. Administrative Science Quarterly, 1970, 15,110—113.

18. C a m p b e l l D. T. Methods for an experimenting society. — Paper presented to the Eastern Psychological Association. Apr, 17, 1971, and to the American Psychological Association, Sept. 5, Wa­shington D. C, 1971.

19. C a m p b e l l D. T. Experimentation revisited: A conversation with Donald T. Campbell (by S. Salasin). Evaluation, 1973, 1, 7—13.

20. C a m p b e l l D. T. Qualitative Knowing in Action Research. — (Cм. перевод в данной книге.)

21. C a m p b e l l D. T., B o r u c h R. F. Making the case for randomized assignment to treatments by considering the alternatives: Six ways in which quasi-experimental evaluations in compensatory education tend to underestimate effects. Lecture delivered at the conference on Central Issues in Social Program Evaluation. Wa­shington, July 1973.

22. C a m p b e l l D. T., B o r u c h R. F., S c h w a r t z R. D., S t e i n b e r g J. Confidentiality-preserving modes of useful access to files and to interfile exchange for statistical analysis. National Rese­arch Council, Committee on Federal Agency Evaluation Research, Final Report, Appendix A., 1975.

23. C a m p b e 11 D. T., E r 1 e b a c h e r A. E. How regression artifacts in quasi-experimental evaluations can mistakenly make com­pensatory education look harmful. — In: J. H e l l m u t h (ed.). Com­pensatory education: A national debate, vol. 3. N. Y., Brunner/Mazel, 1970.

24. C a m p b e l l D. T., F i s k e D. W. Convergent and discrimi­nant validation by the multitrate-multimethod matrix. Psychol. Bull., 1959, 56, 81 — 105.

25. C a m p b e l l D. T., S l e g m a n C. R., R e e s M. B. Direction-of-wording effects in the relationships between scales. Psychol. Bull., 1967, 68, 293—303.

26. C a m p b e l l D. T., S t a n l e y J. C. Experimental and quasi-experimental designs for research. Chicago, Rand McNally, 1966. (Cм. перевод в данной книге.)

27. C a p o r a s o J. A., R o o s L. L., Jr. (eds.). Quasi-experimental approaches: Testing theory and evaluating policy. Evanston, 111., Northwestern Univ. Press, 1973.

28. C a r o F. G. (ed.). Readings in evaluation research. N. Y., Russell Sage Foundations, 1971.

29. C i c i r e 11 i V. G., et al. The impact of Head Start: An evaluation of the effects of Head Start on children's cognitive and affective development. A report presented to the Office of Economic Opportunity, June 1969. Westinghouse Learning Corporation, Ohio University.

30. C o n n e r R. F. A methodological analysis of twelve true experimental program evaluations. Unpubl. doct. diss., Northwestern University, 1974.

31. C o o k T. D., A p p l e t o n H., C o n n e r R., S h a f f e r A., T a m k i n G., W e b e r S. J. Sesame Street revisited: A case study in evaluation research. N. Y., Russel Sage Foundation, 1975.

32. C o o k T. D., C a m p b e l l D. T. The design and conduct of quasi-experiments and true experiments in field settings. — In: Dunnette M. D. (ed.). Handbook of industrial and organizational research. Chicago, Rand McNally, 1976.

33. C r o n b a c h L. J. Response sets and test validity. Educ. and Psychol. Measurement, 1946, 6, 475—494.

34. C r o n b a c h L. J. Further evidence on response sets and test design. Educ. and Psychol. Measurement, 1950, 10, 3—31.

35. D a v i d H. P. Family planning and abortion in the socialist countries of Central and Eastern Europe. N. Y., The Population Coun­cil, 1970.

36. D a v i d H. P., W r i g h t N. H. Abortion legislation: The Romanian experience. Studies in Family Planning, 1971, 2, 205—210.

37. D o u g l a s J. D. The social meanings of suicide. Princeton Univ. Press, 1967.

38. E d w a r d s A. L. The social desirability variable in perso­nality assessment and research. N. Y., Dryden, 1957.

39. F a i r w e a t h e r G. W. Methods for experimental social in­novation. N. Y., Wiley, 1967.

40. F i s c h e r J. L. The uses of Internal Revenue Service data.— In: B o r u s M. E. (ed.). Evaluating the impact of manpower pro­grams. Lexington, Mass., D. C. Heath, 1972, 177—180.

41. G a r d i n e r J. A. Traffic and the police: Variations in law-enforcement policy. Cambridge, Mass., Harvard Univ. Press, 1969.

42. G a r f i n k e l H. «Good» organizational reasons for «bad» clinic records. — In: H. G a r f i n k e l. Studies in ethnomethodology. Englewood Cliffs., Prentice Hall, 1967, 186—207.

43. G 1 a s e r D. Routinizing evalution: Getting feedback on effectiveness of crime and delinquency programs. Washington, D. C., Center for Studies of Crime and Delinquency, 1973.

44. G 1 a s s G. V., W i 11 s o n V. L., G o t t m a n J. M. Design and analysis of time-series experiments. Boulder. Colo., Univ. of Colo­rado, 1972.

45. G o 1 d b e r g e r A. S. Selection bias in evaluating treatment effects: Some formal illustrations. Discussion Papers, 123—172. Madi­son, University of Wisconsin, 1972.

46. G o r d o n A. C., C a m p b e l l D. T. et al. Recommended accounting procedures for the evaluation of improvements in the delivery of state social services. Dupl. paper, Northwestern University, 1971.

47. G o s 1 i n D. A. Guidelines for the collection, maintenance, and dissemination of pupil records. N. Y. Russell Sage Foundation, 1970.

48. G u t t e n t a g M. Models and methods in evaluation rese­arch J. for the Theory of Soc. Beh., 1971, 1, 75—95.

49. G u t t e n t a g M. Evaluation of social intervention programs. Annals of the New York Academy of Sciences, 1973, 218, 3—13.

50. G u 11 e n t a g M. Subjectivity and its use in evaluation research. Evaluation, 1973, 1, 60—65.

51. H a t r y H. P., W i n n i e R. E., F i s k D. M. Practical pro­gram evaluation for state and local government officials. Washington, D. C., 1973.

52. H e 11 e r R. N. The uses of social security administration data. — In: M. E. Borus (ed.). Evaluating the impact of manpower programs. Lexington, Mass., 1972, 197—201.

53. I k e d a K., Y i n g e r J. M., L a y c o c k F. Reforms as experi­ments and experiments as reforms. Paper presented to the meeting of the Ohio Valley Sociological Society, Akron, May 1970.

54. J a c k s o n D. N., M e s s i c k S. Response styles on the MMPI: Comparison of clinical and normal samples. J. of Abn. and Soc. PsychoL, 1962, 65, 285—299.

55. K e p k a E. J. Model representation and the threat of in­stability in the interrupted time series quasi-experiment. Doct. diss. Northwestern Univ., 1971.

56. K e r s h a w D. N. A negative income tax experiment. Scientific American, 1972, 227, 19—25.

57. K e r s h a w D. N. The New Jersey negative income tax expe­riment: a summary of the design, operations and results of the first large-scale social science experiment. Dartmouth/OECD Seminar on «Social Research and Public Policies. Sept. 13—15, 1974.

58. K e r s h a w D. N., F a i r J. Operations, surveys, and admi­nistration. Vol. IV of the Final Report of the New Jersey Graduated Work Incentive Experiment. Madison, Wisconsin, 1973.

59. K i t s u s e J. K., C i c o u r e 1 A. V. A note on the uses of official statistics. Social Problems, 1963, 11, 131—139.

60. Кун T. Структура научных революций. M., 1977.

61. K u t c h i n s k y B. The effect of easy availability of pornography on the incident of sex crimes: The Danish experience. J. of Soc. Iss., 1973, 29, 163—181.

62. L e v e n s o n B., M c D i 1 1 M. S. Vocational graduates in auto mechanics: A follow-up-study of Negro and white youth. Phylon, 1966, 27, 347—357.

63. L o h r B. W. An historical view of the research on the factors related to the utilization of health services. Dupl. Res. Report. Bureau for Health Services Research and Evaluation. Rockville, Md., U. S. Government Printing Office, 1972.

64. Lord F. M. Large-scale covariance analysis when the control variable is fallible. J. of the Amer. Statistical Association, 1960, 55, 307—321.

65. Lord F. M. Statistical adjustments when comparing preexi­sting groups. Psychol. Bull., 1969, 72, 336—337.

66. M c C a i n L. J. Data analysis in the interrupted time series quasi-experiment. Master's thesis. Northwestern Univ., 1975.

67. M i 1 1 e r A. R., The assault on privacy. Ann Arbor, Mich., Univ. of Michigan Press, 1971.

68. M i l l e r S. M., R o b y P., S t e e n w i j k A. A. V. Creaming the poor. Trans-action, 1970, 7, 38—45.

69. M o r g e n s t e r n O.. On the accuracy of economic observat­ions. (2nd ed.) Princeton, Princeton Univ. Press, 1963.

70. M o r r i s s e y W. R. Nixon anti-crime plan undermines crime statistics. Justice Magazine, 1972, 1.8—11.14.

71. P o r t e r A, C. The effects of using fallible variables in the analysis of covariance. Unpub. doct. diss., Univ. of Wisconsin, 1967.

72. R i d g e w a y V. Disfunctional consequences of performance measures. Administrative Science Quart., 1956, 1, 240—247.

73. R i e c k e n H. W., B o r u c h R. F., C a m p b e l l D. T., C a p 1 a n N., G 1 e n n a n T. K., P r a 11 J., R e e s A., W i l l i a m s W.

Social Experimentation: a method for planning and evaluating social intervention. N. Y., Academic Press, 1974.

74. R i v 1 i n A. M. Systematic thinking for social action. Wash­ington, D. C., The Brookings Institution, 1971.

75. R o s s H. L. Law, science and accidents. The British Road Safety Act of 1967. J. of Legal Studies, 1973, 2, 1—75.

76. R o s s i P. H. Practice, method, and theory in evaluating social-action programs. — In: S u n d q u i s t J. L. (ed.). On fighting poverty. N. Y., Basic Books, 1969, 217—234.

77. R o s s i P. H., W i l l i a m s W. (eds.). Evaluating social programs: Theory, practice, and politics. N. Y., Seminar Press, 1972.

78. R e u b h a u s e n O. M., B r i m O. G., Jr. Privacy and behavio­ral research. Columbia Law Review, 1965, 65, 1184—1211.

79. S a w y e r J., S c h e c h t e r H. Computers, privacy, and the National Data Center: The responsibility of social scientists. — Amer. Psychologist, 1968, 23, 810—818.

80. S c h w a r t z R. D., O r l e a n s S. On legal sanctions. Univ. of Chicago Law Review, 1967, 34, 274—300.

81. S e i d m a n D., C o u z e n s M. Crime statistics and the great American anti-crime crusade: Police misreporting of crime and political pressures. Paper presented at the meeting of the American Political Science Association. Washington, D. C., Sept. 1972.

82. S e g a l l M. H., C a m p b e l l D. T., H e r s k o v i t s M. J. The influence of culture on visual perception. Indianapolis, Ind., Bobbs-Merrill, 1966.

83. S h a v e r P., S t a i n e s G. Problems facing Campbell's «Experimenting Society*. Urban Affairs Quarterly, 1971, 7, 173—186.

84. S k o l n i c k J. H. Justice without trial: Law enforcement in democratic society. New York, Wiley, 1966.

85. S m i t h M. S., B i s s e l l J. S. Report analysis: The impact of Head Start. Harvard Educational Review, 1970, 40, 51—104.

86. S t a k e R. E. Testing hazards in performance contracting. Phi Delta Kappan, 1971, 52, 583—588.

87. S u c h m a n E. Evaluation research. N. Y., Russell Sage Foundation, 1967.

88. S w e e n J. A. The experimental regression design: An in­quiry into the feasibility of non-random treatment allocation. Unpubl. doct. diss. Northwestern Univ., 1971.

89. T h o m p s o n C. W. N. Administative experiments: The expe­rience of fifty-eight engineers and engineering managers. IEEE Transactions on Engineering Management, 1974, EM — 21, p. 42—50.

90. T h o r n d i k e R. L. Regression fallacies in the matched groups experiment. Psychometrika, 1942, 7, 85—102.

91. T w i g g R. Downgrading of crimes verified in Baltimore. Justice Magazine, 1972, 1, 15.

92. W a t t s H. W., R e e s A. (eds.). Final report of the New Jersey gratuated work incentive experiment. Vol. 1., Madison, Wis­consin, 1973.

93. W e b e r S. J., C o o k T. D., C a m b e 11 D. T. The effects of school integration on the academic self-concept of public school children. Paper presented at the meeting of the Midwestern Psycho­logical Association. Detroit, 1971.

94. W e i s s C. H. (ed.). Evaluating action programs: Readings in social action and education. Boston, Allyn & Bacon, 1972a.

95. W e i s s C. H. Evaluation research. Englewood Cliffs., Pren­tice-Hall, 1972b.

96. W e i s s R. S., R e i n M. The evaluation of broad-aim prog­rams: A cautionary case and a moral. Annals of the American Aca­demy of Political and Social Science, 1969, 385, 133—142.

97. W e i s s R. S., Re i n M. The evaluation of broad-aim pro­grams: Experimental design, its difficulties, and an alternative. Administrative Science Quart., 1970, 15, 97—109.

98. W e s t i n A. F. Privacy and freedom. N. Y. Atheneum, 1967.

99. W h e e l e r S. (ed.). Files and dossiers in American life. N. Y., Russell Sage Foundation, 1969.

100. W h o l e y J. S,, N a y J. N., S c a n l o n J. W., S c h m i d t R. E. If you don't care where you get to, then it doesn't matter which way you go. Dartmouth/OECD Seminar on Social Research and Public Policies. Sept. 13—15, 1974.

101. W h o l e y J. S., S c a n l o n J. W., D u f f y H. G., F u k u m o t o J., V o g t L. M. Federal evaluation policy. Washington, D. C., 1970.

102. W i l d e r C. S. Physician visits, volume and interval since last visit. U. S. 1969. Rockville, Md., National Center for Health Statistics, Series 10, № 75, July 1972.

103. W i l l i a m s W., E v a n s J. W. The politics of evaluation: The case of Head Start. The Annals, 1969, 385, 118—132.

104. W o r t m a n C. B., H e n d r i c k s M, H i l l i s J. Some reactions to the randomization process. Dupl. res. report, Northwestern Univ., 1974.

105. Z e i s e l H. And then there were none: The diminunition of the Federal jury. Univ. of Chicago Law Review, 1971, 38, 710—724.

106. Z e i s e l H. The future of law enforcement statistics: A summary view. — In: Federal statistics: Report of the President's Commission. Washington, D. C. U. S. Government Printing Office, vol. II, 1971, 527—555.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ¹

Административные, архивные и другие косвенные данные, использование 210, 255, 341, 351—353, 360—362, 364

«Административный экспери­мент», модель 334

Ad hominem, исследования 358, 359

Артефакты, таксономия 202—211, 233, 234

Асимметричный (уницентрированный) перевод 300—302, 312

Асимметрия сравнения единич­ных случаев 293

Байесова статистика, проверка при изучении единичных слу­чаев 290

«Бэндвагон», эффект 364, 365

Валидность

— внешняя 43, 45, 62, 63, 71—84, 86, 88—90, 94—99, 101—107, 113, 121, 130, 139—141, 150, 198, 200—206, см. так­же «эффекты взаимо­действия», «осведомлен­ность об эксперименте», «обобщение результатов», «нереактивные из­мерения»

— внутренняя 41, 42, 45, 50, 63—72, 86, 105, 106, 116—121, 130, 133, 150, 200—204, см. так­же «главный эффект»

— качественного подхода 271

— конструктная 41—43, 348

— научного вывода 193, 194, 206, см. также «метанаучные проблемы»

— неэкспериментального знания 43, 44

— полевого исследования и наблюдения 264

— социальные источники валидности науки 33, 356—359

— статистического вывода 40, 41, см. также «про­верка значимости, ста­тистической, эффекта воздействия»

— теории и научная рево­люция 335

— теории при изучении случаев 282—286, 288— 295

_____________________________________________________________________________

¹ Именной и предметный указатели составлены М. И. Бобневой.

Варьирование

— дополнительное 211

— качества данных 213

— систематическое (интер­полирующее и экстрапо­лирующее) 213—214

Взаимодействие

— монотонность 97

— определение категории 95—97, см также «эф­фекты взаимодействия», «смешивание», «валидность»

— переменных при изучении единичных слу­чаев 292, 293

Воспроизведение (повторение) эксперимента, требование

— истинного эксперимента 140

— оценивания программ 265, 333

— полевого исследования 266

— при использовании пере­водов вопросников и те­стов 310

— с использованием раз­личных методов (гетерометодное) 105—107, 152, 215—216

— экспериментального воз­действия 103, 104

Временных серий (рядов), экс­перимент по плану 114—123, 124, 144, 172, см. также «пре­рывных временных серий, эксперимент по плану»

Выборки

— выделение групп срав­нения при анкетирова­нии одной аудитории 156

— из конечной популяции 101

— интервьюеров 180

— источник систематиче­ской погрешности 145, 146

— когда невозможно слу­чайное комплектование групп 140, 142, 143

— по ситуации, ошибка 127, 128

— принадлежность к од­ной и той же популя­ции 136, 157, 158

— смещения выборки 76, 77, 147

— уравненные, в квази­эксперименте 155

— формирование подгрупп популяции по принципу «достойности» 161 — 172

— формирование блоков 91

— эквивалентные, ситуа­ций 123

— эквивалентные, экспери­ментального материа­ла 128—131

см. также «Репрезентативность», «Смещение, погрешности», «Рандо­мизация», «Попарное уравнивание», «Панель­ные исследования»

Главный (основной) эффект 71, 88, 89, 95—99, 139—140, 142, 143, 200—206, 209, 210, см. также «Валидность»

Демаскирование эксперимента 224—226, 229, 233

Децентрированный (симметрич­ный) перевод 300—302, 308, 309

Добровольное участие в экспе­рименте 62, 70, 71, 86, 87, 92, 136, 147, 209, 214, 215, 219

Добровольцы-испытуемые 209, 214, 215

Дозкспериментальные планы 48-62

Единичные случаи — см. «Ис­следование единичного слу­чая»

Естественное осуществление эксперимента 175

«Естественный эксперимент» 176, 177

Жребий 156, 354, 355

Замаскированные эксперимен­ты

— отказ от демаскировки 224, 225

— приемы маскировки ла­бораторных исследова­ний 220

— таксономия полевых 217, 221—234

— этические проблемы 222—227, 229, 232—233, 235

Искажающий эффект количест­венных индикаторов 359—364

Информанты, метод использо­вания 261, 266, 328

Исследование единичного слу­чая 48—50, 265—267, 278—297

Истинные (подлинные) экспе­рименты 62—107, 140, 144, 146, 147, 171, 206

Качественное знание, качест­венный подход

— валидное обоснование количественных данных 256, 267, 270, 271, 327

— в социальных науках 254, 255, 320

— зависимость количест­венного знания от 243, 272

— качественное обобщение качественных суждений 268—270

— при оценивании про­грамм 243, 253—257, 324—330

— полярность качествен­ного и количественного подхода 242, 271, 272, 297

— типы качественного оце­нивания 257—267, 324— 330, см. также «Обы­денное знание», «Метанаучные проблемы»

Каузальные связи и экспери­мент — см. «Эксперимент», «Корреляционные планы», «Корреляции», «Валидность»

Квазиэксперименты (квазиэкс­периментальные планы) 107—184, см. также «Оценивание эффективности социальных программ»

Контрольные выборки для пред­варительного и итогового тестирования, план 147—150, 172

Контрольные группы

— «двойной слепой экспе­римент» 66—81, 202, 220

— «боязнь оценки» 202, 203, 215, 219

— влияние ожиданий экс­периментатора на ре­зультаты эксперимента 202, 203, 233

— как средство контроля внутренней валидности, история использования 63, 105, 113, 114, 200— 202

— плацебо 70, 71, 105, 112, 201, 202, 219

— подвергающиеся допол­нительному воздействию 203—205, 219

— подвергающиеся «лож­ной операции» 201, 211

— применение в естествен­ных науках 200—202

— при оценивании про­грамм 338, 343, 348—350

см. также «Рандомизазация», «Попарное уравнивание», «Эквива­лентные группы», «пла­ны экспериментов»

Корреляции

— выявление ложных 213

— выявление отрицатель­ных 345

— источник погрешностей 178, 179

— обратная корреляция 175

— при предварительном испытании гипотез 174

— с третьей (сопутствую­щей) переменной 175, 342

см. также «Корреля­ционные планы» Корреляционные планы и пла­ны

ex post facto 172—181

Латинский квадрат

— в истинном эксперимен­те 140, 141

— вместо контрольной группы 94, 139—143

— для построения сбалан­сированных планов 138—143

«Ловушка сверхагитации», эф­фект 357, 359

Лонгитюдинальный подход 154—160, 178

«Лоскутные» планы 113, 144, 152, 160

Межкультурные сравнения как слабая форма квазиэкспери­ментального плана 279

Метанаучные проблемы

— влияние процесса ка­чественного оценивания программ на методы гу­манитарных наук 265

— объективность данных и пристрастность иссле­дователей 331, 332

— при оценивании про­грамм 324—336

— степень интеграции — унифицированности — науки 249

— эмпирический статус ме­тодологических требова­ний 198

см. также «Эпистемо­логия», «Качественное знание»

Методологические проблемы исследований

— конформизма 130, 131, 224, 226, 227

— межкультурных разли­чий 211—213, 245, 278—

280, 282, 291—297, 301, 302, 306, 308, 310— 315

— национальных предрас­судков 54, 74, 179—181

— общественного мнения 122, 144—146, 179, 180, 199—201, 230, 231, 248, 364

— оказания помощи и кон­тактов в общественных местах 229—233

— психотерапевтических 135—136, 144, 158

— социальных установок 154, 159, 177, 178, 219, 232, 310, 314, 315, 321, 364, 365

— убеждающих воздейст­вий 102, 206, 225, 226, 230

см. также «Панельные исследования», «Оцени­вание эффективности социальных программ»

Методы и приемы оценивания программ

— внешнее наблюдение 262, 330—336

— возможности экспери­ментального оценивания 162, 318—330

— выработка единого ре­шения участниками 268, 269

— использование инфор­мантов 328

— использование косвен­ных данных 338—340, 351—353, 360—362

— критерий отбора кан­дидатов 161, 168, 356

— недостатки количествен­но-экспериментального подхода 324, 327

— опыт участников 257—259

— системный анализ 261

— типы качественного оце­нивания 257—267

см. также «Квазиэкспе­риментальные планы», «Наблюдение», «Экспе­римент», «Качественное знание», «Оценивание эффективности социаль­ных программ»

Множественные серии измере­ний, план 150, 151, 172, 175

Модели дисперсионного анали­за — конечные, рандомизиро­ванные, фиксированные и смешанные 101

Модель исследования с исполь­зованием многих наблюдате­лей и множества объектов описания 294—297

Наблюдение, полевое

— методы 263, 264

— надежность и валидность 264

— разведение субъективно­го и объективного ком­понентов 293, 294

Надежность

— оценки эксперименталь­ной и контрольной группы 344

— полевого наблюдения 264

— теста при предваритель­ном и итоговом тести­ровании 344

Нарушение непрерывности рег­рессии как признак экспери-

ментального эффекта, план 160—172, 356

Независимые переменные как признаки классификации 97—101

Нереактивные измерения — 55, 210, 219, 221, 234, 255, 307, 314

см. также «Угрозы внешней валидности»

Нестинг, перекрестная класси­фикация 97—101

Неэквивалентная контрольная группа, план 56, 63, 64, 68, 113, 132—138, 147, 150, 172, 175, 182, 183

Обобщение (генерализация) ре­зультатов 91, 102—106, 131, 198, 205—207, 209, 218, 268, см. также «Валидность», «Угрозы внешней валидно­сти», «Эффекты взаимодей­ствия»

Обозначения, используемые при описании планов 47, 48

Обработка административных данных с учетом требования конфиденциальности, методи­ка 351—353

Обратный перевод вопросни­ков и тестов, методика 302— 305

Обыденное знание, здравый смысл

— в социальных науках 278, 279

— и научное знание 245— 247, 283, 326

— погрешности 287—289

— сомнение и доверие 279 см. также «Качествен­ное знание»

Осведомленность об экспери­менте 217, 221—231, 235, см. также «Замаскированные эксперименты», «Угрозы внешней валидности», «Эти­ческие проблемы исследова­ний»

Оценивание эффективности со­циальных программ

— в антропологических и этнографических иссле­дованиях 261—265, 328, 329

— влияние политической ситуации 32, 322, 323, 356—365

— информантами 328

— практические проблемы организации процесса 330—333

— представителями раз­личных социальных дис­циплин 271, 319—322

— специальными подразде­лениями 330—331

— участие социальных пси­хологов 320, 321

— участниками программы 267—271, 364, 365

— экспертами (качествен­ное оценивание) 258

Ошибка в независимых пере­менных 342

Панельные исследования 178—181, 199—201, см. также «Методологические пробле­мы исследования обществен­ного мнения»

Перекрестная валидизация

— в экспериментальном ис­следовании 38, 82, 122

— данных тестов социаль­ных установок данными невербальных тестов 314

— наук 29

— науки здравым смыслом 252—253

— количественных оценок качественным знанием 267, 270

— при оценивании про­грамм 259, 260, 334, 335

— эффекта эксперимен­тального воздействия с помощью различных методов 105—107, 152, 215, 216

Перекрестные планы 138

План эксперимента

— в традиции Фишера 34, 35, 63, 90

— и предварительное те­стирование 89, 198— 200

— и способ статистической обработки 35, 36, 84, 85, 260

— понятие 28, 34

— эмпирический продукт науки 200, 201

План Соломона для четырех групп 88, 89

Планы, не предусматривающие предварительного тестирова­ния 198—200

Планы с переключением 138

Погрешности — см. «Смеще­ния»

Полевые исследования, методо­логические проблемы

— воспроизводимость 266

— перенос лабораторных исследований в полевые условия 108—114, 138, 146, 151, 177

— стандарты регистрации данных 266

— стратегии 152—160, 310

— таксономия замаскиро­ванных 221—234

см. также «Методы и приемы оценивания про­грамм»

— этические проблемы 222—227, 229, 232, 233, 235, 331—333

Попарное уравнивание групп 35, 68, 135, 181—183

Поэтапные срезы, сравнитель­ное изучение 154—160

Правдоподобные конкурентные гипотезы 50, 66, 111, 112, 115, 140, 152, 174, 176, 197— 213, 215, 234, 256, 310

Предварительное и итоговое тестирование 50, 56—58, 71, 74, 75, 255, 256, 311, 342, 362, 363, см. также «планы экспериментов и квазиэкспе­риментов»

Предварительное и итоговое тестирование и контрольная группа, план 63—88, 201

Предварительное и итоговое тестирование на одной груп­пе, план 50—61, 201

Предварительное и итоговое тестирование на различных выборках, план 143—147, 172

Прерывные временны́е серии (ряды), план 336—341

Применение контрольной