Этапы развития оценочных исследований

Оценка программы означает осмысление системы в целом с её подсистемами и контекстами. Оценивающее лицо сначала должно рассмотреть саму воз­можность оценки — иными словами, проанализиро­вать систему принятия решений, чтобы проверить, достаточно ли понятна программа, достаточно чет­ко ли сформулированы ее цели, и в достаточной ли степени заинтересованы и настроены на сотрудниче­ство руководство, персонал и клиентура, для того чтобы оценка стала возможной и потенциально по­лезной. Если перспективы проведения оценки пред­ставляются благоприятными, то оценивающее лицо должно четко определить задачи оценки. Помимо очевидных задач оценки необходимо выявлять скрытые намерения руководства и персонала — на­пример, желание воспользоваться исследованием, чтобы «прикрыть» неуспех программы, либо анну­лировать или отсрочить нежелательную программу. Затем оценивающий должен сформулировать про­грамму, т. е. идентифицировать ее компоненты. К при­меру, программа клинике по оказанию юридической помощи (legal aid clinic) должна включать в себя информирование потенциальных клиентов, предо­ставление юридических рекомендаций, направление клиентов в соответствующие агентства, просвещение потребителей и представление интересов клиентов в суде. Каждый из этих компонентов должен быть протестирован в процессе оценки. Важным этапом является спецификация целей и ожидаемых эффектов.

Оценивающий должен учитывать не только цели, сформулированные руководством и персона­лом, но и другие возможные последствия. Проблема нередко заключается в том, чтобы гарантировать конкретизацию целей: насколько должны увели­читься заработки, на сколько процентов должна по­выситься успеваемость в школе или количество оправдательных судебных приговоров. В противном случае результаты трудно измерить точно. Кроме того, помимо результатов необходимо уточнить пе­ременные-прецеденты (входные данные) — те фак­торы, которые обеспечивают контекст программы и налагают на нее ограничения. Лица, проводящие оценку, выявляют определяющие особенности орга­низации или сообщества по мере того, как те вовле­каются в программу, социальный класс клиентуры, общую атмосферу в организации и характер проблем, с которыми клиенты обращаются за услугами. Кро­ме того, оценивающий должен уточнить промежу­точные переменные — подготовку персонала, реали­зующего программу, и предполагаемые взаимосвязи между различными компонентами или мероприяти­ями, входящими в состав программы. На всех этих этапах важную роль играет анализ программных до­кументов и интервью с персоналом и представите­лями сообщества. Все эти мероприятия помогают определить предмет измерения.

Далее необходимо определить методы измерения и учесть проблемы, сопряженные с проведением из­мерений, которые будут использованы в оценке. Сначала нужно отобрать валидные методы измере­ния переменных, выделенных в ходе анализа. Так, например, социальный класс клиентов может быть одной из переменных-прецедентов, однако суще­ствует несколько способов оценки-принадлежности к социальному классу, и приходится делать обосно­ванный выбор между этими методами. Аналогичным образом необходимо тщательно отобрать измеряе­мые показатели желаемого результата, например, увеличение дохода, более активное участие в жизни сообщества, большая уверенность в себе или умень­шение числа случаев госпитализации. Как мы уже отмечали в главе, посвященной обследованию, опре­деление критериев эффективности является решаю­щим; многие исследования споткнулись на критери­альной проблеме. Выбор критериев — нелегкое дело. Возьмем, к примеру, разницу между либеральным и консервативным политическим климатом. Архикон­сервативный администратор может желать лишь доказательств того, что прохождение программы по­зволяет снизить расходы на выплаты людям пособий, тогда как архилиберал может быть заинтересован в счастье и социальной активности клиентов. Специ­алист, занимающийся оценкой, также должен учи­тывать надежность и валидность всех показателей. Клинические и социальные психологи разработали множество тестов, шкал установок и других методов измерения, могущих быть использованными при оценке.

По завершении всех этих этапов необходимо раз­работать схему исследования. Цель этого этапа за­ключается в том, чтобы получить надежные выводы,

позволяющие говорить о взаимосвязи программы с наблюдаемыми результатами. Как упоминалось выше, экспериментальная схема суммирующей оцен­ки требует предварительного и итогового тестирова­ния групп, сформированных путем_#произвольного распределения. Произвольность важна для того, что­бы эксперимент удовлетворял статистическим допу­щениям независимости, т. е. гарантировал, что как измеряемые, так и неучтенные переменные равно­мерно распределены по обеим группам. Произволь­ному распределению во многих ситуациях препят­ствуют многочисленные административные и эти­ческие проблемы, а потому для таких случаев Кук и Кэмпбелл (Cook & Campbell, 1979) предусматрива­ют квазиэкспериментальные схемы.

Как уже упоминалось выше в отношении иссле­дований в целом, в ходе оценочных исследований приходится учитывать две основные проблемы. Кэм­пбелл сформулировал их в своей классической ста­тье, посвященной оценке и озаглавленной «Рефор­мы как эксперименты» {Reforms as Experiments, Campbell, 1969). Внутренняя валидность связана с ответом на следующий вопрос: можем ли мы заклю­чить, что программа действительно произвела жела­емые эффекты? Единственный способ ответить на этот вопрос — максимально тщательно проанализи­ровать иные возможные, не связанные с программой, причины полученных результатов. Например, если программа проводится в школе, то одинаков ли соци-оэкономический статус детей, участвующих в экспери­ментальной программе, и детей из группы сравнения? Повлияло ли на них повышенное внимание, оказан­ное в экспериментальной программе? Оказал ли вли­яние на результаты выход отдельных детей из про­граммы? Имели ли место такие статистические фе­номены, как регрессия к среднему (тенденция крайних показателей приближаться к средним)? Особо важной проблемой является рассмотренный ранее эффект плацебо. Кэмпбелл приводит длинный перечень возможностей, подлежащих учету при вы­явлении альтернативных объяснений получаемых результатов; и оценивающий должен заблаговремен­но принять во внимание эти возможности и исклю­чить как можно большее их число.

Кроме того, как упоминалось выше в связи с ис­следованиями в психотерапии, под внешней валидностью понимается возможность обобщения получен­ных дранных на различные условия, категории людей и временные периоды. Во избежание проблем состав испытуемых должен быть максимально репрезента­тивным по отношению к популяции, являющейся объектом генерализации.

Сам по себе эксперимент должен проводиться ес­тественным образом в типичной обстановке, с тем чтобы можно было использовать ту же программу повсеместно. Если эксперимент удается воспроизве­сти в нескольких различных группах и средах, то результаты становятся еще более убедительными. Одно из критических замечаний в адрес лабораторных исследований заключается в том, что они не распро­страняются на полевые условия. Однако Андерсон, Линдсей и Бушман (Anderson, Lindsay & Bushman,

1999) утверждают (подкрепляя слова свидетельства­ми, полученными в ходе многочисленных исследо­ваний), что социально-психологические экспери­менты обладают хорошей внешней валидностыо и не являются исключительно тривиальными. Безуслов­но, разработка схемы должна также сопровождать­ся тщательным планированием и консультировани­ем, касающимся обработки и анализа данных. Так как в исследованиях результатов часто приходится оперировать многими переменными, нередко возни­кает необходимость в многомерном анализе (Spector, 1981); это означает, что должны быть применены статистические процедуры для определения влия­ния всех наиболее характерных особенностей про­граммы на различные показатели результата.

На заключительном этапе оценки после проведе­ния исследования и получения благоприятных ре­зультатов необходимо обеспечить утилизацию и рас­пространение данных. К сожалению, специалисты, занимающиеся оценкой, часто бывают разочарованы весьма скромным влиянием своих напряженных усилий. Важной причиной столь низкой утилизации является неспособность привлечь к разработке ис­следования руководство учреждений и группы пла­нирования. Во избежание этой проблемы оценщи­кам следует с самого начала задумываться над тем, как результаты их работы будут приняты организа­цией, и как будет осуществляться их распростране­ние. Важно также прибегать к помощи лиц, прини­мающих ключевые решения, вовлекая их в процес­сы по планированию и интерпретации исследования. • Если программа связана со сферой законодательства и различными факторами политического давления, то проблема формулирования процессов и результа­тов оценки еще более усложняется. При смене поли­тической администрации, правил или источников финансирования проект может подвергнуться изме­нениям в самый разгар своего осуществления. Дру­гие проблемы связаны с сопротивлением, которое оказывают организации, не желающие перемен. Осо­бо деликатным является обращение с данными, мо­гущими повлечь за собой сокращение рабочих мест, найм дешевой рабочей силы взамен профессионалов или изменения, касающиеся профессиональных обя­занностей сотрудников или «территориальных вли­яний». Мы должны отметить, что «территориальные войны» (споры о границах систем) между организа­циями могут быть вызваны несколькими скрытыми причинами, среди которых а) сохранение или при­обретение ресурсов или контроля; б) уклонение от роста задолженностей; в) следование внешним приказам с целью создать впечатление об организа­ции, как о более эффективной, при одновременном сдерживании или сокращении затрат.

Мероприятия, связанные с оценкой, варьируют в широких пределах по своему объему и качеству. Любое отдельно взятое оценочное исследование мо­жет не включать в себя полный набор перечислен­ных здесь этапов. При этом каждый из последних сам по себе может являться предметом исследова­ния — например, можно изучать надежность и валидность того или иного критерия результата или

проследить распространение данных. С точки зре­ния формальных схем исследований, процедуры, ко­торые в реальном мире именуются оценкой, также подвержены значительной вариативности. Отдель­ные ее разновидности вряд ли можно назвать типич­ным исследованием. Так, первые руководители про­граммы с участием добровольцев из «Корпуса мира», оказывающих гуманитарную помощь в других стра­нах, уверенно полагались на отчеты журналистов, отправлявшихся за рубеж и изучавших мнения добровольцев, а также на мнения американского и мес­тного персонала об успехах и неудачах проектов. Руководители многих краткосрочных программ — к примеру, семинаров — просят участников лишь за­полнить анкету и выразить свое отношение к проис­ходящему. Обычные методы оценки преподавания в колледжах редко выходят за рамки изучения мнений учащихся и педагогов, хотя измерение уровня успе­ваемости учащихся до и после прохождения курса имело бы большее отношение к оценочным задачам. Оценка — регулярно проводимая процедура, но она редко выполняется систематически, в соответствии с последовательностью этапов, описанной в преды­дущем разделе. Безусловно, многие задачи не требу­ют осуществления столь формализованной и доро­гостоящей операции; достаточно бывает ознакомить­ся с мнениями участников.

На стадиях разработки и реализации проекта по оценке программы необходимо тщательно обдумать этические аспекты этого мероприятия. Как говори­лось в главе 3, при оценочном исследовании про­грамм надлежит уважать участников программы, за­щищать их от нанесения какого-либо ущерба и гаран­тировать, что исследование действительно «поможет им, не причинив вреда». Помимо защиты испытуе­мых, участвующих в оценке программы, исследова­тели должны подтвердить, что обладают уровнем образования, подготовки и опыта, необходимым для адекватной реализации оценки программы и интер­претации полученных результатов. Для дополни­тельной информации мы призываем читателя вер­нуться к главе 3 и этическим рекомендациям АПА.

Несмотря на важность оценки широкомасштаб­ных программ, расходующих миллионы долларов на образование, здравоохранение, контроль над пре­ступностью и на другие области деятельности и про­блемы, в их отношении трудно подыскать образцо­вые примеры качественно проведенных исследова­ний результатов наподобие тех, что были описаны выше. Как государственные, так и частные органи­зации неоднозначно относятся к оценке собственной деятельности и редко выделяют достаточные сред­ства для найма и подготовки персонала, необходи­мого для эффективного исследования своих про­грамм и формулировки выводов, могущих касаться изменений в их социальной политике. Как уже упо­миналось выше, в 1965 г., признавая тот факт, что первые пять лет жизни ребенка оказывают особо сильное влияние на его готовность к школьному обу­чению и успеваемость, правительство США учреди­ло всестороннюю программу дошкольного образова­ния для бедных детей и их семей, названную «Ран нее развитие» («Head Start»). Федеральная поддер­жка в виде грантов побудила все 50 штатов учре­дить местные программы. Результаты исследова­ний по оценке этой важной формы дополнительно­го обучения детей в возрасте 3-4 лет несколько противоречивы (Bronfenbrenner, 1975; Rivlin, 1978). В исследованиях, касавшихся детей младшего возра­ста и младенцев, были получены более впечатляю­щие результаты. Риппл, Гиллиэм, Чанана и Циглер (Ripple, Gilliam. Chanana & Zigler, 1999) предприня­ли обзор исследований программы «Head Start» и других дошкольных программ, проводившихся в от­дельных штатах, и выявили высокую степень вариа­тивности мероприятий, предлагавшихся различны­ми штатами. Они заключили, что качество и доступ­ность финансируемого государством дошкольного образования для детей из бедных семей зависят от места проживания семьи: «Если дети живут в Джор­джии, то им повезло, но если они родились за чер­той, отделяющей этот штат от Алабамы, им повезло уже значительно меньше» (р. 341). Тей и Реми (They & Ramey, 1999) констатируют, что качественно со­ставленные программы хорошо зарекомендовали себя, и предлагают сочетать федеральную политику с местной, а также усовершенствовать методы сбора данных и постоянного мониторинга программ.

Любопытный пример весьма характерных резуль­татов оценки приводит Кислер (Kiesler, 1980) — это резюме работы, проведенной Каммингсом и его кол­легами (Kiesler, Cummings & VandenBos, 1979) в больницах компании Kaiser-Permanente, штат Кали­форния. Эти больницы работают в структуре круп­ной организации здравоохранения, практикующей предварительную оплату медицинских услуг, в отли­чие от системы оплаты по факту — различие, кото­рое, судя по всему, сказывается на возможности ге­нерализации результатов. Проведенные исследова­ния говорят о пользе учета такого показателя, как маргинальная полезность (marginal utility) психоло­гической службы — т. е. эффекта от психологиче­ского консультирования и психотерапии,возникаю­щего в дополнение к уже оказанным системой здра­воохранения услугам. Предполагается, что добрая половина проблем, с которыми люди обращаются к лечащим врачам, имеют в основном психологиче­скую природу, и во многих таких случаях пациентам безосновательно назначается хирургическое, меди­каментозное и другие виды лечения, нацеленного на избавление от соматической патологии. Каммингс и его группа собрали базовые данные о пациентах, обращающихся за помощью в учреждения фирмы Kaiser-Peimanente. Они обнаружили, что люди, пере­живавшие эмоциональный стресс, очень часто при­бегали к услугам врачей, и в контексте исследования часть таких людей стала направляться на кратко­срочную психотерапию. Исследователи выяснили, что лишь один психотерапевтический сеанс спосо­бен сократить востребованность врачебных услуг на 50% в ближайшие пять лет. Если же сеансов было проведено от 2 до 8, то обращение за дорого­стоящими врачебными услугами сокращалось на 75%. Кислер сообщает и о других исследованиях,

в ходе которых были получены аналогичные ре­зультаты. В частности, такого рода данные и подоб­ные исследования широко использовались с целью создания прецедента и включения психологических услуг в перечень тех, что охватываются системой медицинского страхования. Поддержка таких ис­следований важна не только потому, что служит на благо профессиональным интересам психологов, но и поскольку их выводы способны оказывать влия­ние на государственную политику в сфере здраво­охранения.