Оценка валидности с помощью проверочного листа

На сегодняшний день не было проведено ни одного исследования, посвященного оценке эффективности Проверочного листа надежности (см. табл. 5.2). Применение проверочных листов при проведении экспериментальных исследований с применением КАУК не обязательно, поскольку исследования такого рода неизменно проводятся в стандартизированных условиях. Однако отчеты об уже ранее упоминавшихся полевых исследованиях с применением КАУК не содержали никаких упоминаний об использовании Проверочного листа (скорее всего, оценка надежности вообще не проводилась).

Основываясь на существующих научных данных, мы можем поставить под вопрос обоснованность некоторых критериев Проверочного листа, а именно «неадекватность аффекта» (критерий 2), «внушаемость» (критерий 3) и «несовместимость с другими утверждениями» (критерий 10).

Критерий 2 гласит, что если интервьюируемый сообщает подробности осуществленного над ним насилия, не проявляя при этом никаких видимых эмоций, его рассказ производит впечатление менее правдоподобного, чем если сообщение сопровождается бурными эмоциональными проявлениями. С моей точки зрения, этот вывод ошибочен по сути своей, так как не все люди, рассказывая другим о своих негативных переживаниях, демонстрируют яркие, видимые постороннему взгляду эмоции. В одном из своих экспериментальных исследований (Vrij & Fischer, 1995) я обнаружил, что в поведении некоторых «жертв» отчетливо прослеживаются признаки пережитого стресса, тогда как другие не демонстрируют подобных проявлений, а результаты исследования Литтманна и Зевчук (Littmann & Szewczyk, 1983) свидетельствуют о том, что проявление эмоций в ситуации интервью не может служить надежной предпосылкой валидности утверждения.

Критерий 3 касается внушаемости интервьюируемого. Некоторые свидетели в большей степени подвержены внушающим воздействиям со стороны интервьюера по сравнению с другими и зачастую предоставляют информацию, которая не соответствует действительности, но зато вполне отвечает ожиданиям интервьюера. Поэтому, как уже отмечалось, Юилл (Yille, 1988a), а также Лондри и Бригем (Landry & Brigham, 1992) рекомендовали в конце интервью задать свидетелю несколько наводящих вопросов, с тем чтобы оценить, насколько он подвержен внушению. Они советовали задать несколько вопросов, касающихся какой-либо несущественной информации (например, «Когда ты был со своей сестрой, кто еще из ваших друзей там был, Клер или Сара?»).

Очевидно, что расспрашивать о ключевых фактах было бы совершенно неуместно, поскольку это может привести к искажению воспоминаний, сохранившихся у интервьюируемого. Иными словами, вопросы, которые задает интервьюер, могут отразиться на воспоминаниях свидетеля о событии, и случалось, что люди «вспоминали» о событиях, которых на самом деле никогда не было, только потому, что интервьюер натолкнул их на мысль о том, что таковые события имели место. Убедительным примером тому служит классическое исследование, проведенное Лофтусом и Палмером (Loftus & Palmer, 1914). Участники этого исследования сначала смотрели фильм о дорожном происшествии, а затем отвечали на вопросы, в том числе: «С какой примерно скоростью двигались машины, когда соприкоснулись друг с другом?» Другие участники получили аналогичную информацию, за исключением того, что вместо глагола «соприкоснулись» в вопросах фигурировали глаголы столкнулись, разбились или налетели друг на друга.

Несмотря на то что все участники исследования смотрели один и тот же фильм, формулировки вопросов в значительной степени определяли полученные от них ответы. По их оценкам, скорость движущихся машин составляла 31, 34, 38, 39 и 41 (милю в час) соответственно. Спустя неделю участников попросили ответить на вопрос, осталось ли на месте происшествия битое стекло. Хотя никакого битого стекла в фильме не было, 32 % участников из группы, в вопросе для которой фигурировало слово разбились, заявили, что видели его. Таким образом, можно сделать вывод о том, что формулировка вопроса оказала существенное влияние на воспоминания участников эксперимента. Тот факт, что мы можем задавать только те вопросы, которые касаются второстепенной информации, создает определенные проблемы, так как дети демонстрируют большую устойчивость к внушению, когда речь идет о ключевых элементах информации, что же касается второстепенных элементов события, то здесь они оказываются более внушаемыми (Goodman, Rudy, Bottoms, & Aman, 1990). Более того, при обсуждении стрессовых событий (которые, скорее всего, были ключевыми) они проявляют более высокую устойчивость к внушающим воздействиям, чем когда разговор заходит о менее стрес-согенных событиях (которые, скорее всего, принадлежат к категории второстепенных). На основании этого критерия напрашивается предположение о том, что феномен внушения в большей степени определяется индивидуальными особенностями, нежели внешними обстоятельствами. Но мы не можем утверждать, что такое предположение валидно (Milne & Bull, 1999).

Критерий 10 касается несовместимости между различными утверждениями одного и того же свидетеля. Он гласит, что если интервьюируемый опровергает сам себя, делая два противоречащих друг другу заявления, не исключено, что одно из них не соответствует действительности. По моему мнению, это заблуждение. Результаты научного исследования показали, что если два заявления, сделанные одним и тем же ребенком, противоречат одно другому, это не всегда означает, что одно из них сфабриковано (Moston, 1981; Poole & White, 1991).

Зачастую свидетель делает взаимоисключающие заявления в связи с тем, что ему неоднократно задают один и тот же вопрос. Особенно часто это встречается у маленьких детей, которые, по-видимому, размышляют так: «Если мне второй раз задают один и тот же вопрос, значит, первый раз я ответил на него неправильно». Подобный ход рассуждений представляется детям вполне оправданным, поскольку такая ситуация возникает в их жизни очень часто.

Родители и учителя, как правило, повторяют заданный вопрос, если первый ответ, который дал ребенок, оказался неверным. Например, когда родители читают своим детям иллюстрированную книжку про животных, нередко можно услышать следующий разговор: «Это кто? Кошка? Это кошка? Нет, посмотри повнимательнее. Кто это такой, ведь он же больше, чем кошка? Правильно, это тигр! Молодец!» Итак, появление в показаниях свидетелей несовместимых или противоречащих друг другу утверждений может объясняться неоднократным повторением в ходе интервью одних и тех же вопросов. Поэтому, анализируя противоречия или непоследовательность в словах ребенка, мы не должны сбрасывать со счетов фактор стиля интервьюирования.

Сложности в применении ОВУ

Трудности, связанные с применением ОВУ, обусловлены двумя основными недостатками этого метода. Во-первых, метод ОВУ не прошел процедуру стандартизации, а во-вторых, этому методу не хватает теоретического фундамента.

Количество критериев

На сегодняшний день у нас нет формализованных правил, руководствуясь которыми по результатам проверки КАУК мы могли бы определить, правдиво выдвинутое утверждение или нет. Разные эксперты применяют разные правила, некоторые из которых описаны очень подробно. По мнению Юилла (приводится в Horowitz, 1991), утверждение можно рассматривать как правдивое, если оно удовлетворяет пяти первым критериям плюс любым двум другим критериям. Раскин (приводится в работе Zaparniuk, Yuille & Taylor, 1995) считал утверждение правдоподобным, если в нем присутствовали критерии с 1 по 3, а также любые четыре из оставшихся. Крейг (Craig, 1995) отстаивал точку зрения о том, что утверждение, соответствующее по крайней мере пяти критериям, скорее всего, достоверно. Проблему «количества критериев» еще более осложняет тот факт, что не все эксперты, проводя оценку утверждений, применяли все 19 критериев. Однако примечателен тот факт, что некоторые эксперты не применяют правила принятия решений. Это говорит о том, что заключение о достоверности утверждения может основываться только на результатах проведения процедуры КАУК, тогда как эти же эксперты доказывают, что это невозможно, поскольку содержательность утверждения зачастую определяется влиянием внешних факторов, что, в свою очередь, влияет на показатели по КАУК. Вот почему я согласен с Ламерс-Уинкелман (Lamers-Winkelman, 1995), голландским специалистом по проведению ОВУ, которая считает неуместным применение таких определяющих правил. Стеллер(1999, личное общение) и Кёнкен (1999, личное общение) тоже выступают решительно против применения определяющих правил.

Вес критериев

Стеллер и Кёнкен (Steller & Kchnken, 1989) отмечали, что, возможно, некоторые критерии обладают большей ценностью для оценки истинности утверждения, нежели другие. Например, присутствие в утверждении точно воспроизведенных, но превратно истолкованных подробностей (критерий 10), скажем, когда ребенок рассказывает о сексуальных действиях взрослого, но считает, что тот просто чихает или испытывает боль, несомненно, имеет большее значение, чем то, что он говорит о совершившемся факте сексуального контакта (критерий 4). (Тем не менее критерий 10 примечателен тем, что его не слишком часто удается обнаружить в утверждениях свидетелей.)

Один из способов определить значимость каждого конкретного критерия КАУК заключается в том, чтобы провести лабораторное исследование и проанализировать те критерии, по которым между лжецами и людьми, говорящими правду, будут обнаружены существенные различия. Как я уже упоминал, чаще всего различия между этими категориями свидетелей обнаруживаются по таким критериям, как неструктурированное изложение информации (критерий 2), количество подробностей (критерий 3), контекстуальные вставки (критерий 4), описание взаимодействия (критерий 5), воспроизведение разговоров (критерий 6) и необычные подробности (критерий 8). Кёнкен (Kthnken, 1999, личное общение) подчеркивал факт существования фундаментальной проблемы, связанной с лабораторным использованием различительной ценности (между правдивыми и сфабрикованными утверждениями) каждого критерия в лабораторных условиях в качестве показателя его разделительной ценности при оценке в реальной жизни. По мнению Кёнкена, разделительная ценность критерия прочно связана с тем, какое именно событие подлежит оценке. В результате отдельные критерии приобретают огромное значение для оценивания случаев из реальной жизни, хотя в условиях лабораторных исследований они редко подтверждают свою исключительную значимость.

Принимая во внимание трудности, связанные с количеством применяемых критериев, исследователи, изучающие особенности применения процедуры КАУК, прибегают к различным методам, которые позволяют разделять утверждения на правдивые и ложные. В ходе некоторых исследований эксперты по процедуре КАУК проводили разделение по признаку правда-совпадение (см. табл. 5.4). Что же касается большинства других исследований, то хотя утверждения оценивали эксперты по КАУК, разделение их на правдивые и ложные выполнялось с помощью компьютерной программы статистического анализа. Главное отличие состоит в том, что, возможно, эксперты присваивали разным критериям разный вес, тогда как программа компьютерного анализа не располагает таким диапазоном возможностей. Таким образом, мы можем заключить, что классификация, предложенная экспертами, должно быть, отличалась более высокой точностью. Какой-нибудь один элемент утверждения (будь то неверно истолкованная подробность, необычная деталь, подробное описание запутанного эпизода взаимодействия и т. д.), мог сыграть решающую роль и убедить эксперта. При этом не исключено, что статистическая программа не придала бы этому критерию такого веса. Однако данные имеющихся на сегодня исследований не подтверждают точку зрения о том, что эффективность работы экспертов имеет первостепенный приоритет.

Как видно из табл. 5.4, коэффициенты попадания в исследованиях, где классифицированием утверждений занимались эксперты, сопоставимы с коэффициентами точности, установленными в ходе исследований, где разделение утверждений на правдивые и ложные авторы доверили компьютеру. Надежным способом установления разницы экспертных и компьютерно-аналитических решений в процессе принятия решений является сопоставление в рамках одного исследования классификаций, составленных каждой из сторон. Единственным экспериментом, в котором проводилось такое сравнение, было исследование Фрая, Кнеллера и Манна (Vrij, Kneller & Mann, в печати). Эксперты продемонстрировали более высокий уровень узнавания правды (коэффициент попадания составил 80 и 53 % у экспертов и у компьютера соответственно, см. табл. 5.4), тогда как компьютер оказался более успешным в определении лжи (коэффициент попадания составил 60 и 80 % у экспертов и у компьютера соответственно). Различия в коэффициентах попадания между экспертами и компьютерной программой подтверждают идею о том, что, вынося свой вердикт, эксперты руководствуются не только оценками по КАУК, но и используют ту или иную систему присваивания критериям различного веса. Впрочем, процесс присвоения веса в целом не повышает уровень попадания.

Влияние внешних факторов

Установить природу влияния на свидетельские показания каждого из критериев, представленных в Проверочном листе, чрезвычайно сложно, если вообще возможно. Например, стиль проведения интервью нередко определяет объем информации, которую сообщает свидетель в своем рассказе. Однако это вовсе не означает, что стиль проведения какого-то конкретного интервью непременно отразится на сообщениях того или иного свидетеля. Но даже если это и произойдет, впоследствии мы не сможем установить, в чем именно заключалось это влияние. Иными словами, точно определить влияние каждого конкретного фактора на рассказ свидетеля мы не в силах — мы можем только его оценить. Очевидно, что некоторые из предложенных нами оценок могут оказаться ошибочными. К тому же не исключено, что показания свидетелей подвержены влиянию каких-либо неизвестных нам покуда факторов, которые не были упомянуты в Проверочном листе.