Понятие надежности и достоверности. Типы надежности и порядок действий по проверке надежности

надежность – внутренняя согласованность частей теста и воспроизводимости результатов при повторном тестированиидостоверность – защищенность теста от влияния на результаты стремления испытуемого изменить их в желательную сторонуРазновидностей надежности теста так же много, как и условий, влияющих на результаты теста, поэтому любые такие условия могут оказаться посторонними по отношению к цели, и тогда обусловленная ими дисперсия должна войти в дисперсию ошибки. Однако практическое применение находит лишь несколько типов надежности. Поскольку все типы надежности отражают степень последовательности или согласованности двух независимо полученных серий показателей, то в качестве их меры может выступать коффециент корреляции. Hа практике используются три основных метода оценки надежности тестов:1) повторное тестирование;2) параллельное тестирование; 3) метод расщепления. Рассмотрим каждый из них в отдельности .Повторное тестирование Является одним из основных методов измерения надежности. Повторное тестирование выборки испытуемых проводится одним и тем же тестом через определенный интервал времени при одинаковых условиях. Повторное тестирование обычно называют ретестом, а надежность, измеренную таким способом, – ретестовой надежности. Метод повторного тестирования обладает как достоинствами, так и недостатками. К числу достоинств относятся естественность и простота определения коэффициента надежности. К недостаткам следует отнести неопределенность в выборе интервала между двумя измерениями. Возникновение временной неопределенности связано с тем, что повторное тестирование отличается от первичного. Параллельное тестирование В этом случае многократность измерения организуется с помощью параллельных, или эквивалентных, тестов. Параллельными называются тесты, которые с одинаковой ошибкой измеряют одно и то же свойство психики. В этом случае одни и те же лица выполняют несколько вариантов одного и того же теста или эквивалентные тесты. Как правило, практическое использование данного типа надежности связано со значительными затруднениями, поскольку крайне сложно построить несколько вариантов одного теста таким образом, чтобы испытуемый не мог обнаружить их психологическую однородность. Да и искажающее влияние тренировки в этом случае не полностью снято. Метод расщепления Он является развитием метода параллельного тестирования и базируется на допущении о параллельности не только отдельных форм теста, но и отдельных заданий внутри одного теста. Это одна из наиболее простых проверок теста, когда вычисляется коэффициент корреляции между его половинами. Каким же образом поделить тест на две половины, чтобы иметь возможность выровнять обе половины по тому или иному конкретному основанию? Чаще всего задачи теста делят на чет-нечет, что позволяет в какой-то мере устранить возможные недостатки. Главное достоинство этого типа надежности состоит в независимости результатов тестирования от таких элементов деятельности, как врабатывание, тренировка, практика, утомление и т.д. Наконец, существует тип надежности, непосредственно имеющий отношение к надежности лица, проводящего тестовое испытание. Оценка надежности лица, проводящего тест, получается с помощью независимого моделирования испытания двумя различными экспериментаторами.Надежность результатов тестирования зависит не только от надежности самого теста и процедуры его проведения. Важным фактором, влияющим на результаты интерпретации данных, является специфика конкретной выборки. Наиболее существенными характеристиками выборки, с этой точки зрения, следует признать социально-психологическую однородность по разным параметрам; учитываются также возраст и пол.Последовательность действий при проверке надежности А. Г. Шмелев предлагает провести следующим образом 1. Узнать, существуют ли данные о надежности теста, предлагаемого к использованию, на какой популяции и в какой диагностической ситуации проводилась проверка. Если проверки не было или признаки новой популяции и ситуаций явно специфичны, провести заново проверку надежности с учетом указанных ниже возможностей.2. Если позволяют возможности, то произвести повторное тестирование на всей выборке стандартизации и подсчитать все коэффициенты, приведенные как для целого теста, так и для отдельных пунктов. Анализ полученных коэффициентов поможет понять, насколько пренебрежима ошибка измерения. 3. Если возможности ограничены, произвести повторное тестирование только на части выборки (не менее 30 испытуемых), подсчитать вручную ранговую корреляцию для оценки внутренней согласованности (методом расщепления) и стабильности целого теста. Безусловно, рассмотренные понятия психодиагностики – ее важнейшие атрибуты. Однако высокие показатели надежности сами по себе не определяют практическую ценность теста. Ведущий фактор, который позволяет измерить целевые результаты психологического тестирования, – валидность.

12 Нормативные требования к психодиагностической литературе и методическим материалам

Разработчик и пользователь методик взаимодействуют между собой прежде всего посредством методической литературы. Стандартные требования к оформлению руководств, методических указаний, писем и другой методической литературы приняты в качестве директивных документов обществами психологов целого ряда стран. Целесообразно различать круг требований к документам разного типа1. Научные сообщения. Должны освещать: теоретические основания методики (концепт и методический прием), способ разработки и эмпирического обоснования, исследовательские данные о репрезентативности, надежности, валидности шкалы, тестовых показателей (коэффициенты корреляций, регрессионный и факторный вес). Для читателей в научном сообщении могут быть даны образцы, отдельные примеры тестовых заданий, позволяющие проиллюстрировать принципы, на которых построена методика. В научных сообщениях не должны освещаться: для методик с профессиональными ограничениями (П-методик) — полный текст заданий, ключи, тестовые нормы, детальные инструкции по проведению и интерпретации. Обо всей этой информации автор научного сообщения должен говорить лишь косвенно, используя ссылки на распространяемую с грифом «ДСП» инструктивную литературу. В научном сообщении могут быть приведены исчерпывающие описания методик, знание которых непрофессионалами (и их возможное применение непрофессионалами) не может принести ущерба конкретным людям или психодиагностическому потенциалу самой методики. Этот класс методик предлагается условно обозначать термином «открытые методики» (О-методики).Автор научного сообщения имеет право определить статус разработанной им методики как «открытой», но любые модификации или адаптации методики, уже определенной как «профессиональная» П-методика, должны освещаться в научных сообщениях в соответствии с указанными требованиями.Во избежание опасности невольного разглашения профессиональных тайн автор О-методики должен получить санкцию на опубликование своей методики у соответствующего экспертного совета.2. Справочно-методические издания. В этих изданиях могут быть приведены инструктивные материалы, включая текст заданий (вопросов), ключи, нормы, но при одном принципиальном условии — изданию придается статус «для научных библиотек», обеспечивающий ему распространение среди читателей, имеющих необходимую психологическую подготовку. Авторский коллектив такого издания лично отвечает перед Обществом психологов СССР за распространение тиража этого издания по назначению.3. Инструктивные документы. Содержат описание методики, обеспечивающее ее адекватное использование в точном соответствии со стандартами: предмет диагностики, сфера применения, контингент испытуемых, процедура применения Описание обязательно должно снабжаться подробными сведениями о процедуре разработки методики, полученных при этом сведениях о надежности и валидности. Приведенные тестовые нормы должны сопровождаться однозначным описанием выборки стандартизации и характера диагностической ситуации в обследовании: добровольное участие испытуемых, бескорыстно сотрудничающих с психологом в целях помощи исследованию («научное сотрудничество»), участие платных испытуемых («платное участие»), использование методики в ходе запроса испытуемого на получение консультативной помощи («ситуация клиента»), использование методики в ходе принудительного (сплошного) административного обследования («ситуации экспертизы»).Справочные издания и инструктивные материалы должны периодически (с определенным интервалом, зависящим от типа методики) пересматриваться, так как условия применения методик со временем неизбежно меняются, а следовательно, меняются и психометрические свойства.В справочных и инструктивных материалах должны быть однозначно сформулированы требования к профессиональному статусу пользователя методики.Инструктивные материалы должны пройти объективные испытания на однозначность указанных в них предписаний: пробная выборка пользователей методики (теста) должна прислать автору руководства копии протоколов по результатам обследования, на основании которых автор должен обеспечить идентичность стандартов авторского варианта методики и тех характеристик методики, которые выявляются при ее использовании пользователями. Последнее требование имеет принципиальное значение для методик, предполагающих значительное участие экспертной оценки (инструкции к контент-анализу, к интерпретации результатов проективной техники, полустандартизованного интервью и т.п.)Процедуры подсчета тестовых баллов и интерпретации должны быть также описаны с однозначной ясностью, позволяющей получать идентичные результаты при обработке одинаковых протоколов разными пользователями руководства.Предпочтительно включение и использование пользователями тестов локальных тестовых норм (по сравнению с неспециализированными по популяции).4. В популярных изданиях авторы-психологи не имеют права разглашать профессиональную тайну: описывать смысл диагностических приемов, знание которых испытуемыми существенно вредит валидности методики.Одной из важнейших обязанностей всех органов Общества психологов (президиума, координационных комиссий, экспертных советов, секций и т.п.) является контроль за деятельностью средств массовой информации в целях соблюдения профессиональных тайн психодиагностических методик.

13 Нормативные требования к психодиагностическим методикам

Целесообразно придерживаться разных требований к психодиагностическим методикам разного типа.1. Измерительные методики (тесты). Должны удовлетворять следующим требованиям: А. Должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт (концепт) должен быть сформулирован в теоретических понятиях и соотнесен на теоретическом уровне с системой релевантных концептов. Должна быть четко выделена область применения, под которой подразумевается особая социальная среда или сфера общественной практики (производство, медицина и т.п.), контингент испытуемых (пол, возраст, образование, профессиональный опыт, должностное положение). Должны быть конкретизированы цели использования результатов: для прогноза успешности профессиональной деятельности, для психологического вмешательства, для принятия правовых, судебно-административных решений, для прогноза стабильности коллектива и т.п.Б. Процедура проведения должна быть задана в виде однозначного алгоритма, пригодного для передачи лаборанту, не имеющему специальных психологических знаний, или ЭВМ, используемой для предъявления заданий и анализа ответов.В. Процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла . Выводы на основе тестового балла должны сопровождаться указанием на вероятностный уровень статистической достоверности этих выводов. Г. Тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность в заданной области применения. Другие разработчики и квалифицированные пользователи должны иметь возможность воспроизвести предпринятое стандартизационное исследование в своей области и выработать свои локальные стандарты.Д. Процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяющими автоматически отсеивать недостоверные протоколы. Головная методическая организация в данном ведомстве (области применения) должна вести банк данных, собранных с использованием теста и производить периодическую коррекцию всех стандартов методики.