Экспертная эмпирическая валидизация теста

Вводные замечания. В тех случаях, когда нет какого-либо валидизированного теста, измеряющего изучаемое свойство, а также нет теоретических разработок, позволяющих проверять конструктную валидность, прибегают к экспертным оценкам как критериям валидности. Экспертная эмпирическая валидизация теста предполагает оценку экспертами изучаемого свойства, поэтому в качестве экспертов привлекаются лица, хорошо знающие испытуемых и имеющие опыт реального общения с ними. В связи с этим процедура оценивания приспосабливается к обычным людям, не являющимся психологами. Для них составляется подробная инструкция, однозначно задающая смысл оцениваемой характеристики. Лучше всего, когда для валидизации теста используется группа тесно общающихся между собой испытуемых, которые могут одновременно являются и испытуемыми, и экспертами по отношению друг к другу. Для того чтобы экспертные оценки можно было использовать в качестве критерия валидности, они должны быть согласованными. Если эксперты дают разные оценки одним и тем же испытуемым, то либо оцениваемое свойство не проявилось у испытуемых, либо эксперты плохо поняли инструкцию.

В процедуре экспертной эмпирической валидизации теста показателем валидности теста выступает корреляция между суммами экспертных оценок испытуемых и сырыми суммарными баллами по проверяемому на валидность тесту.

Цель: оценить валидность первичной формы опросника для измерения экстраверсии–интроверсии, используя в качестве критерия валидности экспертные оценки.

Материал: оцениваемый опросник, калькулятор, таблицы математической статистики.

Ход работы

1. Отобрать группу экспертов, которые одновременно будут выступать в качестве испытуемых.

2. Составить для экспертов инструкцию, на основе которой они будут оценивать выраженность экстраверсии-интроверсии друг у друга.

Инструкция. Внимательно прочитайте описание типично экстравертированной и типично интровертированной личности и оцените степень выраженности экстра-интроверсии своих товарищей по следующей шкале:

7 баллов – ярко выраженный экстраверт

6 баллов – экстраверт

5 баллов – скорее экстраверт, чем интроверт

4 балла – трудно сказать

3 балла – скорее интроверт чем экстраверт

2 балла – интроверт

1 балл – ярко выраженный интроверт

3. Данные отдельных экспертов внести в сводную таблицу (см. табл. 29).

Таблица 29

Сводная таблица результатов экспертной оценки
и результатов тестирования

№ п/п	ФИО	Эксперты и их оценки	Сумма экс-перт-ных оценок Σэ	Сумма баллов по опрос-нику Σо
	∑

4. С помощью оцениваемого опросника измерить экстраверсию-интроверсию у каждого испытуемого, полученные результаты внести в таблицу как Σ_о.

Обработка результатов

1. Для каждого испытуемого вычислить сумму экспертных оценок и полученные значения внести в соответствующий столбик таблицы.

2. Вычислить дисперсию оценок s_J² по каждому эксперту, используя следующую формулу:

Аналогично вычисляются s²₃ = 2,21; s²₄ = 1,55; s²₅ = 0,84; s²₆ = 2,84; s²₇ = 1,93; s²₈ = 1,93.

3. Вычислить дисперсию всех оценок экспертов:

4. По формуле Кронбаха вычислить показатель согласованности экспертных оценок:

;

Где a - коэффициент Кронбаха; К – количество пунктов в опроснике; S²_j – дисперсия по j-му пункту теста; S²_x - дисперсия суммарных баллов по всему тесту.

Таким образом, экспертные оценки обладают достаточной надежностью и поэтому могут быть использованы в качестве критерия валидизации.

5. Вычислить эмпирическое значение коэффициента валидности, используя коэффициент ранговой корреляции Спирмена. Для проведения вычислений целесообразно использовать таблицу (см. табл. 30).

Таблица 30