Обработка результатов тестирования.
Руководство по проведению теста.
Для правильного проведения тестирования необходимо строго соблюдать инструкции, контролировать время выполнения субтестов (с помощью секундомера), не помогать испытуемым при выполнении заданий.
При групповом тестировании должны участвовать два экспериментатора. Один из них зачитывает инструкции и следит за временем тестирования, другой наблюдает за учащимися, предупреждая нарушение ими инструкций.
Время проведения субтестов.
| Субтест | Число заданий в субтесте | Время выполнения, мин |
| 1. Осведомленность 1 | ||
| 2. Осведомленность 2 | ||
| 3. Аналогии | ||
| 4. Классификации | ||
| 5. Обобщения | ||
| 6. Числовые ряды |
Перед проведением тестирования экспериментатор объясняет его цель и создает у испытуемых соответствующий настрой. Для этого он обращается к ним со следующими словами:
"Сейчас вам будут предложены задания, которые предназначены для того, чтобы выявить умения рассуждать, сравнивать предметы и явления окружающего мира, находить в них общее и различное. Эти задания отличаются от того, что вам приходится выполнять на уроках.
Для выполнения заданий понадобятся ручка и бланки, которые мы вам раздадим. Вы будете выполнять разные наборы заданий. Перед предъявлением каждого набора дается описание этого типа заданий и на примерах объясняется способ их решения.
На выполнение каждого набора заданий отводится ограниченное время. Начинать и заканчивать работу надо будет по нашей команде. Все задания следует решать строго по порядку. Не задерживайтесь слишком долго на одном задании. Старайтесь работать быстро и без ошибок!".
После прочтения этой инструкции экспериментатор раздает тестовые тетради и просит заполнить в них графы, в которые вносятся такие сведения: фамилия и имя учащегося, дата проведения эксперимента, класс и номер школы, где он учится. Проконтролировав правильность заполнения этих граф, экспериментатор предлагает учащимся отложить в сторону ручки и внимательно его выслушать. Затем он зачитывает инструкцию и разбирает примеры первого субтеста, далее спрашивает, есть ли вопросы. Чтобы условия тестирования были всегда одинаковыми, при ответах на вопросы экспериментатору следует просто вновь зачитать соответствующее место текста инструкции. После этого дается указание перевернуть страницу и начинать выполнять задания. При этом экспериментатор незаметно включает секундомер (чтобы не фиксировать на этом внимание и не создавать у них чувства напряженности).
По истечении времени, отведенного на выполнение первого субтеста, экспериментатор решительно прерывает работу испытуемых словом "стоп", предлагая им положить ручки, и начинает читать инструкцию к следующему субтесту.
В ходе проведения тестирования необходимо контролировать, правильно ли испытуемые переворачивают страницы и выполняют другие требования экспериментатора.
Обработка результатов тестирования.
Производится количественная и качественная обработка результатов. Возможен групповой и индивидуальный анализ данных.
Количественная обработка:
1) индивидуальные показатели по каждому набору заданий (за исключением субтеста 5) - балл по тесту и субтесту - выводятся путем подсчета количества правильно выполненных заданий. Пример: если испытуемый А в субтесте 3 правильно решил 13 заданий, то его балл по этому субтесту будет равен 13;
2) результаты субтеста 5 оцениваются в зависимости от качества обобщения 2 баллами, 1 баллом и 0. Для обработки следует использовать таблицы примерных ответов, даваемых в заданиях на обобщение. Ответы, оцениваемые 2 баллами, приведены в таблице достаточно полно. Только приведенные ответы, а также их синонимические замены можно оценивать 2 баллами.
Перечень ответов, оцениваемых 1 баллом, является менее полным, так как здесь у испытуемых гораздо больше возможностей для выбора. После логического анализа 1 баллом можно оценить ответы, отличающиеся от приведенных в таблице.
При этом следует иметь в виду, что 1 балл получают ответы, представляющие собой более широкие, по сравнению с правильными, категориальные обобщения, а также правильные, но наиболее узкие, чем необходимо, частные обобщения.
Неправильные ответы оцениваются 0. Примеры таких ответов приводятся в таблицах.
Максимальное количество баллов, которое может получить учащийся при выполнении субтеста 5, равно 38. Это число соответствует стопроцентному выполнению этого субтеста;
3) индивидуальным показателем выполнения теста в целом является сумма баллов, полученных при сложении результатов решения всех субтестов.
Позамыслу полный состав теста принимается за норматив умственного развития. С ним сравнивается число заданий, выполненных данным учащимся. Устанавливается процент выполнения заданий, и это определяет количественную сторону работы испытуемого. Имеется разработанная схема представления количественных результатов ШТУРа. (Психологическая коррекция умственного развития учащихся /Под ред. К.М.Гуревича, И.В.Дубровиной. - М, 1990. - С. 33-35; 115-117);
4) если предлагается сравнение групп испытуемых между собой, то групповыми показателями по каждому субтесту могут служить значения среднего арифметического.
Для анализа групповых данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как стопроцентное выполнение каждого субтеста, все испытуемые подразделяются по результатам тестирования на 5 подгрупп:
- первая - наиболее успешные - 10%;
- вторая - близкие к успешным - 20%;
- третья - средние по успешности - 40%;
- четвертая - малоуспешные - 20%; 1
- пятая-наименее успешные-10%.
Для каждой из подгрупп подсчитывается средний процент правильно выполненных заданий. Строится система координат, где по оси абсцисс идут номера подгрупп, по оси ординат - процент выполненных каждой из них заданий. После нанесения соответствующих точек вычерчивается график, отражающий приближение каждой из подгрупп к социально-психологическому нормативу.
Такой же вид обработки проводится и по результатам всего теста в целом. Полученные при этом графики позволяют дать наглядное сравнение успешности выполнения ШТУРа учащимися как одного, так и разных классов;
5) установлено, что с возрастом от 6 к 8-му классу увеличивается разрыв в умственном развитии между лучшими учащимися одной и той же выборки, лучшая часть учащихся быстрее (с возрастом) приближается к требованиям социально-психологического норматива, в то время как слабо выполняющие тест практически остаются на том же уровне. Этот факт должен учитываться школьными психологами: не следует ожидать, что отставание пройдет само собой; напротив, отставание может усилиться. Поэтому следовало бы интенсивнее заниматься с отстающими по тесту учащимися для скорейшего преодоления пробелов их умственного развития;
6) при анализе результатов отдельного учащегося глобальные оценки умственного развития типа "лучше", "хуже", "выше", "ниже", основанные на подсчете баллов, полученных им при выполнении теста, и в сравнении с группой (или нормой) мало что дают для понимания своеобразия умственного развития. Однако в качестве первого шага для получения самого общего впечатления об ученике можно рекомендовать подсчитать его общий балл. При этом следует иметь в виду, что общие баллы шестиклассника ниже 30, семиклассника ниже 40, восьми- девятиклассника ниже 45 рассматриваются как очень низкие и свидетельствуют о низком умственном развитии. Об относительно высоком умственном развитии говорят общие баллы выше 75 у шестиклассника, 90-у семиклассника и 100 - у восьмиклассника.
Ясно, что общий балл по тесту может объединить неодинаковые вклады каждого субтеста. Поэтому следующий этап анализа - выяснение количества баллов, полученных учащимися по каждому субтесту.
Количественная характеристика умственного развития учащихся подлежит дополнительно качественной, в которой дается психологическая интерпретация выполненных и невыполненных заданий.
Качественная обработка:
1) групповой анализ результатов субтестов 1 и 2 должен вскрыть уровень осведомленности учащихся в понятиях, относящихся к двум информационным сферам (общественно-политической и научно-культурной). Для этого следует подсчитать процентное выполнение соответствующих заданий по группе в целом;
2) качественный анализ субтестов 1 и 2 может идти по пути выявления критериальных заданий, т.е. тех заданий, в которых обнаруживаются наиболее резкие различия между сравниваемыми группами или подгруппами наиболее и наименее успешных внутри групп.
Таким образом, качественный анализ групповых результатов первых двух субтестов позволит дать характеристику группе учащихся в отношении наиболее и наименее освоенных понятий общего и основополагающего характера, которые способствуют расширению кругозора, формированию миропонимания.
По таким характеристикам возможно сравнение групп учащихся, отличающихся по условиям своего развития;
3) анализ качественной стороны субтеста 3 "Аналогии" проводится по следующим направлениям:
- выявление наиболее и наименее усвоенных областей содержания теста;
- выявление самого отработанного (легкого) и наиболее трудного типов логических связей из следующих заложенных в тест: вид - род, часть -целое, причина - следствие, порядок следования, противоположность, функциональные отношения; :
- выявление типичных ошибок при установлении логических связей;
характер типичных ошибок не только отразит предпочитаемые логические операции, но и поможет выявить недостатки, возможную односторонность, ограниченность в усвоении информации; так, например, имеются данные, что учащиеся 6-8 классов часто стремятся подбирать к предъявленному понятию такие, которые отражают его свойства и функции; гораздо реже в ответах встречаются понятия, имеющие более отдаленные или более глубокие связи с заданным; этот факт может свидетельствовать о тенденции к изучению характеристик отдельных объектов и явлений и о меньшем внимании к связям между предметами и явлениями.
Если имеются две или больше групп учащихся, то по каждому из названных показателей возможно их сравнение;
4) анализ качественной стороны субтеста 4 "Классификации" проводится по следующим направлениям:
- выявление наиболее и наименее усвоенных областей содержания теста;
- выявление типа заданий - с конкретными или абстрактными понятиями, который провоцирует большое количество ошибок;
5) анализ качественной стороны субтеста 5 "Обобщения" проводится по следующим направлениям:
- определение характера типичных обобщений - по конкретному, видовому, категориальным признакам;
- выявление типичных ошибок, а также содержания и характера понятий (абстрактные или конкретные), провоцируя эти ошибки;
6) индивидуальный качественный анализ проводится по той же схеме, что и групповой: - на основании результатов выполнения каждого субтеста и сравнения их между собой можно заключить, каким логическим действием учащийся владеет лучше, а каким хуже; какая из областей умственного развития - осведомленность в некоторых общих понятиях или сформированность операциональной стороны мышления - представлена у данного учащегося лучше, а какая хуже:
- по каждому субтесту можно установить, какая из областей содержания теста усвоена лучше, а какая хуже;
- каков характер типичных ошибок в каждом из субтестов;
7) предпочтительное выполнение заданий с определенным содержанием во всех субтестах, использующих понятия научно-учебных циклов, может свидетельствовать о преобладающих склонностях учащегося. Прямо делать вывод об определенной склонности нельзя, так как следует учитывать предшествующую подготовку учащегося, полученную вне школы, влияние педагога, участие его в факультативах и пр. Но, тем не менее, ШТУР создает возможность для анализа индивидуальных результатов по научно-учебным циклам. ;
Количественный и качественный анализ результатов ШТУРа дает возможность с разных сторон оценивать умственное развитие как отдельного ученика, так и группы учащихся. На основании замеченных недостатков в умственном развитии можно наметить конкретную схему коррекционной работы по их устранению.
В пособии для школьных психологов авторов К.М.Гуревича, М.К.Акимовой, Е.М.Борисовой и др. приведены основные принципы построения коррекционной программы, экспериментальная проверка коррекционных программ и процедура проведения коррекционных занятий, а также наборы заданий ШТУРа формы А и Б.