Технология тестового контроля

Планомерность, эффективность и результативность педагоги­ческого процесса достигаются разными средствами, одним из ко­торых служит педагогическая диагностика. Термин «диагностика» (от греч. (На — между, через и §пот — знание) имеет довольно длительную эволюцию. В античном мире диагностами называли людей, которые после сражения подсчитывали количество уби­тых. В эпоху Возрождения термин приобрел медицинское значе­ние, а в XX в. уже употреблялся в разных областях: философии, технике, психологии, педагогике. В общем смысле диагностика —

особый вид познания, результатом которого становится диагноз, т. е. заключение. В педагогике диагностика изменила свое содержа­ние. Педагогическая диагностика имеет направленность на:

- оптимизацию процесса индивидуального обучения;

- обеспечение правильного определения результатов обучения в интересах общества;

- сведение к минимуму ошибок при организации обучения.

Независимый характер диагностика достигает за счет несколь­ких функций: обратной связи, оценки результативности,; прогно­стической, коммуникативной, конструктивной, информационной, воспитательно-побуждающей, прогностической. В диагностике выделяют две разновидности методик. Так, клиническая методика дает информацию о процессе развития, обучения, воспитания ре­бенка, учащегося, студента путем устной информации, например бесед, наблюдений. Вторая методика — это стандартизированные методы, при которых поступающая информация получается на основе выполнения испытуемым однократного короткого зада­ния и выведения количественных показателей. Одним из основ­ных методов этой группы служат тесты.

Дидактические тесты (от англ. 1еМ — испытание, проба) — стандартизированное задание, соответствующее требованиям крат­кости и простоты, выполнение которого позволяет оценить некото­рые психофизиологические характеристики испытуемого, а также уровень его знаний, умений и навыков.

Дидактический тест — это одновременно и метод, и средство проверки результатов обучения, устанавливающей степень усвое­ния учебной информации учащимися.

Тестовая методика имеет свою довольно богатую историю. В ми­ровой педагогической практике принято выделять три этапа вне­дрения тестирования.

Первый этап — 1900—1915 гг. Период поисков. Тест воз­ник как метод измерения в 1890-х гг. благодаря английскому пси­хологу Д. Кэттел у. Признанным авторитетом в области тестирова­ния считается Э.Торндайк (1874—1949). В этот период происходит осознание и первоначальное внедрение психологических тестов памяти, восприятия, умственного развития, которые предложил французский психолог А. Бине. Делаются первые попытки созда­ния стандартизированных педагогических тестов.

Второй этап — 1916—1930гг. Бурное развитие тестирова­ния. Создается классическая теория тестирования на базе количе­ственного оценивания человеческих качеств Ф. Гальтона. Внедря­ются тесты О. Стоуна по арифметике, Б. Зекингема для проверки правописания, Т. Келли по измерению интересов и наклонностей обучаемых. В 1920—1930 гг. появляются самые распространенные «тесты с выбором». Особую популярность тестирование получает в США.

Третий этап — с 1931 г. по настоящее время. Совершен­ствование теории и практики тестирования происходит по следу­ющим направлениям:

- создание новых совершенных средств предъявления и обра­ботки тестов, накопления и эффективного использования диа­гностической информации;

- повышение объективности тестов;

- создание непрерывной (сквозной) системы диагностики с общими принципами;

- создание основы теории адаптивного обучения (Нет Кезрош Тпеогу).

В 1947 г. организуется американская служба ЕсшсаИоп Те81т§ Зегуюе, имеющая свыше 5 тысяч отделений во многих странах мира. Россия в начале XX в. безоговорочно приняла тестовую основу объективного контроля обучения. Тестирование интенсивно на­чинает вводиться в 1920-е гг., и связывают его разработку и при­менение с именами М. С. Бернштейна и П. П. Блонского. В 1927 г. на первой Всесоюзной педагогической конференции руководи­тель центральной педагогической лаборатории Е. В. Гурьянов вы­сказался о положительной роли тестов. Они начали интенсивно внедряться в педагогическую и психологическую практику, но после постановления ЦК ВКП(б) 1936 г. «О педологических из­вращениях в системе наркомпроса» были отвергнуты не только психологические тесты, но и тесты успеваемости.

Вопрос об использовании тестовой методики проверки зна­ний был заново поднят в 1960-е гг. В области дошкольной дидак­тики ее связывают с именем Л. А. Венгера, который одним из пер­вых после длительного застоя предложил систему диагностики умственного развития ребенка дошкольного возраста при подго­товке к школе. На современном этапе тестовый контроль доволь­но широко используется в психолого-педагогической практике. Педагоги в своих разработках ориентируются на работы В. С. Ава-несова, польского дидакта В. Оконь и др.

Тест служит одним из методов педагогической диагностики, поскольку он позволяет педагогу максимально сопоставимо изме­рить и интерпретировать результаты обучения с большей долей объективности с целью использования результатов измерений в педагогической практике.

Выделим достоинства тестирования, которые важны для пре­подавателя и его студентов.

Во-первых, для преподавателя систематический тестовый контроль довольно прост и надежен по системе организационных мероприятий его проведения:

- если есть возможность использования технических средств и устройств для тестового контроля, то преподаватель фактически освобождается от проведения самого контроля;

- разработанные тесты можно использовать в течение несколь­ких лет;

- если тестовые задания даются методом безмашинного про­граммирования, то участие преподавателя выражается в оглаше­нии цели тестирования, общей инструкции по выполнению за­даний;

- объективная оценка выставляется путем простого подсчета количества правильных ответов;

- у преподавателя есть эталоны правильных ответов, которые могут быть преподнесены студентам разными способами, дающи­ми возможность строго фиксировать результаты контроля, а затем их анализировать;

при проверке тестов обеспечивается оперативность проверки выполненного задания за счет четкого алгоритма статистической обработки результатов контроля;

- наблюдается значительная экономия времени преподавате­ля, поскольку время, отведенное на контроль, определяется не числом студентов, а количеством контрольных вопросов.

В о-в т о р ы х, тестовый контроль позволяет:

- оценить студентов с определенной долей объективности по определенным критериям, так как все студенты равны в условиях проведения работы и оценки ее результатов;

- установить относительно реальную картину качества усвое­ния студентами теоретического и практического материала;

- выявить динамику развития предметных, общеинтеллекту­альных, профессиональных умений студентов;

- сохранить познавательную активность студентов на всем про­тяжении времени, отведенного для контрольной проверки;

- быстро диагностировать за относительно короткое время боль­шое количество студентов и большой объем изученного материала;

В-третьих, грамотно проведенный, постоянно осуществляе­мый тестовый контроль заставляет преподавателя вовремя коррек­тировать учебные программы, в целом процесс обучения с конк­ретным контингентом студентов. В качестве метода и средства педа­гогической диагностики тест рассматривается как некоторый «из­мерительный прибор», отвечающий следующим требованиям:

а) надежности, т.е. в сходных условиях он показывает те же результаты неоднократно;

б) валидности, т. е. обнаруживает и измеряет уровень усвоения именно тех знаний, которые хочет измерить разработчик теста;

в) объективности, т. е. обеспечивает независимость проверки и оценки знаний от личности преподавателя.

Для студентов тестовый контроль удобен тем, что:

- любые тестовые задания, независимо от их количества, сту­дент выполняет строго индивидуально, с учетом собственных воз­можностей;

- в тесте внимание студента фиксируется не на составлении ответа, а на обдумывании его существа;

- тест предусматривает конкретные задания, способы их вы­полнения, а также однозначность оценки ответа;

- тест позволяет сэкономить личное время студентов, затра­ченное на опрос;

- решение тестовых заданий дает возможность предваритель­ного самоконтроля с целью самооценки достигнутого уровня зна­ний;

- тест создает для студента определенный психологический комфорт, так как строится на конкретном алгоритме заданных действий, задания с выбором дают возможность студенту утвер­диться в своих знаниях;

- в определенной степени тест есть одно из средств приобрете­ния студентом навыков культуры умственного труда.

К недостаткам тестирования можно отнести следующие мо­менты.

В о-п е р в ы х, погрешность в оценивании результатов тестиро­вания:

- проверке в тесте подвергаются только результаты действий;

- категоричность оценки выполнения тестового задания, когда задание оценивается положительно, если выполнено правильно, или отрицательно, если не выполнено;

- возможность оценки главным образом знания и в меньшей степени умения слушателя решать практические и организацион­ные вопросы;

- невозможность оценить сам процесс формирования ответа;

- зависимость оценки знаний от уровня трудности заданий;

- один инструмент оценивает разное знание студентов. В о-в т о р ы х, невозможность учета так называемого личност­ного фактора, необходимого при осуществлении контроля:

- у преподавателя нет возможности проследить развитие логи­ки рассуждений;

- отсутствие «обратной связи» с преподавателем в ходе выпол­нения контрольного задания, если в процессе контроля не ис­пользуются технические средства;

- стандартизация мышления без учета свойств личности;

- предложение студенту упрощенной учебно-познавательной задачи в виде конкретного выбора вместо самостоятельного фор­мулирования полного и исчерпывающего ответа на поставленный вопрос.

В-третьих, затруднения, связанные с самой процедурой от­вета студентов:

- большая вероятность выбора ответа наугад;

- «формализованный» характер выборочного ответа;

- неизбежность подсказки при альтернативном ответе;

- правильный ответ из числа готовых;

- возможность запомнить ложный или неточный ответ.

В педагогическом тестировании существуют два подхода.

Нормативно-ориентированный подход направлен на сравнива­ние индивидуального результата отдельного студента с результа­тами других. В основу такого подхода положено сравнение инди­видуальных результатов со среднегрупповыми; учебных достиже­ний отдельных студентов с дальнейшим ранжированием студен­тов по успеваемости; достижений учебных групп и учебных заве­дений.

Критериально-ориентированный подход нацелен на сопоставле­ние индивидуальных результатов тестирования с общим объемом знаний, который подлежит усвоению на определенном этапе обу­чения; на диагностику трудностей в обучении; выбор дальнейшей стратегии обучения; аттестацию образовательных учреждений в соответствии с существующим стандартом; сопоставление уровня достижений отдельных учащихся с требованиями Государствен­ного образовательного стандарта.

Вопрос классификации тестов представляет определенную сложность.

I. Если критерием считать область исследования, то тесты под­разделяются на следующие виды:

1) тесты достижений — тесты развития, интеллекта, общей результативности, школьной успеваемости, профессиональной пригодности;

2) психометрические личностные тесты — на интересы, уста­новки, личностные структурные тесты.

II. По назначению тесты можно разделить на психологические, педагогические, диагностические, несущие профессиографичес-кие и прогностические функции.

III. В педагогике тесты классифицируются следующим образом:

1) тесты школьной успеваемости;

2) комбинированные тесты школьной успеваемости и профес­сиональной пригодности;

3) тесты, определяющие уровень развития ребенка и его го­товность к школе;

4) тесты интеллекта и профессиональной пригодности;

5) тесты на внимание и умение концентрироваться;

6) социальные тесты.

IV. С точки зрения структуры и содержания тесты бывают:

1) гомогенные, если они составлены по материалам одной учеб­ной дисциплины и в частности по ее отдельному разделу, теме;

2) гетерогенные, если они составлены для измерения уровня подготовленности студентов по нескольким дисциплинам. Этот вид теста используется для комплексной проверки в период атте­стационных мероприятий образовательного учреждения;

3) интегративные, если они нацелены на диагностику подго­товленности выпускника образовательного учреждения, в част­ности молодого специалиста средней и высшей профессиональ­ной школы. Особенность этих тестов заключается в том, что пра­вильные ответы строятся на синтезированных знаниях по несколь­ким учебным дисциплинам одновременно;

4) адаптивные, если задания даются испытуемому с учетом ответа на предыдущее задание.

V. Формально тесты могут быть классифицированы в две боль­шие группы:

1) по целевым, функциональным, содержательным призна­кам они бывают: по цели применения — констатирующие, ди­агностические, прогностические; по виду контроля — тесты теку­щего, рубежного, итогового контроля; по статусу контролирую­щей программы — стандартизированные, нестандартизированные. В зависимости от формы проведения, целей и содержания тесто­вого контроля выделяют тесты индивидуальные/групповые, уст­ные/письменные, бланковые (условно называемые как тест «ка­рандаш—бумага») и предметные, в которых используются ри­сунки, карточки и карандаш, бумага;

2) по формальным признакам тесты различаются: по объекту контроля — языковые, коммуникативные; по направленности те­стовых заданий — дискретные, комплексные; по характеру зада­ний — тесты на скорость или на сложность выполнения и т.д.

VI. Отдельно следует выделить так называемые тесты «школь­ной успеваемости». Различают три вида (по Кюффнеру) методов тестирования, фиксирующих успеваемость: в целом при заверше­нии какого-либо периода обучения; в обширных сегментах целей; на каком-либо отрезке учебного занятия.

Все перечисленные выше классификации тестов имеют конк­ретные виды тестовых заданий. Все существующие на сегодняш­ний день разновидности заданий являются своеобразной интер­претацией трех классов тестовых заданий Рюттера, который счи­тал, что микроструктуру тестового задания можно представить как вопрос, который предполагает какой-либо ответ и несет какую-либо информацию.

Например:

В книге «Сердце отдаю детям» В. А. Сухомлинский пишет: «В сумерках особенно большую радость приносило детям слу­шание сказочной музыки. Я рассказывал ребятам украин­скую народную сказку о Бабе Яге, а потом мы слушали ска­зочную музыку П.Чайковского...»

Какой метод в музыкальном воспитании Сухомлинский счи­тал главным?

Инфор­мацион­ное поле

Поле вопроса

1. Образный рассказ

2. Художественное слово

3. Беседа

4. Наблюдение

Поле ответа

I. В зависимости от оформления поля ответов тестовые задания бывают следующие.

Открытые, где ответ не задан ни тестируемому, ни обработчи­ку теста. Пример данного теста — составление рисунков, схем.

Такие задания разделяются на следующие виды:

- открытые задания по формообразованию;

- открытые задания на интерпретацию;

- открытые задания на ассоциацию.

Полузакрытые, где ответ известен только обработчику. Они раз­деляются на следующие виды:

- со свободным ответом;

- ассоциативные задания;

- задания на дополнение;

- задания на подстановку;

- задания на построение;

- задания на изменение структуры.

Закрытые, где ответ задан как тестируемому, так и обработчи­ку. Эти тесты имеют такие задания, как:

- задания на интерпретацию;

- альтернативные задания, задания с выбором ответа;

- выбор на основе ассоциаций;

- выбор на основе дополнения, на основе подстановки, на ос­нове расширения;

- задания на установление связи, на перестановку, на репре­зентацию.

II. Для практических целей достаточно разграничить свобод­ную форму, предполагающую выбор ответа из нескольких пред­ложенных. Поэтому тестовые задания можно классифицировать следующим образом.

Свободная форма ответа:

- тесты с пропусками. Пропущенные в предложении слова или части предложения должны быть восстановлены, после того как понята вся часть теста;

- задания на дополнение, предполагающие некоторое допол­нение в рисунках, схемах;

- задания с кратким ответом, которые могут быть сформули­рованы вербально или графически;

- микросочинения. Цель таких заданий — выработка умения излагать мысли предельно кратко в одно-два предложения по типу вопрос—ответ.

Формы, предполагающие выбор ответа:

- задания на установление связи, соответствия между кем/чем-либо;

- задания на альтернативные формы. Здесь предполагаются всего два ответа, обозначающие заданную информацию как истинную или ложную. Поэтому ответ состоит в выборе «правильно/непра­вильно», «да/нет»;

- задания на выбор ответа. Чаще всего предлагается выбор од­ного ответа из 4 или 5 предложенных.

Следует отметить, что тестирование осуществляется не только с помощью стандартизированных тестов, разработанных специа-листами-тестологами. В учебной практике каждому педагогу при­ходится обращаться к тестам как методу педагогического контро­ля и разрабатывать их самостоятельно. Поэтому следует выделить основные подходы в технологии разработки тестов.

Проектирование дидактических тестов включает три стадии.

Стадия 1. Подготовительное планирование фик­сирует внимание разработчика на трех последовательных момен­тах.

Во-первых, нужно определить цели исследования. Они могут быть направлены на объективную оценку объема знаний студентов, выявление структуры усвоения знаний у студентов или системы полного усвоения знаний, адекватность выбора профессии (на­пример, абитуриентами педагогических колледжей и вузов), а могут быть более локальными. Например, необходимо провести отбор студентов с низкой успеваемостью для дополнительных занятий или предварительно установить уровень успеваемости разных учеб­ных курсов. При разработке теста принимаются во внимание оп­ределенные критерии в зависимости от общепринятой таксико-мании целей:

1) знание фактов и взаимозависимости между ними;

2) решение теоретических и практических проблем;

3) самостоятельная оценка;

4) самостоятельное применение знаний в новой ситуации.

Цели позволяют преподавателю ответить на вопрос, что явля­ется главным при ответе испытуемого — умение мыслить или за­поминать, и показывают, каковы значение теста и его дидакти­ческая корректность.

Во-вторых, продумывается механизм проведения тестирования, как оно будет организовано — индивидуально, по подгруппам или со всеми студентам одновременно. Обычно тестирование про­водится групповым методом, индивидуальные тесты даются толь­ко в тех случаях, когда нет возможности измерить уровень каче­ства усвоения материала в условиях групповой проверки.

Также устанавливается, каким способом будет осуществляться тестирование — в виде компьютерной программы, методом без-

машинного программирования, непосредственной записью отве­тов на вопрос разработчика.

Если тест дается в устной форме, то важно соблюдать следую­щую методику: текст заданий читается преподавателем внятно, четко, дважды повторяется каждый вопрос, указывается, какой вариант читает и из каких ответов надо выбрать правильный. По­сле первого прочтения тест читается еще раз, но в более быстром темпе, затем дается время на размышление, определение пра­вильных ответов, и готовые работы сдаются на проверку. После этого преподаватель снова зачитывает весь тест, но с указанием правильных ответов. Обычно такая методика используется при те­кущем контроле, так как данная процедура занимает довольно много учебного времени (до 20 минут).

Определяется, как будет проходить обработка теста — собствен­ными силами разработчика или другим лицом, и на что следует опираться при обработке результатов теста — на правильные ре­шения, на допущенные ошибки или на то и другое сразу.

Выписывается инструкция для пользователей, которая может быть дана отдельно преподавателям, проводящим тестирование, и отдельно студентам, в ней участвующим.

В-третьих, составляется спецификация теста.

Спецификация (от лат. зресгез — вид, разновидность, /асеге — делать) — перечисление подробностей, на которые надо обратить

внимание.

В спецификации указывается название, для какого вида кон­троля используется тест. Прописываются общая цель и задачи, решаемые при применении теста. Определяется перечень разде­лов или тем учебной дисциплины, на основе которых даются задания, общее количество заданий, их виды и количественное соотношение внутри теста, указывается число заданий по конк­ретной задаче обучения. Предоставляется ключ к тесту, т. е. эта­лоны правильных ответов. Фиксируются критерии оценки зна­ний студентов, даются методы статистической обработки полу­ченных результатов, примеры инструкций к заданиям. В специ­фикации теста могут быть указаны возможные ошибки, которые возникают у тестируемых в процессе решения тестовых заданий. Фактически в спецификации отражаются основные характери­стики теста: содержание, форма, язык, трудность, валидность,

надежность.

Стадия 2. Содержательный (куррикулярный) анализ. Анализу подвергаются учебные планы и учебники. По­скольку тесты «школьной успеваемости» направлены на соотно­сительную группу, то ориентация делается на наиболее значимые и глобальные цели, например, не столько на выявление знаний, сколько прежде всего на умение учащихся понимать, обдумы­вать, восстанавливать в памяти, т.е. применять полученные зна-

93.5К)

ния на практике. В этом виде анализа педагог ориентируется толь­ко на те цели, которые он выбрал для своего предмета.

Стадия 3. Конструирование заданий. При переходе к рассмотрению этой стадии работы в процедуре составления те­ста, следует уточнить, что педагогический (дидактический) тест представляет собой систему заданий возрастающей трудности и специфической формы, позволяющих объективно оценивать уро­вень и структуру знаний студентов. В связи с этим рассмотрим сначала особенности наиболее часто встречающихся видов тесто­вых заданий, затем остановимся на общих требованиях к содер­жанию при построении теста, а потом определим ряд организа­ционных моментов, которые должен учесть преподаватель при ком­поновке теста.

I. Особенности разных видов тестовых заданий.

Педагогические задания, используемые при конструировании тестов, можно разделить на три вида:

1) тестовые — это традиционные задания с выбором, откры­той формы, на установление соответствия, правильную последо­вательность;

2) псевдотестовые — цепные, тематические и др., возникшие как разновидность контрольного материала. По своей сути они не отвечают требованиям математической теории тестов, поскольку в них нарушен принцип статистической независимости тестовых заданий, но довольно часто применяются во время итоговой про­верки знаний;

3) нетестовые — это задания в виде дидактических ребусов, кроссвордов, задач, которые применяются чаще всего самостоя­тельно, а в тест могут включаться эпизодически и очень редко.

Задания с выбором — самые распространенные, так как весьма удобны в восприятии; в них легче найти правильный ответ, чем сформулировать; содержание задания легко перекладывается на программы ЭВМ. При всей своей внешней легкости данный вид задания требует от студента системных и глубоких знаний, иначе неправильные ответы кажутся более правдоподобными, чем не­верные, а такое заблуждение приводит к снижению оценки.

Существует несколько разновидностей заданий с выбором:

- задания, построенные в форме вопроса, требующего одно­значного ответа «да/нет», «верно/неверно»;

- задания с выбором одного правильного ответа из двух, трех, четырех, пяти ответов;

- задания с выбором нескольких правильных ответов.

При композиционном построении этих заданий учитывается несколько принципов.

Принцип противоречия. Ответы подбираются таким образом, что второй отрицает первый: «записывается/не записывается», «изоб­ражается/не изображается», «подчиняется/не подчиняется»...

Принцип противоположности ответов. Пример: «открыты/ за­крыты», «возрастает/убывает», «вверх/вниз»...

Принцип однородности позволяет при формулировании ответов отображать основные стороны явления, например: «Основным элементом (указывается педагогическое явление, закон, теория...) является...», а далее идут перечисления, характеризующие данное явление.

Принцип кумуляции означает, что содержание второго ответа вбирает в себя содержание первого, содержание третьего — вто­рого и т.д.

Пример. Толерантным называется отношение:

а) рефлексивное;

б) рефлексивное и симметричное;

в) рефлексивное, симметричное и транзитивное¹.

Принцип сочетания предполагает, что в каждом ответе могут сочетаться два, три, иногда четыре слова.

Пример: Ф. Шуберт писал музыку:

а) органную и симфоническую;

б) симфоническую и фортепианную².

Принцип градуирования означает, что в ответах неправильные варианты оказываются неверными в разной степени. Один — про­сто неправильный, второй — совершенно неправильный и про­тивоположный правильному ответу.

Принцип удвоенного противопоставления заключается в том, что ответы построены с использованием сочетаний.

Пример: Социальная информация:

а) идеальна по форме и содержанию;

б) материальна по форме и содержанию;

в) идеальна по форме и материальна по содержанию;

г) материальна по форме и идеальна по содержанию³.

Перечисленные принципы реализуются через инструкцию «Об­ведите кружком номер наиболее правильного ответа».

При разработке всех заданий с выбором преподаватель учиты­вает формулировку инструкции, содержания, ответов, количе­ство ответов, определяет способы выставления оценок.

Инструкция в заданиях с выбором бывает трех видов:

1) «обведите кружком номер правильного ответа», «Подчерк­ните номер правильного ответа», если используется ЭВМ — «От­вечая на вопрос (задание), нажмите на клавишу с номером пра-

¹ См.: Аванесов В. С. Композиция тестовых заданий. — М., 1998. — С. 28.

² См.: Там же. — С. 31.

³ См.: Там же. — С. 36.

вильного ответа». Такая инструкция содержится в заданиях с вы­бором одного правильного ответа;

2) «обведите кружком номер наиболее правильного ответа» — эта инструкция реализует принцип формулирования заданий с отве­тами, правильными в различной мере;

3) «обведите кружком номера всех правильных ответов», если предлагаются задания с выбором нескольких правильных ответов.

При формулировке содержания задания учитываются следую­щие условия:

- задания формулируются с использованием слов в превосход­ной степени — «самый», «наибольший», «наименьший», «наи­лучший», которые ставятся в начале предложения для усиления значения;

- общее количество слов в задании — от 5 до 7, но может быть и только одно. Например, «Тест — это...», далее формулируются ответы;

- для того, чтобы уйти от громоздкости теста, следует оптими­зировать количество ответов от 2 — 3 до 5;

- короткие задания требуют и коротких, лаконичных ответов;

- в условиях дефицита времени, отведенного на решение тес­тового задания, особую значимость приобретает шрифтовое оформ­ление. Шрифт задания и шрифт ответов должны отличаться друг от друга.

Оценка выставляется за правильно выполненное задание. При­нято: за правильный ответ — 1 балл, за неправильный — 0. Сум­марное число правильных ответов называется «тестовым баллом испытуемого» и выражает уровень знаний студента.

Задания открытой формы.

1. Проверяются знания названий, фактов, свойств, дат, при­чинно-следственных связей.

2. Формулировка имеет вид утверждения.

3. Утверждения делаются как можно более короткими.

4. Вместо ответов в задании ставится прочерк. Лучше, если про­черк будет ставиться в конце утверждения или ближе к его концу.

5. Нужно добавлять как можно меньше слов, так как чем боль­ше пропусков, тем меньше улавливается смысл и возникают ошиб­ки общего понимания.

6. Инструкция начинается словами «Дополнить (дописать) не­достающее...».

7. Тестируемый должен сам дописать ответ, который говорит о его знании или незнании.

8. Оценка выставляется традиционно — по баллу за каждый правильный ответ. Если в задании два пропуска, то оценка ста­вится так:

- правильно дополняются два слова — 2 балла;

- правильное первое слово, а второе неправильное — 1 балл;

- правильное второе, а неправильно — первое — 1 балл;

- неправильно проставлены два ответа — 0 баллов. Задания на установление соответствия.

1. Проверяются ассоциативные знания, т.е. знания о взаимо­связи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении различных свойств, законов, дат.

2. В заданиях нужно установить соответствие между элемента­ми одного столбца и элементами другого. Например, в левом столбце записываются фамилии писателей, композиторов, пе­дагогов, а в правом — их произведения, концепции. Элементы левого столбца (фамилии, направления и т.д.) — это постоян­ные данные — константы. Элементы правого — переменные, по­скольку служат ответом: нужно из всех предложенных ответов найти правильный.

3. Названия столбцов должны быть краткими, читаемыми и понятными с первых слов.

4. Строка ответов пишется посередине задания.

5. Обычно названия столбцов выделяются. Левый столбец обо­значается цифрами, а правый — буквами.

6. Число элементов в правом столбце, т. е. ответов, в два раза больше, чем в левом, — чтобы при выборе ответа студенты не могли использовать метод последовательного исключения.

7. Инструкция указывает способ действия: «Установить соот­ветствие...», «Установить соответствие между...».

8. Сложные в решении — «матричные задания», которые пред­полагают установление соответствия трех и более элементов.

9. Результат оценивается несколькими способами:

а) 1 балл дается за правильное выполнение всего задания; если допущена ошибка — за все задание ставится 0 баллов;

б) можно оценивать в 1 балл каждое правильно установленное соответствие, при этом тестируемый может набрать сразу несколько баллов;

в) за все правильные ответы выставляется 2 балла, за одну ошибку — 1 балл, за две и более — 0.

10. Если данный вид задания используется в тесте наряду с другими видами заданий, то оценивается он традиционно: за пра­вильный ответ — 1 балл.

Задания на установление правильной последовательности.

1. Преследуют цель формирования алгоритмического мышления.

2. Устанавливают последовательность исторических событий, технологических действий и операций, процессов, цепочки ум­ственных действий.

3. Ключевое слово в названии задания пишется в именитель­ном падеже. Например, «Последовательность операций мозгового штурма...» и далее указываются этапы генерализации идей.

4. Для ответа нужно поставить цифры рангов в прямоугольни­ках, стоящих слева перед каждым элементом задания.

5. Элементы ответов ставятся в случайном порядке, чтобы ис­ключить намек на правильный порядок.

6. Чтобы тестируемый, не зная, не смог угадать правильный ответ, окончания всех слов, так же как и название задания, пи­шется в именительном падеже.

7. В инструкции указывается: «Установить правильную последо­вательность...».

8. Оценка традиционная — по системе «1/0», так как неправиль­ный первый ответ влечет за собой остальные неправильные ответы. Однако можно оценить задания 3 баллами, где на 1 балл снижается оценка, если ошибка допущена в конце ранжирования, на 2 — если в середине, на 3 — в самом выполнения задания.

Цепные задания предполагают, что правильность последующе­го ответа зависит от ответа на предыдущий вопрос, поскольку основу этого вида задания составляет принцип содержательной зависимости ответов.

Тематические задания включают в себя разные формы тестовых заданий, объединенных одной темой. Преподаватель сам опреде­ляет и их количество, и последовательность, и способы оценива­ния.

Компьютерный тест представляется в виде специальной ком­пьютерной программы, в которой зафиксирована как презента­ция тестовых материалов, так и их обработка в виде анализа и оценки ответов. В компьютеризованный тест входят все имеющие­ся виды заданий. Часто они выполняются на основании теста «кло-уз», когда по ходу выполнения заданий, по результатам первых 5 —10 из них, компьютер позволяет перейти тестируемому на бо­лее сложный или, наоборот, более легкий вариант. Из-за послед­ней особенности такой компьютерный тест называют еще адап­тированным.

П. Общие требования к содержанию тестовых заданий при ком­поновке теста.

1. По форме построения все тестовые задания:

- должны соблюдать однозначность и правильность решения, достигаемую за счет отсутствия двусмысленных формулировок;

-должны соблюдать одинаковые правила оценки ответов, т.е. все тестируемые поставлены в равные условия для решения теста;

-должны быть функционально валидными, т.е. соответство­вать выявляемому уровню;

-должны быть содержательно валидными, т.е. включать только те задания, которые изучались и являются системообразующими; располагать задания по степени возрастания трудности;

- должны соблюдать логическую форму высказывания, пред­полагающую отсутствие тяжеловесных конструкций, компактность

формулировки тестового утверждения в форме истинного или лож­ного высказывания;

- должны быть краткими, позволяющими минимумом средств добиться ясности смысла содержания задания: тщательный под­бор слов, символов, графиков и т.д.;

- должны иметь четкую, компактную, доступную понима­нию инструкцию, которая на протяжении всего времени, отве­денного на решение теста, должна быть перед глазами испыту­емого;

- должны соблюдать правила построения ответов. Ответы в те­сте могут предлагаться в разных вариантах: выборочные, формуль-ные, числовые, текстовые, графические. Они должны следовать принципу «исключенного третьего», когда не допускаются фор­мулировки типа «все ответы правильные», «правильного ответа нет» и т.д., включать правдоподобные ответы при требовании вы­брать правильный ответ.

Требуемый ответ из числа предложенных к заданию кодирует­ся в виде цифр или букв.

2. Содержание в тестовом задании должно отвечать следующим

условиям:

- репрезентативности, т. е. как можно более полно отражать зна­ние студентами учебной дисциплины;

- научной достоверности, т.е. отражать знание студентами со­временных концепций, теорий, технологий, взглядов на психо­лого-педагогические явления;

- соблюдению «предметной чистоты», т. е. чем меньше в тесте заданий, включающих в себя междисциплинарные элементы, тем чище содержание дисциплины.

3. При конструировании теста учитывается степень трудности

задания:

- задания должны быть разной трудности. В тесте есть одно-два задания, которые не может сделать никто, одно-два задания, ко­торые должны выполнить все. 60 —70 % составляют задания сред­ней трудности;

- учитывается дифференцирующая способность задания, когда зна­ющие студенты должны выполнить задание, не знающие — не в состоянии его выполнить;

- соблюдается локальная независимость заданий, т. е. выполне­ние заданий не зависит от результатов выполнения других форм

работы;

- реализуется принцип информативности заданий, который пред­полагает, что каждое задание выполняет информационную функ­цию;

- должна быть коррелируемость задания с критерием. Во время компоновки тестовых заданий в единое целое их можно расположить: по степени возрастания трудности; по спирали — от

самых легких по всем темам до самых трудных по всем темам; в специальном порядке в соответствии с теорией.

Степень сложности задания выводится по следующей фор­муле:

Р =

Количество тестируемых, правильно решивших задание

Количество тестируемых, выполняющих задание

х!00%.

III. При составлении теста должны соблюдаться следующие организационные требования.

1. Разработчик определяет, какой тип заданий лучше всего со­ответствует цели, содержанию и условиям тестирования. Разра­ботчик решает также, можно ли ограничиться одним видом зада­ния или следует представить несколько.

2. Разработчик осуществляет конструирование заданий в соот­ветствии с определенным уровнем. Тесты первого уровня — тесты на опознание, классификацию, соответствие. Тестируемые выпол­няют действия при помощи состава компонентов теста, в кото­рых, по сути, заложена некоторая подсказка. Тесты второго уров­ня направлены на выявление умения воспроизводить информа­цию по памяти для решения типовых задач. К этому уровню мож­но отнести задания на подстановку, конструктивные задания. Те­сты третьего уровня имеют целью выявление сформированности умения преобразовывать действия в соответствии с ситуацией за­дачи, при этом задача является нетиповой, т.е. такой, в которой отсутствует буквальный, усвоенный алгоритм действия. Тесты тре­тьего уровня носят эвристический характер. Четвертый уровень тестов направлен на определение исследовательских возможно­стей учащегося. Основу таких тестов составляют задания-пробле­мы, в которых алгоритм решения неизвестен и не может быть получен только с помощью преобразования известных методик, как это можно сделать в тестах третьего уровня. В этих тестах отсут­ствуют готовые эталоны ответов, о качестве их выполнения судит группа независимых и компетентных экспертов.

3. Разработчик определяет, какие дополнительные средства мо­жет использовать учащийся при ответе. Например, карты, слова­ри, таблицы.

4. Разработчик фиксирует свое внимание на средствах обработ­ки полученных данных.

5. Автор теста составляет на 50, а иногда и на 100 % заданий больше, чем того требует окончательная форма теста, так как толь­ко часть из разработанных заданий пройдет выборку.

6. Автор устанавливает фактическое время выполнения теста. При этом внимание обращается на то, что решение тестовых за-

даний требует определенного напряжения, а заниженный темп работы приводит к списыванию, подсказкам, «коллегиальному решению». Обычно время устанавливается от 15 до 30 минут, все зависит от объема материала.

7. Выбор формы задания зависит от цели создания теста; содер­жания учебной дисциплины в целом и конкретно отдельного раз­дела, темы; технологических умений разработчика теста.

8. Согласно классической теории тестов, основу которой со­ставляют законы корреляции, главными критериями качества те­стов считают надежность и валидность.

Надежность (от англ. геНаЬПИу — достоверность) — характе­ристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости резуль­татов тестирования.

Как устойчивость результатов теста, получаемых при его при­менении, надежность выражается через количественный показа­тель в виде коэффициентов стабильности, эквивалентности, внут­ренней согласованности, гомогенности. На надежность теста ока­зывают влияние пять факторов:!) содержательная репрезен­тативность, представляющая максимально возможное отраже­ние в содержании теста программы курса; 2) репрезентативность контингента, проявляющаяся в том, что тест должен быть реша­ем как сильными, так и слабыми студентами; 3) количество зада­ний — чем больше заданий, тем выше надежность теста; 4) труд­ность заданий — чем более трудный тест (возможный процент правильных ответов — в границах от 65 до 80), тем более он наде­жен; 5) стабильность заданий, выражающаяся в стандартности внешних условий проведения теста — наличии инструкций, кри­териев оценки, времени решения теста.

Надежность проверяется несколькими способами. Первый — это параллельное тестирование в двух учебных группах. Через не­который промежуток времени проводится проверка ретестовой на­дежности, т.е. повторное тестирование. Второй способ — расщеп­ление теста, когда тест расщепляют на две части по четным и нечетным номерам заданий, — чем выше корреляция между дву­мя частями, тем выше надежность.

Валидность (от англ. уаНа — веский, обоснованный) указыва­ет, что измеряет тест и насколько хорошо он это делает. Различа­ют три вида валидности:

-по содержанию. Здесь тест направлен на выявление того, на­сколько тестируемый овладел конкретными знаниями, учебными умениями и навыками. Данный вид валидности закладывается уже при разработке заданий и фиксируется в спецификации теста. Чтобы обеспечить охват тестовыми заданиями всех необходимых областей учебного предмета, содержание фисиксируется заранее, а не после того, как составлен тест; -по критерию. Этот вид отражает то, насколько по результатам теста можно судить о каком-либо аспекте в настоящем и будущем;

- конструктивная валидность, оценивающая пригодность теста для конкретных целей пользователя. Он получает конкретную ин­формацию о функциях теста и соотносит их с целями использова­ния теста.

9. Композиция тестовых заданий должна удовлетворять прин­ципу соответствия формы содержанию и содержания форме. Важ­но помнить, что форма изначально задает правила, выдвигает ограничения при разработке тестовых заданий, заставляет разра­ботчика формулировать задания так, чтобы они были поняты и у тестируемых не возникло ошибок при восприятии.

10. Количество заданий в тесте зависит от объема материала, детализированности предлагаемой проверки, а также от времени, предназначенного для проверки результатов.

11. Для конкретного предмета разрабатываются группы дидак­тических тестов, каждая из которых касается отдельного раздела, темы курса, и итоговый тест, направленный на комплексную про­верку знаний студентов.

12. Тестирование предполагает системность.

Вопросы и задания для самоконтроля

1. Вспомните наблюдаемые учебные занятия в педагогическом кол­ледже. Какие формы организации контроля чаще всего использует пре­подаватель? Предложите альтернативные.

2. Выделите причины неэффективности проведения контрольных ра­бот, наметьте пути их устранения.

3. Представьте графически взаимосвязь критериев оценки знаний сту­дентов и их показателей.

4. Назовите основные требования для внедрения технологии рейтин-гового контроля в рамках конкретного учебного предмета.

5. Составьте 2 — 3 тестовых задания по изученной теме. Определите трудности в их разработке.

6. В чем проявляются надежность и валидность педагогического теста?

7. Сформулируйте свои личные приобретения по изученной теме. Выделите причины, по которым это произошло. Запишите цели даль­нейшего освоения данной темы.

8. Выполните тестовые задания:

1. Допишите недостающие уровни знаний, которые влияют на эффек­тивность оценки:

а) уровень узнавания;

б)...;

в) продуктивной деятельности;

г)....

2. Какой показатель оценки усвоения знаний имеет характеристику «Он выражает степень понимания связей между знаниями, путями их получе­ния и умением их доказывать»:

а) глубина знаний;

б) действенность;

в) системность;

г) осознанность.

3. Индивидуально-числовой показатель оценки какого-либо лица, а так­же его деятельности получил название:

а) рейтинг;

б) тест;

в) коллоквиум;

г) контрольная работа.

4. Ранжируйте этапы разработки рейтингового контроля. Поставьте на­против каждого ответа номер ранга:

а) определение итогового контроля студентов по предмету;

б) разработка шкалы оценки учебной деятельности студентов;

в) определение системы поощрительных баллов;

г) инструктаж студентов по технике рейтинга;

д) расчет рейтинговых показателей; е) система заданий для всех и каждого.

5. Какой показатель теста обеспечивает независимость проверки и оценки знаний от личности преподавателя:

а) надежность;

б) валидность;

в) объективность.

6. Этот подход в организации педагогического тестирования нацелен на сопоставление индивидуальных результатов тестирования с общим объе­мом знаний, диагностику трудностей в обучении, выбор дальнейшей стра­тегии обучения:

а) нормативно-ориентированный;

б) критериально-ориентированный.

7. Этот вид тестовых заданий при внешней легкости восприятия требует от студента системных и глубоких знаний, иначе неправильные ответы зву­чат как верные:

а) цепные задания;

б) открытые задания;

в) задания с выбором;

г) задания на установление правильной последовательности;

д) задания на соответствие.

ПРАКТИЧЕСКОЕ ЗАНЯТИЕ 1