Методика проведения сравнитедьного педагогического эксперимента

В качестве основы методики рассматривается сравнительный педа­гогический эксперимент, в котором проверке подлежат выдвинутые рабочие гипотезы, например возможность повышения качества и прочности усвоения учебного материала, усиления мотивации и ак­тивности обучающихся при использовании в образовательном про­цессе новых информационных технологий обучения и др.

Чтобы обеспечить возможность сравнения результатов педагоги­ческого эксперимента, целесообразно разделить обучающихся на экс­периментальные и контрольные группы, а также выявить начальный и итоговый уровни их обученности для получения точной картины состояния знаний, навыков и умений до и после эксперимента. С уче­том сказанного предлагается следующая схема проведения сравни­тельного педагогического эксперимента (рис. 1П1).

Первый этапвключает в себя выбор и выравнивание контроль­ных и экспериментальных групп на основе проведения входного те­стирования, а также определение варьируемых и неварьируемых ус­ловий эксперимента.

Тестирование проводится с использованием педагогических те­стов - системы заданий возрастающей трудности - с целью опреде­ления начального уровня обученности студентов. По результатам те­стирования производится выбор экспериментальных и контрольных групп. Проверку их однородности и тем самым правильность выбор­ки целесообразно осуществлять с использованием t-критерия Стыо-дента (равенство средних), критерия г² (хи-квадрат) или /-критерия Фишера (однородность дисперсии), позволяющих учитывать психо­физиологические свойства обучающихся и уровень их подготовлен­ности.

На примере использования i-критерия Стьюдента для независи­мых переменных покажем, как может быть проведена оценка одно­родности контрольных и экспериментальных групп.

В данном случае предполагается выдвижение двух гипотез: нуле­вой гипотезы (Я_о), согласно которой различия уровня подготовлен­ности обучающихся недостаточно значительны и поэтому распреде­ление оценок относится к одной генеральной совокупности, т. е. выборка произведена правильно, и альтернативной гипотезы (H_t), согласно которой различия между обоими распределениями доста­точно значительны и связаны с малым объемом выборки.

В психологии и педагогике принято считать, что нулевую гипоте­зу можно отвергнуть в пользу альтернативной, если по результатам статистического анализа вероятность случайного возникновения най­денного различия не превышает 5 из 100. Если же этот уровень до­стоверности не достигается, считается, что разница вполне может быть случайной и поэтому нельзя отбросить нулевую гипотезу.

Таким образом, требуется доказать, что распределение оценок при входном тестировании в контрольной и экспериментальной группах являются выборками из одной генеральной совокупности, т. е. что нулевая гипотеза верна.

Для определения достоверности разницы средних при двух неза­висимых выборках целесообразно использовать метод Стьюдента (Годфруа Ж. Что такое психология. — М., 1992. — Т. 2) и по формуле (1П1) определить значение его ^-критерия.

где (х, - х₂)² — квадрат отклонений отдельных значений признаков от средней арифметической; N — количество признаков.

Геометрически S² является показателем того, насколько кривая распределения оценок размыта относительно ее среднего арифмети­ческого значения.

Определив дисперсию, целесообразно рассчитать значение t-кри-терия Стьюдента и сравнить его с табличным, приведенным в соот­ветствующих справочных материалах (Годфруа Ж. Что такое психо­логия. — М., 1992. — Т. 2; Рабочая книга социолога. — М., 1983).

Если табличное значение t больше, чем расчетное (t_n6ll > t), дела­ется вывод о том, что нулевая гипотеза не отвергается и обе выборки относятся к одной генеральной совокупности, т. е. они однородны для уровня достоверности 0,05 (вероятность 5 %), что и требовалось доказать. Если же расчетное значение t оказывается больше, чем таб­личное (£_табл < t), то следует говорить о том, что сделанные выборки (для уровня достоверности 0,05) не относятся к одной генеральной совокупности. А это значит, что выбранные контрольная и экспери­ментальная группы не являются однородными.

Полученные результаты целесообразно перепроверить, исполь­зуя критерий х² или /-критерий Фишера.

Рассмотрим для примера порядок проверки полученных резуль­татов с использованием критерия %². В этом случае применяется фор­мула (2П1) (Рабочая книга социолога. — М., 1983).

где N_t и JV₂ — количество оценок у слушателей в контрольной и экс­периментальной группах; iV. и JV. — среднеарифметические значе­ния успеваемости в контрольной и экспериментальной группах.

Получив расчетное значение %², необходимо, как и в предыдущем случае, сравнить его с табличным значением (при уровне значимо­сти менее 5 %), взятым из справочных источников. Если х²_табл > %², то это означает, что нулевая гипотеза не отклоняется и следует считать контрольную и экспериментальную группы выборками из одной ге­неральной совокупности.

Таким образом, с помощью ^-критерия Стьюдента или критерия %² можно сделать вывод об однородности или неоднородности кон­трольной и экспериментальной групп.

На данном этапе следует определить, а при необходимости уточ­нить, варьируемые (подлежащие изменению) и неварьируемые усло­вия проведения эксперимента.

В качестве варьируемых условий экспериментамогут рассмат­риваться следующие:

♦ проведение занятии: занятия под руководством преподавателя проводятся с контрольной группой в аудитории, а с эксперимен­тальной — в дисплейном классе;

♦ средства обучения: в экспериментальной группе средством само­стоятельного изучения учебного материала выступает комплект компьютерных средств, а в контрольной группе — традиционный учебник (учебное пособие или другое традиционное средство обучения);

♦ контроль знаний: в экспериментальной группе студенты имеют возможность провести текущий контроль своих знаний, исполь­зуя специальную компьютерную программу, а в контрольной та­кая возможность не предусмотрена и т. д.

В качестве неварьируемых условийпроведения эксперимента можно рассматривать, например:

♦ изучение одинакового для контрольной и экспериментальной групп объема учебной информации;

♦ постановку одинаковых для обеих групп дидактических задач и др.

Второй этапявляется наиболее ответственным и включает собст­венно проведение педагогического эксперимента. В его ходе могут проводиться: чтение лекции по запланированной теме в контроль­ной и экспериментальной группах, проведение учебных занятий с использованием методов семинара, практической работы, самостоя­тельной работы под руководством преподавателя и без его участия, лабораторной работы и т. п. Но если в экспериментальной группе обучение проводится с использованием, например, информацион­ных технологий обучения, то в контрольной это делается с примене­нием только традиционных методик обучения.

Третий этапвключает выходное тестирование и может проводить­ся на итоговых занятиях с целью определения достигнутого уровня обученности студентов, который должен соответствовать изначаль­но заданным дидактическим целям. Методом в этом случае выступа­ет, как и на первом этапе, педагогическое тестирование.

Проверку достоверности полученных результатов целесообразно осуществлять с использованием f-критерия Стьюдента, но уже при за­висимых выборках (Годфруа Ж. Что такое психология. — М., 1992. — Т. 2), к которым относятся результаты одной и той же группы респон­дентов до и после эксперимента (воздействия независимой перемен­ной). Для этих целей можно воспользоваться формулой (ЗП1):

где d — разность между результатами в каждой сравниваемой паре до и после эксперимента; Y.d — сумма этих частных разностей; Xd² — сумма квадратов частных разностей; N — число обучающихся.

Если £_таГ)1| >t;p< 0,05; достоверно. Это означает, что нулевая гипо­теза отвергается, и разница между выборками является достоверной. В свою очередь, это свидетельствует о том, что на данную разницу оказало влияние введение независимой переменной, например, обу­чение с применением новой информационной технологии обучения.

На четвертом этапев экспериментальных группах проводится выходное анкетирование с целью выявления субъективной оценки обучающихся качества проведения с ними учебных занятий с исполь­зованием информационной технологии обучения. Здесь целесообраз­но уделить особое внимание определению мотивации обучения с при­менением комплекта компьютерных средств, а также оценке психо­логической и психофизиологической нагрузки, испытываемой ре­спондентами в период экспериментального обучения.

На каждом этапе сравнительного педагогического эксперимента необходимо производить сбор эмпирического материала, его стати­стическую обработку и предварительный анализ полученных резуль­татов. На завершающих этапах по разности результатов предвари­тельного и итогового педагогического тестирования определяется сравнительная эффективность применения новой информационной технологии обучения и традиционной методики обучения.

В этом случае измерение и оценку дидактической эффективности можно производить с достаточной степенью достоверности по коли­чественно-качественным показателям учебного процесса путем обоб­щения и сравнения одних статистических данных с другими. Такими показателями выступают выбранные и обоснованные критерии эф­фективности, которые можно рассматривать как обобщенные ре­зультаты достижения поставленных целей.

Отсроченное тестирование — пятый этап— целесообразно про­водить, как правило, через месяц или больший интервал. Его цель — определение остаточных знаний, навыков и умений, приобретенных студентами за период проведения экспериментального обучения. На данном этапе, как и на третьем, определяется сравнительная эффек­тивность применения информационной технологии обучения и тра-

диционной методики обучения. При этом оценивается наличие у обу­чающихся остаточных знаний, навыков и умений в рамках изучаемой предметной области.

Точность и чистота педагогического эксперимента могут быть достигнуты с помощью специальных мер по снятию интерфериру­ющего влияния методики представления материала, личностных ха­рактеристик преподавателя и окружающей среды. Для этого реко­мендуется провести апробацию разработанной методики еще на предварительных этапах эксперимента, что позволит избежать ряда ошибок, которые могут оказать влияние на конечные результаты.

При проведении сравнительного педагогического эксперимента предлагается производить оценку дидактической эффективности применения в учебном процессе информационной технологии обу­чения, используя следующий математический аппарат.

В общем виде эффективность применения в учебном процессе информационной технологии обучения (Э_ито) можно определить по формуле (4П1):

где Р_о — результаты, достигнутые в процессе обучения, определяют­ся на основе как качественных, так и количественных показателей; Р_и — результаты, соответствующие целям обучения, выраженные в со­ответствующих параметрах.

Для проведения сравнительного анализа эффективности приме­нения в учебном процессе информационной технологии обучения и традиционной технологии обучения можно воспользоваться следу­ющей формулой:

где Э_11Т0 — эффективность информационной технологии обучения; С, — сумма оценок, полученных экспериментальной группой по ито­гам обучения с ее использованием; С_к — сумма оценок, полученных контрольной группой.

Если затраты времени на обучение при использовании информа­ционной технологии обучения и традиционной технологии обуче­ния различны, то эффективность первой определяется по формуле:

где К_вр — временной коэффициент, который выводится через отно­шения времени, необходимого на обучение в контрольной группе, ко времени, затраченному на подготовку слушателей эксперименталь­ной группы. Этот коэффициент определяется по формуле (5П1):

В качестве одного из основных критериев оценки эффективности применения информационной технологии обучения в педагогиче­ских исследованиях часто используется коэффициент оценки (уров­ня знаний) К_о:

где К„_то-оценка за группу, полученная с использованием ИТО; К_то — оценка группы, полученная при традиционной технологии обучения.

Если применение в учебном процессе информационной техноло­гии обучения является более эффективным, чем использование тра­диционной технологии обучения, значение коэффициента К долж­но быть больше единицы. (В научных публикациях встречаются дан­ные о повышении уровня знаний в 1,5-3 раза, т. е. К = 1,5-3.)

Приложение 2