Методика анализа данных педагогического эксперимента
Анализ и обработка протоколов наблюдений
Протоколы наблюдений и хронометрирование занятий обычно представляют собой текстовую запись, воспроизводящую полностью или частично ход проведенного занятия. В ряде случаев, когда наблюдатель производит выборочное наблюдение за отдельными учащимися или фиксирует лишь отдельные интересующие его моменты, у него оказывается заполненной та или иная таблица, составленная в соответствии с целью проводившихся наблюдений. Чаще же всего экспериментатору при изучении общих записей, сделанных по ходу ведения занятий, приходится извлекать из них необходимую ему информацию, которую полезно для наглядности также оформлять в виде таблицы.
Не существует строгих регламентаций по работе с протоколами наблюдений, они должны лишь служить примерным ориентиром в этой работе. Самое важное при работе с протоколами и другими видами записи наблюдавшегося реального учебного процесса - уметь выделить данные, содержащие определенную информацию, найти причины тех или иных особенностей работы обучаемых на том или ином этапе работы над учебным материалом.
Анализ данных беседы
Очень часто в ходе наблюдения за проведенным занятием у экспериментатора (или наблюдателя) могут возникнуть вопросы, связанные с содержанием работы, уточнением отдельных моментов организации работы, выявлением отношения обучаемых к тому или иному виду работы, оценку ими трудностей, возникающих в ходе проведения работы. Беседа проводится экспериментатором, прежде всего, с целью получить необходимые разъяснения, уточнить записи, сделанные на занятии, проверить свои впечатления и т.п. Часто беседа проводится и с учениками, и с учителями по заранее разработанной программе, в которую включаются вопросы, интересующие экспериментатора. Особое значение имеют данные, сообщенные в ходе беседы учителем, участвующим в эксперименте, проводившим занятие по предложенной ему методике.
В случае положительной оценки экспериментатор получает, таким образом, подтверждение своего замысла, укрепляется его вера в то предположение (гипотезу), на котором основывается эксперимент. В случае отрицательных суждений или отдельных замечаний очень важно знать общее отношение учителя к предложенной ему методике - не был ли он уже заранее настроен против, проявлял ли готовность выполнить план-программу ведения занятий, разработанную экспериментатором. В любом случае все замечания должны быть тщательно записаны, изучены и обдуманы. Следует отметить, что замечания предубежденного учителя имеют особую ценность, так как он скорее увидит слабые места или недоработки в новой методике, нежели увлеченный данной идеей учитель-энтузиаст, сам горячо стремящийся к успеху.
Анализ результатов беседы (или отзыв) можно оформить в виде рабочей таблицы такого примерно вида:
| Положительные моменты | Недостатки | Выводы |
| … | … | … |
Анализ ответов на вопросы анкеты
Если беседа имеет ценность непосредственного общения и обеспечивает немедленное получение ответов на интересующие экспериментатора вопросы, то анкеты дают возможность собрать значительный массовый материал.
Поскольку с помощью анкет можно собрать большой материал, он требует и количественной обработки, и проведения тщательного качественного анализа.
Количественная обработка может дать, прежде всего, общие данные о количестве утвердительных и отрицательных ответов, полученных по каждому вопросу анкеты. (При большом количестве ответов можно перевести эти данные в проценты). Количественный анализ должен быть направлен в первую очередь на анализ негативных суждений (выявление их причины и принятие решений о необходимости изменения тех или иных частей программы). Положительные же суждения используются как материал, подтверждающий гипотезу.
При проведении экспериментальной проверки в разных местах большую наглядность этим данным придает сведение их в общие таблицы: в этих случаях виднее становятся совпадения данных (легче обнаружить тенденцию), а также разброс отдельных данных, который носит случайный характер или объясняется какими-либо причинами, характерными лишь для данных условий проведения эксперимента.
Таким образом, общая методика обработки анкетных данных сводится к их тщательному подсчету, проведению внимательного анализа всех случаев заметного совпадения, разнобоя в данных, разброса. Анкетные данные могут помочь выявлению возможных причин дачи разнородных ответов и более четко проявляющихся тенденций, которые могут указывать на определенную закономерность, связанную как с особенностями восприятия учащихся, так и с особенностями предлагаемой методики или организацией занятий с учащимися.
Анализ результатов контрольных работ
Особое значение имеет сбор и интерпретация данных, полученных на контрольных работах (текущих, итоговых, отсроченных). Для экспериментатора огромное значение имеет количественный и качественный анализ всех допущенных обучаемыми ошибок. Надежность и информативность этих данных во многом зависит от того, что и как проверялось, т.е. адекватны ли контрольные вопросы и задания содержанию, целям и задачам обучения, так ли они поставлены, то ли они выявляют, что действительно может случить показателем усвоения знаний. Поскольку это действительно вопрос, представляющий весь смысл проверки качеств усвоения, остановимся очень кратко на некоторых основных положениях, связанных с методикой проведения контрольных работ.
В настоящее время очень распространено выделение в учебном материале небольших единиц, усвоение которых затем проверяется дифференцированно в зависимости от их значимости и весомости. Такими единицами могут быть новые понятия, вводившиеся в процессе изучения темы или раздела, по которому дается контрольная работа, отдельные умения или навыки, формирующиеся при изучении данной части учебного материала. Необходимо отметить, что для осуществления правильного подбора заданий, проверяющих действительное усвоение самого главного и существенного, важно проведение предварительной оценки каждой из выделенных единиц учебной информации. Эта оценка производится с учетом их значимости и весомости в общей системе знаний, умений и навыков по данной учебной дисциплине.
Эта значимость определяется с точки зрения: а) значения для усвоения последующих тем и разделов курса или других, связанных с ним, курсов; б) практического значения; в) содержащихся в них трудностей для усвоения.
В результате каждой из единиц может быть дана соответствующая ориентировочная оценка, относящая их к определенной категории, т.е. это могут быть единицы, знание которых: абсолютно необходимо (1), полезно и необходимо (2), полезно, но не существенно необходимо (3). Естественно, при контроле главное внимание должно быть обращено на проверку усвоения единиц знаний, относимых к 1 и 2 категориям. Ряд исследователей вводят числовые коэффициенты- «веса» заданий, соответствующих важности значимости проверяемых с их помощью знаний, которые затем учитываются при подсчете числовых характеристик правильных и неправильных ответов. Если такие «веса» не вводятся, должна быть соблюдена определенная пропорция в количестве заданий, проверяющих более значимый материал. Для большей надежности проверки знаний можно вообще не давать заданий на проверку усвоения второстепенного по значимости учебного материала, выявляя усвоение единиц учебной информации, отнесенных лишь к 1 и 2 категориям.
При сборе массовых данных контроля при эксперименте большое значение имеет и форма, в которой даются контрольные задания. При ограниченном числе испытуемых задания, направленные на проверку усвоения самого основного и существенного, могут даваться в любой форме, т.е. могут требовать развернутых ответов, обоснований и т.п. При сборе массового материала большой популярностью пользуются тесты или задания тестового типа, т.е. требующие или очень краткого ответа, или выбора ответа из числа данных. При проведении контрольных работ-тестов возможно использовать некоторые простейшие приспособления для убыстрения подсчета числа правильных или неправильных ответов (например, разного рода шаблоны, проверки по «ключу»), однако неоценимую помощь в этом могут оказать средства вычислительной техники. Кроме того, благодаря сокращению времени, затрачиваемого на запись ответа, можно за единицу времени дать больше заданий, с помощью которых можно глубже и полнее проверить усвоение знаний, охватить разные их связи и зависимости. Значение имеет, конечно, как сама формулировка задания, так и подбор вариантов, предлагаемых на выбор. Необходимо учитывать, что в числе вариантов ответов, даваемых на выбор, не должно быть абсурдных, нелепых, нелогичных ответов, ответов, содержащих ложную информацию, которая может непроизвольно остаться в памяти учащегося. Важно также проверить, чтобы формулировки контрольных заданий соответствовали в основном формулировкам заданий в упражнениях, чтобы в них не было ничего неожиданного для обучаемых.
Таким образом, при подборе контрольных заданий экспериментатор исходит из того, что задания должны проверять усвоение самого существенного и значимого в изученном материале, быть нацеленными на выявление определенных аспектов и характеристик знаний, умений и навыков (в соответствии с выбранными критериями) и при использовании методики тестового контроля должны соответствовать основным требованиям к подбору вариантов ответов, предлагаемых на выбор.
Методика анализа ошибок.
Огромное значение для выявления рассмотренных выше показателей и характеристик усвоенных знаний и сформулированных умений и навыков имеет работа по анализу ошибок, допускаемых учащимися в контрольных работах. При правильном подборе и заранее продуманной нацеленности заданий некоторые характеристики выявляются сразу же при изучении ответов, данных на соответствующую группу вопросов (например, имеющих целью выявить объем знаний, прочность, осмысленность и т.д.).
Количество ошибок служит важным показателем для выявления как качества усвоения знаний, так и эффективности предлагаемой методики. Например, отсутствие ошибок в ответах на определенные задания может свидетельствовать не только о хороших знаниях обучаемых, но и служить сигналом о том, что задания - слишком легкие. Отдельные ошибки чаще всего носят случайный характер, но могут свидетельствовать о каких-либо пробелах в знаниях тех или иных учащихся, а также о каких-либо характерных особенностях протекания у них различных познавательных процессов.
Появление ошибок в ответах по тому или иному вопросу у многих обучаемых свидетельствует о какой-то закономерности, причиной появления которой может служить: недостаточная проработанность учебного материала; неточности в формулировке заданий; нечеткость исходных данных или даже какие-либо технические причины (опечатки, пропуск знака и т.д.). В ряде случаев ошибки могут быть вызваны особенностями психологии восприятия или других психических процессов, связанных с познавательной деятельностью обучаемых. Приведем примеры некоторых типовых ошибок с указанием причины их появления.
Так, встречаются ошибки привычности. Например, при переходе от сложения к умножению может иметь место сложение множителей: 3+2=5 и 7ּ5=12. Ошибки устойчивости проявляются в повторении или добавлении ранее встречающейся буквы, цифры. Например, 7+9=19. Распространены ошибки сходства, проявляющиеся в неумении дифференцировать сходные буквы, знаки. Например, путают буквы ъ и ь, знаки ⋂ и ⋃ и т.д. Эти последние ошибки во многом проистекают и от методики обучения. Важно также предупредить появление и всех других ошибок, которые связаны с каким-либо интерферирующим влиянием, например, влиянием предшествующих знаний. Например, «family» в английском языке означает «семья», а не «фамилия», как в русском языке.
При анализе ошибок, особенно при заданиях с выбором ответа, часть ошибок может объясняться осторожностью, например, если вообще не выбран ни один вариант ответа. Пропуск заданий может, однако, свидетельствовать и о недостаче времени (задание было пропущено, чтобы потом над ним подумать, а времени не хватило). Невыполнение последних заданий довольно часто говорит именно о нехватке времени, отведенного на выполнение контрольной работы.
При заданиях с выбором ответа имеется всегда и элемент случайности, риска (угадал - не угадал).
Общая же методика анализа ошибок при сборе массового материала складывается из выполнения следующих действий:
- производится общий подсчет количества ошибок по каждому вопросу;
- выделяются задания: а) в ответах на которые было допущено очень мало ошибок (или вообще не было ошибок); б) были лишь отдельные ошибки; в) было много ошибок; г) которые не были выполнены большинством обучаемых;
- по выявленным группам заданий проводится анализ возможных причин появления ошибок, которые могут носить частно - методический характер (быть связанными с недостатками методики объяснения и закрепления конкретного учебного материла); могут проистекать от недостатков предлагаемой методики; носить психологический характер; быть чисто случайными;
- делаются педагогические и методические выводы, направленные на внесение соответствующих изменений в структуру предлагаемой системы занятий по формированию того или иного знания.