Многоуровневый квалиметрический мониторинг

Основной целью квалиметрического мониторинга в образовании являются создание условий для формирования целостного представления о состоянии образовательной системы, качественных и количественных изменениях ее составляющих, получение научно обоснованных выводов о функционировании той или иной системы или объекта, накопление статистических результатов внешнего контроля за деятельностью субъекта наблюдения, обоснование требуемых мер для достижения планируемого качества. Важной целью является обеспечение всех субъектов образовательного процесса объективной и достоверной образовательной информацией путем наблюдения, сбора, накопления, анализа, диагностики и экспертизы количественных показателей учебных достижений обучающихся [55, 119, 159, 177].

Эта цель естественным образом обусловливается современным этапом всей образовательной системы в условиях ее реформирования и изменения принципов организации контрольно–оценочного процесса в связи с проведением эксперимента по введению единого государственного экзамена в стране. Новые приоритеты в обществе и образовании, вариативность образовательных программ и форм получения образования, методов и технологии обучения обусловливают значительную дифференциацию уровня подготовленности и развития обучающихся. В условиях широкого использования тестового контроля в образовании появляются возможности и потребности организации и функционирования многоуровневого квалиметрического мониторинга (МКМ) для получения оперативной, валидной и разносторонней образовательной информации.

Его создание и функционирование в системе образования непосредственно связано с изменениями, происходящими в обществе, появлением необходимых условий, финансовых и материально–технических возможностей для организации новых видов информационного мониторинга. Одной из задач многоуровневого квалиметрического мониторинга становится обеспечение образовательных учреждений постоянным потоком сопоставимой образовательной информации о качестве подготовленности обучающихся. Современные технологии позволяют организовать квалиметрический мониторинг как наиболее информативный и современный способ наблюдения за развитием образовательного процесса. Полученные методами тестирования данные об уровне учебных достижений школьников не зависят от состава аттестационных комиссий и установок органов управления образованием. Такие результаты соответствуют определенной точности измерений, дифференцирующей способности, надежности и другим квалиметрическим показателям измерений знаний обучаемых. В системе такого мониторинга возможны упорядочение, систематизация и представление в удобной форме объективной образовательной информации.

Он становится важнейшим инструментом и методом выявления достоинств и недостатков различных обучающих программ и компонентов образовательной системы, средством управления качеством образования на всех его иерархических уровнях. К педагогическому тестированию как методу измерения, используемому для квалиметрического мониторинга и объективизации диагностики качества образования, наиболее применимо понятие «индикатор» (от лат. indicator – указатель).

Мониторинг качества учебных достижений средствами педагогического тестирования ориентирован, с одной стороны, на точное отражение в тестах современного содержания образования и требований образовательных стандартов, а с другой – на возможность стандартизированного измерения знаний, умений и навыков во всем комплексе их качественных характеристик:

• полноты, т.е. количества всех знаний об изучаемом объекте, предусмотренных программой (стандартом), запросами потребителей и др.;

• глубины, т.е. осознанных существенных связей данного знания с другими, с ним соотносящимися;

• оперативности, т.е. применения знаний в сходных и вариативных ситуациях за счет умения анализировать, обобщать, интегрировать и дифференцировать общепредметные знания и умения;

• гибкости, т.е. быстроты нахождения вариативных способов применения знания при изменении ситуаций;

• конкретности и обобщенности, т.е. способности к раскрытию конкретных проявлений обобщенного знания или подведению конкретных знаний под обобщенные;

• свернутости и развернутости, т.е. способности, с одной стороны, выразить знания компактно, уплотненно, а с другой – раскрыть систему и последовательность шагов, ведущих к сжатию или свертыванию знаний;

• систематизированности, т.е. осознания состава некоторой совокупности знаний, их иерархии и взаимосвязанной последовательности, осознания необходимости наличия одних знаний как базы для усвоения других;

• адекватности, т.е. такой совокупности знаний в сознании учащихся, структура которых соответствует структуре научной теории и этапу обучения;

• осознанности, т.е. понимания связей между знаниями, путей получения и закрепления знаний, умения их предъявлять и доказывать.

Особенностью квалиметрического мониторинга является использование данных массового тестирования и статистических методов анализа результатов как одного из направлений теории статистических выводов в педагогике. Следует отметить, что максимальный эффект такой мониторинг может дать при комплексном использовании теории педагогических измерений, теории моделирования и методов математической статистики. Понятно, что строгие количественные измерения без дальнейшей статистической обработки и построения соответствующей модели оценки качества бессмысленны. Взаимно дополняя и обогащая друг друга, эти теории позволяют представить состояние исследуемого объекта в большей полноте и целостности. Важнейшим в этом перечне является применение методов математической статистики, подразделяющейся на два направления: описательную статистику и теорию статистического вывода. При этом, как известно, для описания педагогических объектов давно и активно используются средний балл, дисперсия, различные показатели корреляции и др. Теория статистического вывода применяется значительно реже, хотя, по мнению Е.В. Яковлева, «именно она является наиболее мощным аппаратом исследования в педагогике» [223].

Таким образом, квалиметрический мониторинг следует понимать как непрерывное (на постоянной основе) стандартизированное наблюдение за образовательным процессом и деятельностью образовательной системы (ее подсистем) посредством педагогических измерений, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменения субъектов образования и состояния образовательной системы, определять направления их развития. Этот вид мониторинга включает совокупность методов, алгоритмов организации и технологических средств, а также содержательно–аналитическую интерпретацию мониторинговых наблюдений за образовательным процессом и его результатами на основе количественной информации, полученной средствами и методами педагогических измерений. Результаты таких контрольно–оценочных процедур обладают одинаковым свойством, относятся к адекватным по времени состояниям обучающихся и образовательных систем, а поэтому обеспечивают условия для реализации квалиметрического мониторинга как современного и перспективного средства управления качеством образования.

Концептуально такой вид мониторинга обеспечивает объективность характеристик исследуемых объектов на основе использования данных образовательной статистики тестового контроля как процедуры массового обследования однотипных объектов в стандартизированных условиях. Квалиметрический подход, в отличие от традиционного, позволяет извлечь максимум объективной информации из полученных количественных оценок и с математической точностью оценить состояние исследуемых объектов.

Его многоуровневый характер определяется совокупностью объектов наблюдения, методик, процессов и ресурсов, необходимых для сбора и накопления данных, методами анализа результатов, выработки рекомендаций и представления образовательной информации в сети Интернет с целью воздействия для получения положительных тенденций развития и результатов обучения с заданными свойствами, характеристиками, параметрами.

Принципиальное отличие многоуровневого квалиметриче–ского мониторинга от традиционного заключается в использовании таких технологий контроля, которые ориентированы не на субъективные оценочные механизмы локального применения, а на современные объективизированные (дистанцированные от учителя) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок. Концепция комплексного многоуровневого квалиметрического мониторинга качества образовательных систем и образовательного процесса достаточно хорошо вписывается в систему современного маркетинга образовательных услуг.

Принципы его организации и функционирования опираются на теорию IRT при получении образовательной статистики, информационные технологии накопления и обработки данных, сравнение показателей качества исследуемых объектов со статистическими нормами.

В работах по системному анализу и опыту системного исследования [14, 118, 148, 160] отображена совокупность принципов, лежащих в основе функционирования сложных систем, – системность, моделируемость и автономность, целенаправленность, объективность и неопределенность, согласованность, коммуникативность и технологичность, информативность, интегративность и дифференцируемость, действие, развитие, управляемость и непротиворечивость. Эти принципы с учетом условий полноты получения информации и эффективности ее воздействия на образовательный процесс характерны и для многоуровневого ква–лиметрического мониторинга качества учебных достижений в общем образовании.

Системность означает, что МКМ присущи закономерности системы, определяющие ее внутренние и внешние причинно–следственные связи, условия целостности, существования и функционирования, возникновения и развития; необходимость достаточности и периодичности наблюдения за всей совокупностью объектов при соблюдении индивидуальности результатов каждого отдельного объекта наблюдения.

Моделируемость и автономность проявляются в том, что МКМ как единое целое имеет свое устройство, внутреннюю структуру и содержание; как сложная система, состоящая из множества подсистем и уровней, он может быть представлен конечным числом моделей, каждая из которых сама имеет системный характер и отражает разные цели его функционирования.

Целенаправленность отражает точку зрения исследователей, позволяет формировать определенные подходы для решения практических задач в зависимости от целей такого мониторинга (методы, технологии, контрольно–измерительные материалы, время и место проведения, процедуры, формирование выборки испытуемых, подбор состава исполнителей, экспертов, разработчиков тестов и др.).

Объективность и неопределенность – этот принцип обусловливается достаточностью и валидностью генеральной выборки тестируемых; точностью оценок (измерений) и известной областью неопределенности значений исследуемых характеристик и параметров выборки; потребностью непрерывного совершенствования инструментария педагогических измерений, технологий и процедур контроля.

Согласованность как принцип требует адекватности мониторинговых средств и процедур состоянию обследуемых образовательных систем на момент измерения в соответствии с требованиями нормативных документов.

Коммуникативность и технологичность по схеме «вход—выход» заключается в согласованности требований и оперативного получения, обработки и передачи необходимой и достаточной информации по различным уровням, обеспечении доступности мониторинговых результатов большому числу пользователей; предусматривает широкое использование образовательной информации и информационных технологий для ее переработки и хранения.

Информативность означает требование полноты и всесторонности данных (качественную и количественную определенность) об исследуемом объекте (явлении, процессе), представление всей информации в сети Internet по открытым и закрытым каналам в заисимости от требований к уровню конфиденциальности материалов и данных, доступности статистической информации широкому кругу пользователей.

Интегративность и дифференцируемость информации обусловливают сохранение и укрепление единого образовательного пространства страны, создавая уникальную возможность качественно–количественного анализа сопоставимых показателей состояния всей образовательной системы и ее отдельных составляющих (многоуровневость), индивидуальных результатов.

Взаимодействие заключается в том, что такой мониторинг собирает, накапливает и выдает информацию, требующую оперативных действий других систем (системы образования, системы тестирования, системы воспитания, системы управления, общественных систем и др.) на основе универсальности подходов к управлению качеством в образовании.

Развитие – по мере накопления информации МКМ может скачкообразно изменяться, переходя в новое качественное состояние, воздействуя в то же время на другие системы, являясь катализатором их развития.

Управляемость должна обеспечивать предсказуемость действий различных мониторинговых служб, подотчетность их по иерархическим уровням органам контроля и управления качеством образования.

Непротиворечивость – деятельность МКМ не должна наносить ущерб объектам наблюдения и образовательному процессу, его действия и выводы должны быть направлены исключительно на улучшение качества подготовленности обучающихся и качества образовательных систем.

Система приведенных принципов в целом достаточно полно отражает весь динамический процесс мониторинговых исследований. В отличие от мониторинга, основанного на традиционном оценивании со стихийнь г м воздействием на образовательную систему и субъектов образовательного процесса, многоуровневый квалиметрический мониторинг базируется на квалиметрической концепции и является формативным феноменом, способным воздействовать на систему образования системно и независимо, задавая совокупность определенных требований к органам управления образованием, образовательному учреждению, педагогу, обучающемуся и др. [68].

В зависимости от выбора объекта мониторинговых исследований следует различать ряд признаков, характерных для квали–метрического мониторинга:

• функциональность отражает присущее ему качество технологичности и психологической комфортности для испытуемых во время контроля, оптимальности нагрузок, содержательной информативности, оперативности анализа и представления информации и др.;

• надежность характеризует квалиметрический характер процедур получения информации, организованность, стандарти–зированность, точность и дифференцирующую способность педагогических измерений, согласованность исполнения планов, расписания, решений, указаний, действий и т.д.;

• эффективность проявляется в достижении планируемого результата при экономном расходовании времени, средств, труда и психологических нагрузок участников контрольно–оценочного процесса, обработки и получения результатов;

• современность касается стандартов, методов обучения и развития, средств и методов контроля и получения образовательной информации, статистического характера обработки и анализа результатов;

• оптимальность обеспечивает выбор необходимых корректировок учебных программ и их вариантов, прогнозируемые результаты подготовленности обучающихся при соблюдении норм учебной деятельности (работоспособность, утомляемость и др.); предполагает обоснованность используемых методов, технологий и принципов обучения и контроля, системность применения контроля;

• реализуемость устанавливает меру возможностей и полноты воплощения идей, подходов и планов в оценке образовательной деятельности.

Общеметодологическая база многоуровневого квалиметриче–ского мониторинга как количественного метода наблюдения за изменениями качества исследуемых объектов открывает новые возможности качественно–количественного отображения педагогических явлений с возможностями сопоставления данных по отдельным стратам системы наблюдения и путем их сравнения с данными генеральной совокупности объектов исследования. Основой функционирования квалиметрического мониторинга являются данные современных контрольно–оценочных процедур, получивших развитие в общем образовании (единый государственный экзамен, централизованное тестирование и др.) и позволяющих охватить основное содержание контролируемого материала одновременно в одинаковых условиях для всех испытуемых одинаковым шкалированием и оцениванием. Тестирование как средство педагогических измерений является наиболее точным методом диагностики и дифференциации уровня подготовленности обучающихся и состояния образовательных систем. Оно позволяет на единой информационной основе оценить состояние большого числа объектов, увидеть тенденции, оценить достоинства, вскрыть причины неудач и просчетов, наметить перспективы развития.

Функциями квалиметрического мониторинга являются наблюдение, выявление, анализ и оценка качества состояния образования на основе сопоставимых результатов педагогических измерений уровня учебных достижений обучающихся. К функциям квали–метрического мониторинга качества учебных достижений (в том числе и по результатам ЕГЭ) можно также отнести следующие:

• получение оперативной и долговременной, всесторонней и валидной информации о состоянии российской образовательной системы и отдельных ее подсистем по результатам независимого контроля;

• обеспечение циркуляции потоков валидной образовательной информации между банком образовательной статистики и образовательной системой (подсистемами), субъектами образовательного процесса (учащимися, учителями) или другими пользователями (родителями, вузами и ссузами, управлениями образования и др.) для создания надежной и оперативной обратной связи;

• выявление результативности образовательного процесса на различных его стадиях, начиная с ранних, и качества учебных программ путем сравнения с нормами и требованиями стандартов;

• обеспечение валидной диагностики особенностей учебного процесса, выявление достижений и пробелов в образовании конкретных учащихся, дифференциация и индивидуализация их обучения и развития;

• прогнозирование и управление развитием образовательных систем на основе анализа комплексной образовательной информации;

• определение рейтинга обучающегося, образовательного учреждения, территории или региона на основе сопоставимости результатов массового тестирования;

• создание условий для мониторинга развития самого образовательного процесса;

• формирование информационных систем самоподготовки, самоконтроля, самоаттестации и самоидентификации обучающихся и самоаттестации образовательных систем;

• выявление потребности в повышении профессиональной переподготовки педагогических кадров.

Последовательность действий в обеспечении этих функций может быть следующей.

1. Установление образовательных стандартов: определение требований стандартов; операционализация стандартов в индикаторах (измеряемых величинах); установление комплекса показателей и критериев (норм как меры качества образования), по которым можно судить о степени достижения стандартов.

2. Создание и совершенствование стандартизированных контрольно–измерительных материалов, контрольно–оценочных процедур, техники и технологии обработки материалов тестирования и автоматизированной проверки результатов, алгоритмизация форм их предъявления.

3. Совершенствование методик шкалирования и оценивания результатов педагогических измерений.

4. Сбор и накопление метрических характеристик качества учебных достижений обучающихся с использованием информационных технологий и программно–инструментальных средств.

5. Систематизация информации и анализ результатов мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов и норм.

6. Представление образовательной индивидуальной и статистической информации по результатам тестового контроля в формате, обеспечивающем ее доступность большому числу пользователей, многоуровневый и многофакторный педагогический анализ.

7. Интерпретация результатов, моделирование состояния образовательной системы, прогнозирование направлений ее развития, выработка рекомендаций по совершенствованию образовательного процесса.

8. Принятие обоснованных управленческих решений и мер, направленных на получение положительных изменений в образовательной деятельности учебных учреждений в целях повышения ее результативности.

Существует ряд требований, связанных с экспертизой качества учебных достижений, определяемых на основе квалиметри–ческих мониторинговых обследований по результатам массового стандартизированного тестирования:

• стандартизация содержания образования, образовательного процесса и контрольно–измерительных материалов, установление образовательных стандартов и операционализация средств и методов контроля, определение требований стандартов в индикаторах (измеряемых величинах) и установление критериев, по которым можно судить о приближении подготовленности испытуемых к уровням учебных достижений, задаваемым образовательными стандартами, разработка стандартизированных контрольных измерительных материалов, техники и технологии тестирования и проверки результатов;

• выбор методов шкалирования и оценивания уровней учебных достижений обучающихся, получение критериев оценки учебных достижений, деятельности учителя и образовательного учреждения на основе сравнения со статистическими нормами;

• обеспечение объективности и сопоставимости оценок на различных уровнях (национальном, региональном, локальном, в том числе на уровне общеобразовательного учреждения, индивидуальном) путем стандартизации процедур выявления и измерения уровня учебных достижений каждого обучающегося;

• дистанцирование учителя от контрольно–оценочного процесса, демократизация образовательного процесса и вариативность выбора форм и уровней трудности аттестации субъектами тестирования;

• алгоритмизация и автоматизация системы тестового контроля и мониторинга в образовании;

• сбор метрических данных о качестве учебных достижений по различным выборкам испытуемых с использованием информационных технологий и программно–инструментальных средств;

• систематизация и анализ результатов, проведение мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов;

• интерпретация результатов анализа и выработка рекомендаций по совершенствованию образовательного процесса для получения положительных изменений в деятельности образовательных учреждений и повышения качества образования.

В силу значительной сложности организации такого полномасштабного мониторинга его создание возможно только путем поэтапного развертывания и последовательного включения всех регионов в федеральную систему тестирования, распространения мониторинговых процедур и исследований на все уровни системы образования и системы управления его качеством. Реализация многочисленных задач и функций многоуровневого ква–лиметрического мониторинга может обеспечиваться различными дополнительными методами и каналами получения информации: анкетирование, контент–анализ документов, тестирование, экспертное оценивание, анализ, статистика, моделирование, прогнозирование, заключение и выработка решений, действия по совершенствованию системы образования и др.

Логика его развития показывает, что в будущем он затронет не только сферу общего образования, но и все его уровни, обеспечивая независимый аттестационный процесс для всех субъектов образования. Активно развивающиеся технологии массового тестирования школьников и выпускников общеобразовательных учреждений находят применение и в профессиональном образовании, особенно в системах открытого образования. В перспективе тестовый контроль как базовый для квалиметрического мониторинга станет основой для получения валидной и надежной информации о качестве всей системы образования в стране. Важными являются независимость контрольно–оценочных процедур от образовательного учреждения, квалиметрический подход к получению информации и сопоставимость результатов как по вертикальным срезам наблюдения (обучающийся, образовательное учреждение, территория, регион, Россия), так и по горизонтальным – между объектами одного ряда.

Понятно, что построение многоуровневой и многоаспектной системы квалиметрического мониторинга – процесс сложный и длительный. Такая мониторинговая система должна быть независимой, постоянно действующей организационной структурой, обеспечивающей объективное, всестороннее, стандартизированное обследование системы образования и ее составляющих. Сегодня для ее организации только появляются необходимые условия. К ним относятся создание федеральной системы независимого массового тестирования (централизованное тестирование, единый государственный экзамен, другие формы независимой аттестации средствами тестирования); формирование федерального банка стандартизированных педагогических измерителей, банка образовательной статистики результатов тестового контроля; использование информационных технологий накопления, представления и передачи результатов в форме, удобной для различных категорий пользователей.

Таким образом, в условиях стандартизации содержания образования и интенсивного развития федеральной системы тестирования, происходит развитие и введение целостной и комплексной общероссийской системы многоуровневого квалиметрического мониторинга как средства управления качеством образования, основанного на современных и универсальных методах наблюдения за всей системой образования.