Практическое занятие № 6-7

Экспертиза в образовании

План занятия:

1. Понятие экспертизы в образовании, специфика экспертных процедур в образовании.

2. Метод экспертных оценок. Алгоритм экспертизы.

3. Экспертиза инновационных проектов в образовании.

4. Экспертный лист. Паспорт зрелости инновационного проекта.

5. Экспертное заключение.

Вопросы и задания на обсуждение:

1. Выпишите в свою терминологическую карту понятия: экспертиза, экспертология, экспертная деятельность, экспертиза в образовании, метод экспертных оценок, экспертный лист. Установите взаимосвязь между ними.

2. Прочитайте часть статьи Игнатьевой Г.А., Слободчиковой В.И.«Методология экспертизы инновационных образовательных проектов» об особенностях процедуры экспертизы в образовании и ответьте на следующие вопросы:

- Какова специфика экспертизы в образовании? В чем заключаются основные трудности таких процедур при экспертизе инновационных проектов в образовании?

- Что представляет собой критериальная база экспертирования инноваций в образовании? Что позволяет оценить каждый тип критериев экспертизы? Какие результаты можно получить в процессе экспертизы по выделенным критериям?

- Какие формы экспертной работы вы знаете? В чем их преимущества и недостатки?

- В чем сущность метода экспертных оценок?

- Каков основной алгоритм процедуры экспертизы?

«…Несколько слов о категории «экспертиза». Предельно общим обозначением деятельности оцениваниякакого-либо объекта в соответствии с некоторой мерой (нормой) является понятие экспертизы. Данное средство в настоящее время оказывается максимально адекватным для квалификации, оценки, нормирования инновационных «сдвигов» в образовании на всех уровнях его организации.

Заказ на экспертную деятельность появляется тогда, когда происходят существенные изменения профессионально-педагогической деятельности, когда происходит становление и развитие инновационной педагогической практики, и ее разработчикам необходимо ответить на ряд вопросов. В чем сущность того нового, что делается в образовательной практике в сравнении с прежним опытом? Что необходимо сделать, чтобы создать эффект инновационного развития?

Становление экспертологии, как научной дисциплины, изучающей закономерности, методологию, процессы организации и развития научных основ педагогической экспертизы, связано с развитием инновационных процессов в образовании.

Экспертная деятельность как особый вид человеческой деятельности, относится по своим сущностным характеристикам к аналитическому и исследовательскому типу деятельности, где объектом изучения является развивающая и развивающаяся практика, а в качестве продукта имеет заключение об уровне развития этого объекта.

В соответствии с этим рабочим определение экспертной деятельности может быть следующее:Экспертная деятельность – это особый вид экспертно-аналитической деятельности, требующий специальных знаний об объекте и предмете экспертизы и профессиональных умений (проектировать, анализировать, оценивать, контролировать, управлять и т.д.), результатом которой является представление мотивированного заключения.

Экспертная деятельность, как особый вид исследования имеет такие структурные компоненты:

- сбор и анализ информации,

- определение проблем исследования и их ранжирование,

- формулирование гипотезы и цели исследования,

- планирование,

- определение инструмента и критериев исследования,

- контроль и оценка, корректировка.

Как всякая деятельность, экспертная деятельность, может иметь следующее целеполагание:

1. Оценка степени соответствия рассматриваемых материалов некоторым нормативным моделям, либо существующим требованиям или традициям. Обычно такая оценка выражается в совокупности общих, специальных и конкретных критериев. По ее результатам возможны рекомендации по доработке основных позиций в предмете экспертизы, либо – мотивированный отказ от дальнейшего рассмотрения проекта. Подобная форма экспертной работы (по уже существующей или заранее сформированной системе критериев) может быть названа нормативно-деятельностной.

2. Оценка деятельности проектировщиков по проработке инновационного проекта, приращению их профессионального мастерства, а также оценка деятельности по реализации проекта (степени реализации проекта).

3. Понимание авторского замысла, исходной проектной идеи, выявление ее мировоззренческого контекста, целевых ориентаций проекта и его ценностно-смысловых оснований. Подобная форма экспертной работы может быть названа герменевтической.

Полноценная экспертиза возможна при выявлении трех ее содержательных момента: если известно, что оценивается (объект экспертизы), если существуют способы оценивания (процедуры экспертизы), если выявлены исходные основания оценки (критерии экспертизы). Последний момент оказывается здесь – в ситуации инновационных преобразований – наиболее проблематичным.

В стабильных условиях оценка чего-либо всегда так или иначе обеспечена – уже существующие эталоны, нормы, стандарты, каноны, правила, меры, предписания позволяют с помощью соответствующих средств (процедур) соотнести с ними экспертируемый объект (процесс, явление, свойство, продукт, результат и др.) Однако, возможна ли вообще экспертиза в ситуации инновационного действия, в ситуации выхода в безмерное? И если возможна – то на основании чего и какими средствами?

В уже сложившихся, хорошо структурированных формах общественной практики фиксация того или иного объекта экспертизы обычно не представляет трудностей; сложнее это сделать в практике становления инноваций либо находящейся в процессе кардинальных преобразований. Работа эксперта (способы, процедуры экспертирования) становится проблематичной именно в ситуации инновационных преобразований, где сами объекты и критерии экспертизы оказываются предельно неопределенными.

Экспертиза восходит к практике установления качества какого-либо продукта по его вещественным характеристикам. Классическим типом такой экспертизы может служить, например, дегустация, опирающаяся на суждения вкуса экспертов. Сюда же относится оценка разнообразных произведений художественной деятельности. В обоих случаях не существует специальных мер и нормативов, однако вполне могут быть исторически сложившиеся эталоны и законы – как, например, в живописи, литературе, иконографии и др.

Другой тип экспертизы как особой профессиональной деятельности связан с появлением принципиально нового объекта оценивания. Его можно обозначить как «исполненное действие» или «свершившаяся деятельность», более обобщенно – квалификация некоторого процесса. Примером здесь могут служить многие виды спортивной деятельности (художественная гимнастика, фигурное катание и др.), где объектом оценивания является исполненное действие и – деятельность в целом. С ситуациями «свершившегося процесса» постоянно имеет дело, например, судебная экспертиза, когда по некоторым материальным следам необходимо восстановить случившееся и «исполнить процесс» в следственном эксперименте; также и медицинский консилиум – как пример экспертизы «текущего процесса».

Новый и принципиально особый шаг в развитии экспертизы связан с оценкой предполагаемых изменений и преобразований в социокультурной сфере, к которой целиком относится и сфера образования. Эти предположения выступают, как правило, в форме общественных инициатив, политических деклараций, мировоззренческих концептов, социальных программ и проектов, которые в совокупности ориентированы на будущее. Понятно, что техники и критерии экспертирования того, что есть в своей качественной определенности (как в первом случае), или того, что уже свершилось (как во втором), в данном случае непригодны, ибо предполагаемые преобразования требуют оценки того, чего еще нет. Здесь возникает специальная задача по выявлению и переопределению объектов, критериев и процедур экспертирования этих – еще только возможных и, как правило, инновационных изменений относительно сложившейся практики.

В социальной жизни (а соответственно – и в образовании) изменения происходили и происходят всегда. Но в стабильных ситуациях они совершаются либо в пределах существующих норм и эталонов (и здесь достаточно классических институтов инспекции), либо эти изменения столь растянуты во времени, что качественные преобразования системы приобретают эволюционный характер и она успевает приспособиться к ним. Иное дело – инновации в настоящее время. По своему буквальному переводу, инновация – это «вновление», внедрение новшества в текущий процесс. Так что здесь возникают сразу два объекта экспертной оценки: само новшество и способы (или условия) его внедрения; причем в понятии инновации оба эти объекта сращены, один без другого не имеют смысла.

По кругу выполняемых задач экспертизу инновационных проектов можно сравнить с сертификацией. Критериальная база экспертирования инноваций в образовании определяется характером педагогических объектов, подлежащих экспертной оценке, и наличием (либо отсутствием) общественно и профессионально выработанных нормативов, эталонов, прецедентов. Типологически критерии экспертизы можно развести по трем основным позиция:

1. Общие критерии – позволяют оценить значимость (общественную и профессионально-деятельностную) предполагаемого проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации.

Состав критериев:

– актуальность представленного проекта: необходимость и своевременность реализации проектной идеи для совершенствования и развития соответствующего фрагмента образовательной системы;

– новизна (оригинальность) проектной идеи: принципиально новый подход, совершенствование существующей образовательной ситуации, модернизация массово-педагогической практики, предложение альтернативы и т.д.;

– масштабность проекта: локальный, местный, региональный, межрегиональный, общегосударственный;

– системность проекта: фрагментарный или системный характер (сценарий отдельного урока или образовательная программа, набор педагогических действий или образовательные технологии, методическое или научно-организационное обеспечение и т.д.);

– эффективность проекта: улучшение, существенное обогащение, кардинальное преобразование существующей образовательной ситуации;

– транслируемость проектной идеи: экстраординарность условий реализации идеи иди возможность ее тиражирования.

Основой общей критериальной оценкой является соответствие предполагаемых действий концептуальным целям и программным устан6овкам проекта.

2. Специальные критерии – позволяют оценить компетентность автора проектной идеи и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям.

Состав критериев:

– полнота структуры проекта: анализ образовательной ситцуации, развернутая конценция проекта (проектная идея, описание проблем, постановка целей, формирование задач), содержательная и организационная модель образовательной системы или ее фрагмента, план реализации проекта с ресурсным обеспечением, смета реализации;

– степень проработанности структурных элементов проекта: полнота, углубленность, конкретность и т.д.;

– согласованность структурных частей проекта: соответствие анализа ситуации – описанию проблем, концепции – основным направлениям деятельности, целей и задач проекта – существующим и необходимым ресурсам (технологическим, организационных, профессиональных, финансовых и т.д.).

Основой специальной критериальной оценки является соответствие целей, задач программы и плана действий той предметной области образования, относительно которой предполагается инновационные преобразования.

3. Конкретные практические критерии– позволяют оценивать степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности.

Состав критериев:

– реалистичность проекта: соответствие идеи, целей и задач проекта реальной образовательной ситуации, уровень обеспеченности проекта разного рода ресурсами, выявленность источников дополнительных ресурсов;

– реализуемость проекта: наличие, вовлеченность и согласованность действий других субъектов образовательной ситуации с действиями автора проекта при его реализации (характер организационно-деятельностного ресурса);

– инструментальность (управляемость) проекта: наличие научно-организационного обеспечения, способов и плана действий по реализации проекта, сформированность образовательных ресурсов.

Основой конкретной критериальной оценки является наличие специальных механизмов формирования разнообразных ресурсов, профессионально-деятельностных коалиций субъектов из разных общественных практик и их соответствия реальной образовательной ситуации, на которую ориентирован данный проект.

Таковы типологические группы критериев оценки инноваций в образовании, которые в реальной экспертизе могут быть конкретизированы относительно предметного содержания проектной работы и технологизированы относительно ее способов.

В заключение – несколько слов о процедурах экспертирования. Они определяются типом объектов экспертизы и общей формой экспертной работы. Индивидуальная экспертиза может проводиться отдельным профессиональном по четко очерченному предметному содержанию (методика, устав, учебный план и т.п.) в соответствии с либо уже существующими нормативами, либо по специально разработанным критериям; коллективная экспертиза – по достаточно формализованному методу «Дельфи», когда отдельные фрагменты проекта получают взвешенную оценку группы профессионалов; комплексная оценка – полипрофессиональная и полипредметная – предполагает разработку специальной технологии по согласованию совокупности групповых и индивидуальных экспертиз относительно сложного, многоаспектного проекта в рамках единого экспертного заключения; здесь наиболее эффективны метод компетентных судей и метод прецедентов, используемых как в режиме нормативно-деятельностной, так и в режиме герменевтической экспертизы, либо – и той и другой.

И, наконец, последняя позиция экспертной работы – экспертное заключение,в котором раскрывается характер объектов экспертирования, критериальная база и техники экспертирования.

Прочитайте материал о методе экспертных оценок и выполните задание, предложенное после данного материала.

Экспертиза конкретного проекта группой экспертов осуществляется по заранее выработанным критериям. Прежде чем приступить к экспертизе необходимо решить концептуальные и технологические проблемы.

К концептуальным относятся:

- выбор шкалы измерения (Измерение – это применение набора правил, по которым определенным характеристикам объекта ставятся в соответствие числа или символы. Введение показателей сравнения позволяет установить отношения между объектами, например – лучше-хуже, больше-меньше,т.п.),

- обоснование весов критериев (для оценки весов критериев можно также воспользоваться методом экспертных оценок, но можно применить и метод качественного упорядочивания критериев по важности),

- методы оценки согласованности мнений экспертов и формирование итогового мнения.

К технологическим:

- обоснование числа экспертов в группе(также необходима рабочая группа для организации мероприятий по отбору экспертов, их опросу, обработке полученной информации),

- обоснованиенабора критериев (не всегда удается обосновать набор критериев, необходимых и достаточных для принятия решения. При формировании набора критериев можно использовать следующие подходы: попросить каждого эксперта дать свое подмножество критериев, а затем объединить все предлагаемые подмножества в одно множество; если существует ограничение по числу критериев, то нужно упорядочить критерии по частоте упоминания; выбрать пересечение подмножеств критериев, предложенных экспертами),

- обоснование числа анализируемы одновременно альтернатив (Число одновременно оцениваемых альтернатив не должно превышать девяти).

В процессе применения метода экспертных оценок могут возникнуть некоторые проблемы, пример решения которых приведен в Таблице 5.

Таблица 7. Проблемы, возникающие при использовании методов экспертной оценки и варианты их решения

Алгоритм процедуры экспертизы:

- Эксперт получает материалы для анализа.

- Изучив представленный материал, а также руководствуясь собственным опытом и знаниями в области экспертируемой тематики, эксперт разрабатывает экспертное заключение (по каждому проекту, заявке, т.п.). Оно готовится с использованием специальной экспертной анкеты, путем проведения по установленным критериям количественной (бальной) и качественной оценки (выбором одного из предложенных вариантов уровней оценки), с соответствующим обоснованием оценок в письменном виде.

- Подготовка обобщенного заключения. После завершения оценки всех проектов формируется обобщенное заключение, содержащее таблицу с ранжированными, по суммарному количеству выставленных баллов, проектов. В данном заключении экспертом дается краткий сравнительный анализ рассмотренных проектов с указанием причин отданного предпочтения в отношении рекомендуемого победителя конкурса. Заключение направляется куратору экспертизы (в рабочую группу). На основании обобщенных заключений куратор экспертизы (рабочая группа) готовит общее заключение.

Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ)[7] и Российский фонд фундаментальных исследований (РФФИ)[8]. В РГНФ экспертная оценка формализуется в виде ответов на вопросы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:

5 — проект заслуживает безусловной поддержки;

4 — проект заслуживает поддержки;

3 — проект может быть поддержан;

2 — проект не заслуживает поддержки;

1 — проект не заслуживает рассмотрения экспертным советом.

Задание:В соответствии с данной шкалой вам предлагается экспертный лист по оценке инновационных образовательных проектов (см. Приложение 1).

A. Обсудите его в группе и договоритесь, будете ли вы использовать его в данном виде или он нуждается в некоторой переработке. О своем решении сообщите другим группам экспертов и обсудите с ними количество критериев, которые вы будете использовать для оценки инновационных проектных предложений на получение статуса ФИП (можете использовать критерии, предложенные в экспертном листе).

B. Проведите процедуру экспертизы каждого проектного предложения и определите уровень его зрелости (см. Профиль зрелости проекта – Приложение 1).

C. На основе профиля зрелости лучшего проектного предложения составьте обобщенное экспертное заключение (мнение о лучшем проектном предложении у разных групп экспертов может не совпасть). В экспертном заключении (итоговой оценке) необходимо обобщить результаты анализа проекта:

- Особенности проекта (НИР, программа развития, программа эксперимента и т.д.)

- Потенциал проекта

- Профиль зрелости проекта с комментариями

- Обобщенная оценка

- Преимущества, слабые стороны и риски проекта.

D. Представьте экспертное заключение в письменном виде.

Приложение I. Экспертный лист «Критерии оценки инновационных образовательных проектов»

№	Критерии	Показатели	Балл
	Характеристика инновационной направленности проекта	Соответствует приоритетам государственной образовательной политики РФ, развивается в логике мировых образовательных процессов
Соответствует приоритетам государственной образовательной политики РФ
Соответствует миссии образовательного учреждения
Проект носит инициативный характер
Проект не содержит инновационного потенциала
	Научный уровень проекта	Высокая научная значимость, принципиальная новизна, мировой уровень ведущихся и планируемых научных исследований
Основные научные результаты получены ранее, но не утратили актуальности. Ведутся прикладные исследования на мировом уровне
Научные результаты имеют российский приоритет, прикладные исследования представляют интерес в России
Научный задел пока актуален для данного проекта
Собственного задела нет
	Технологический уровень (реализуемость и воспроизводимость)	Имеются принципиальная новизна и оригинальность предлагаемых решений, наличие детального плана внедрения проекта, его операциональность, воспроизводимость в массовой практике
Новизна предлагаемых решений носит субъективный характер. Наличие плана внедрения проекта и собственных условий для его реализации
Недостаточная операциональность плана внедрения проекта, необходимость наличия особых условий для его реализации
Проект реализуем в конкретном ОУ
План внедрения проекта отсутствует
	Эффективная инновационная инфраструктура, интегрированная в экономическое пространство региона	Наличие эффективной инновационной инфраструктуры, наличие двух и более компонентов, взаимосвязанных между собой, диверсификация источников финансирования проекта, системная интеграция в экономическое пространство региона
Наличие инновационной инфраструктуры, диверсификация источников финансирования проекта, отсутствие системной интеграции в экономическое пространство региона
Наличие отдельных элементов инновационной инфраструктуры, использование традиционных источников финансирования, отсутствие механизмов интеграции в экономическое пространство региона
Наличие отдельных элементов инновационной инфраструктуры, функционирующей только за счет внутренних ресурсов
Отсутствие инновационной инфраструктуры
	Система управления проектом	Полнота всех функций управления проектом (наука, бизнес, производство). Наличие инновационной стабильной системы управления проектом, наличие организаций-партнеров, участвующих в управлении проектом.
Наличие инновационной развивающейся системы управления проектом, наличие организаций-партнеров, участвующих в управлении проектом
Наличие инновационной функционирующей системы управления проектом, ориентация на развитие проекта, наличие организаций-партнеров, не участвующих в управлении проектом
Наличие традиционной функционирующей системы управления проектом, нет ориентации на развитие проекта
Традиционная схема управления проектом, снижающая его инновационный потенциал

Профиль зрелости проекта

№	Критерии	уровни
	Характеристика инновационной направленности проекта
	Научный уровень проекта
	Технологический уровень (реализуемость и воспроизводимость)
	Эффективная инновационная инфраструктура, интегрированная в экономическое пространство региона
	Система управления проектом

Примечание: В экспертном заключении (итоговой оценке) необходимо обобщить результаты анализа проекта:

- Особенности проекта (НИР, программа развития, программа эксперимента и т.д.)

- Потенциал проекта

- Профиль зрелости проекта с комментариями

- Обобщенная оценка

- Преимущества, слабые стороны и риски проекта.

Источники и литература:

1. Игнатьева Г.А., Слободчикова В.И. «Методология экспертизы инновационных образовательных проектов» - http://www.niro.nnov.ru/?id=353

Инноватика и экспертиза. Научные труды Федерального государственного бюджетного научного учреждения «Научно-исследовательский институт – Республиканский исследовательский научно-консультационный центр экспертизы». – М.: ФГБНУ НИИ РИНКЦЭ, 2011. – Вып. 2(7). – с. 58-66.

3. Писарева С. А. Качество современного диссертационного исследования по педагогике: методология оценки. – СПб.: Изд‐во РГПУ им. А. И. Герцена, 2005. – 300 с.

4. Подуфалов Н. Д., Ханнанов Н. К. Разработка подходов к анализу эффективности научных исследований в РАО (на примере мониторинга результатов исследований 2007–2008 гг.) // Проблемы современного образования. – 2011. – №2. – С. 78–98.