Эффективности процесса обучения студентов

;*■'

И сколько нам открытий чудных Готовят просвещенья дух И опыт, сын ошибок трудных, И гений, парадоксов друг, И случай, бог изобретатель.

Александр Пушкин

Опыт и наблюдение — таковы величайшие источники муд­рости, доступ к которым открыт для каждого человека.

Вильям Чаннинг

4.1. Экспертная оценка эффективности учебно-воспитательного процесса

В последнее время для оценки учебно-воспитательного процес­са широкое применение находят экспертные системы [1-3]. Эти же системы позволяют оценить и такие показатели эффективности учебного процесса, как, например: эффективность процесса активи­зации познавательной деятельности обучаемых; степень полноты формирования творческой личности будущего специалиста; эффек­тивность формирования устойчиво-долговременной памяти и проч­ных знаний обучаемых. Один из возможных вариантов экспертной системы изображен на рис. 4.1.

Эксперты выбираются, как правило, из числа опытных специа­листов, имеющих достаточно большой опыт педагогической дея­тельности (доктора наук, профессора, академики). Для организации прямого опроса экспертов разрабатывается специальная социологи-

ческая анкета с определенным количеством вопросов. Достовер­ность оценки достигается в случае большого количества экспертов (советников), обычно требуется несколько сотен. Для ответов на во­просы анкеты целесообразно выбирать нечеткие критерии. Если тре­буется оценить, например, степень влияния какого-либо показателя, то выбираются следующие оценки: очень высокая, высокая, выше среднего, средняя, ниже средней, низкая, самая низкая. Для удобст­ва оценки среднестатистических результатов прямого экспертного опроса (блок оценки на рис. 4.1) целесообразно преобразовать шка­лу нечетких оценок в соответствующий числовой диапазон, напри­мер: +1...-1. При большом количестве экспертов обработку резуль­татов прямого экспертного опроса необходимо проводить на ЭВМ.

Блок памяти ЭВМ (база данных на рис. 4.1) предназначен для хранения не только результатов оценки эффективности системы по данной анкете, но и других результатов, полученных ранее для ана­логичных исследований. Массивы информации с различными опера­торами для моделирования (база информации на рис. 4.1) совместно с памятью создают условия для синтеза и идентификации результа­тов экспертной системы. В частности, в блоке обработки результа­тов оценки и выдачи решений могут решаться задачи коррекции во­просов анкеты, предложенной для экспертной оценки. В качестве примера ниже приведена социологическая анкета для оценки эффек­тивности методов развития творческой активности обучаемых.

Представляют также интерес различные варианты обработки результатов прямого экспертного опроса (рис. 4.2). Предположим, что требуется оценить эффективность различных методов творчест­ва, которые находят широкое применение не только в научно-техни­ческом творчестве, но и в педагогике, в частности, в ТРИЗ-педагоги-^ке. В качестве таких методов выбраны следующие (см. табл. 4.1): мозговой штурм, метод фокальных объектов («гирлянд ассоциа­ций»), метод синэктики, морфологические анализ и синтез, метод операторов ОВС (объем, время, стоимость), демопный и демотный анализ, метод контрольных вопросов.

6. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

ТРИЗ — это наука, изучающая объективные закономерности развития технических систем и разрабатывающая методологию (систему методов и приемов) решения технических проблем.

Предположим далее, что в оценке эффективности этих методов принимают участие 15 экспертов. Им предложено (каждому из них) провести сравнение только двух методов, причем должна использо­ваться бинарная система оценки, т. е. каждый из экспертов может использовать при сравнении двух методов лишь числа 1 и0. Естест­венно, что метод, которому отдается предпочтение, оценивается единицей, а другой метод — нулем. Поставить две единицы или два нуля ни один из экспертов не имеет права. При этом эффективность каждого из методов (Э) определяется таким образом:

Рисунок 4.1

Структурная схема экспертной системы

Глубокоуважаемый коллега!

Подчеркните Вашу должность, степень, звание и дайтеответы на вопросы анкеты

11рофессор. Доцент. Старший преподаватель. 11реподава гель. Ассистент.

Дою-ор наук. Кандидат наук. Доцент. Академик.

Рисунок 4.2

Анкета прямого экспертного опроса

Следует отметить, что в работе [1] в знаменателе формулы (4.1) учитывалось общее число экспертов.

Однако такая оценка некорректна, поскольку ситуация участия всех экспертов в оценке каждого метода исключена. Результаты оценки приведены в табл. 4.1.

Предположим теперь, что при бинарной шкале оценок каж­дый эксперт располагает возможностью сравнивать не два, а три метода. Кроме того, он имеет возможность отдать одинаковое предпочтение двум методам из трех сравниваемых, т. е. оценить два из методов единицей, а третий метод — нулем. Число экспер­тов считается равным 15. Результаты прямого опроса экспертов (один из возможных примеров) приведены в табл. 4.2. Она имеет такую же структуру, как и табл. 4.1, но сумма баллов и эффектив­ность сравниваемых методов получаются другими. Следует также отметить, что в табл. 4.1 не все методы могут иметь одинаковое наибольшее число баллов. Так, например, методы 1-3 имеют по­тенциальную возможность получить максимально по 6 баллов, а остальные — лишь по 3 балла. В табл. 4.2 максимально возмож­ное число баллов для метода 1 составляет 5; для метода 2 — 9; для метода 3 — 8; для метода 4 — 7; для метода 5 — 6; для мето­да 6 — 5; для метода 7 — тоже 5 баллов. Это учтено при опреде­лении эффективности.

В табл. 4.2 эффективность каждого из сравниваемых методов (Э) определялась по формуле:

Сумма балов общей оценки Наибольшее возможное количество баллов

Из сравнения таблиц 4.1 и 4.2 видно, что общая сумма баллов и сумма показателей эффективности для случая сравнения трех методов получаются большими, чем при сравнении лишь двух из методов.

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

Рассмотрим теперь семибальную систему оценки эффективнос­ти тех же методов творчества. При такой системе оценки каждый из экспертов располагает возможностью проставить в шкале оценок сравниваемых методов следующие баллы: 0, 1, 2, 3, 4, 5, 6. Таким образом, наиболее предпочтительный метод оценивается 6 баллами, а наименее эффективный получает 0 баллов. Оценка эффективности каждого метода производится по формуле (4.2). Здесь в отличие от таблиц 4.1 и 4.2 каждый из методов может получить максимальное количество баллов. Для этого случая оно определяется как 6 х 15 = 90. Как видно из таблицы 4.3, где приведены результаты прямого экс­пертного опроса для случая семибальной системы оценки, максималь­ное предпочтение отдается методу мозгового штурма (Э = 0,833). Естественно, что в таблицах 4.1—4.3 приведены примерные данные оценки, которые имеют лишь иллюстративный характер.