Статистическая обработка результатов прямого экспертного опроса

В § 4.2 и 4.3 были рассмотрены вопросы результирующей оцен­ки эффективности различных методов научных исследований и кон­цептов когнитивной карты системы формирования знаний обучае­мых при сравнительно небольшом количестве экспертов.

Представляет интерес обработка результатов прямого эксперт­ного опроса в случае относительно большого числа экспертов. Для этих целей необходимо по первичной статистической совокупнос­ти, которая интерпретирует результаты прямого экспертного опроса как серию из m независимых опытов, составить ее упорядочение (упорядоченную статистическую совокупность) и далее построить статистическую функцию распределения [7].

В табл. 4.9 представлены реальные результаты прямых эксперт­ных опросов по пятидесятибалльной шкале оценок при участии 100 экспертов (т = 100). Естественно, что в таблице приведена не­упорядоченная первичная статистическая совокупность оценок, по которой практически невозможно представить себе характер распре­деления случайной величины X.

В табл. 4.9 т — номер опыта (оценки экспертов), а х_т — значе­ние экспертной оценки, которое является случайной величиной X.

Проведем упорядочение данных табл. 4.9, т. е. расположим их в порядке возрастания (см. табл. 4.10). Здесь к— номер опыта (экс­перта), а Хк — упорядоченное значение экспертной оценки.

Далее по упорядоченной статистической совокупности (табл. 4.10) можно построить статистическую функцию распределения:

(4.3)

F'(x) = Р'[Х<х] .

Функция F*(x) — разрывная, ступенчатая, непрерывная слева, рав­ная нулю левее наименьшего значения случайной величины X, найденно­го из результатов экспертного опроса, и единице — правее наибольшего.

Таблица 4.9

Результаты прямого экспертного опроса

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Таблица 4.12 Плотности частоты qk'

Таблица 4.10

Упорядоченная статистическая совокупность результатов экспертного опроса

Вместо построения статистической функции распределения (4.3) для нахождения закона распределения X можно воспользовать­ся так называемым группированным статистическим рядом и гис­тограммой процесса [7].

Для построения упомянутого ряда весь участок оси абс­цисс, на котором расположены значения случайной величины X (табл. 4.10) делится на разряды или участки. Длины разрядов можно выбирать различными, а границы их целесообразно брать круглыми числами.

Таблица 4.11

Группированный статистический ряд

Группированный статистический ряд изображен в виде табл. 4.11, где в верхней строке указаны разряды, а в нижней — соответствую­щие им частоты, причем

(4.4)

где цифра 10 означает число выбранных разрядов, а Р** — частота собы­тия. Частота Рк вычисляется как отношение числа 4 результатов прямо­го экспертного опроса, в которых значение случайной величины X попа­ло в к-й разряд (хк... Хк+\), к общему числу оценок (числу экспертов).

0,03

0,025 4

0,02 1----

0,015

0,01 4-

0,005 4

, <?/(*)

Рисунок 4.4

Гистограмма распределения

В К Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

0,1 0

5 10 15 20 25 30 35 40 45 50 х

Рисунок 4.5

Статистическая функция распределения F'(x)

В табл. 4.11 разряды выбраны одинаковыми с шагом 5, их об­щее число равно 10. Условие (4.4) выполняется.

Далее делаем следующее: делим каждую частоту Р_к* на длину соответствующего разряда Ак = х_к+\ - х* = 5. Таким образом, получа­ем таблицу плотностей частоты q^ (см. табл. 4.12).

Если отложить по оси абсцисс разряды и построить на каждом из них как на основании прямоугольник площади Р_к, то получим гистограмму, которая представляет собой статистический аналог кривой распределения случайной величины Л'(см. рис. 4.4).

На основе группированного статистического ряда (табл. 4.11) можно приближенно построить статистическую функцию распре­деления F*(x). В качестве тех значений х, для которых вычисляется F*{x), целесообразно взять границы выбранных разрядов (табл. 4.11, 4.12). Так, например, для случайной величины А", пользуясь группи-

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

рованным статистическим рядом (табл. 4.11), находим F (0) = 0; /(5) = Р"{Х<5) = 0,05; F*(10) = Р*{Х<Щ = 0,05 +0,10 = 0,15; F*(15) = = Р*{Х<\5} = 0,15 + 0,12 = 0,27 и т. д.

На рис. 4.5 изображена построенная таким путем статистичес­кая функция распределения F (х).

Таким образом, показано, что по значениям плотностей частоты можно определить статистическую функцию распределения случай­ной величины, представляющей собой результаты прямого эксперт­ного опроса. Это означает, что в некотором приближении частота события может характеризовать вероятность независимых и несов­местных результатов экспертных оценок. Последнее обстоятельство и будет использовано в § 4.5 для энтропийной оценки показателей успеваемости и качества обучения.

4.5. Энтропийная оценка показателей успеваемости и качества обучения

Оценка успеваемости и качества обучения студентов обычно осуществляется традиционным путем на основе фактических ре­зультатов письменного или устного экзамена. При этом успевае­мость определяется как отношение количества студентов, сдавших экзамен на «удовлетворительно» и выше, к общему числу студентов в академической группе. Качество характеризуется отношением ко­личества студентов, сдавших экзамен на «отлично» и «хорошо», к общему числу студентов. Для систем, отличных от четырехбалль­ной, можно также установить аналогичные критерии.

Представляет интерес разработка обобщенного критерия оцен­ки эффективности обучения, который учитывал бы одновременно показатели как успеваемости, так и качества. Для этой цели целесо­образно применить энтропийную оценку успеваемости и качества. При этом дифференциальную энтропию ЩХ) можно рассматривать ^как меру недостатка информации о состоянии системы обучения.

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

С поступлением информации о состоянии системы энтропия послед­ней уменьшается. Для использования энтропийного критерия оцен­ки успеваемости и качества обучения необходимо располагать апос­териорными вероятностями р(х^) независимых и несовместных оценок по результатам экзамена.

Дифференциальная энтропия системы обучения.При четы­рехбалльной шкале оценок ее можно определить по формуле [8]:

(4.5)

где p(xi) — апостериорные вероятности количества различных оце­нок на основе результатов экзамена; / = 1, 2, 3, 4, что соответствует оценкам «5», «4», «3», «2»; ki — весовые коэффициенты качества для различных оценок. Энтропия Н{Х) в случае использования двоичных логарифмов

дв.ед.

выражается в двоичных единицах информации на сообщение:---- .

сообщ.

Под сообщением здесь понимается совокупность всех оценок, полу­ченных в результате экзамена.

Расчет энтропии по результатам экзаменационных оценок,

Этот расчет производился для одной академической группы сту­дентов третьего курса в составе 24 человек. Экзаменационные оценки получены по различным учебным дисциплинам в течение двух семестров одного учебного года. Использовалась типовая че­тырехбалльная шкала оценок. Весовые коэффициенты качества вы­бирались таким образом, чтобы для лучших результатов экзамена энтропия была минимальной, т. е. k\ = 0,1; к% - 0,2; £₃ ⁼ 0,8; кл ⁼ 1.5. Эти значения коэффициентов были определены на основании сред­нестатистических данных прямых экспертных опросов опытных педагогов ряда вузов [9].

Результаты расчета дифференциальной энтропии представлены в табл. 4.13. В каждом ее столбце последовательно (слева направо) расположены следующие параметры: экзаменационные оценки, ус­певаемость, качество, место по качеству, апостериорные вероятнос­ти оценок согласно результатам экзамена pixi), значение дифферен­циальной энтропии.

Анализ результатов.Как видно из таблицы, энтропия увели­чивается при снижении показателей успеваемости и качества. Таким образом, минимальное значение энтропии характеризует высокие показатели успеваемости и качества. Здесь следует отметить, что в силу свойств логарифмов (log₂l = 0) для всех/?(х,) = 1 получаем ЩХ) = 0. Последнее справедливо для таких ситуаций, когда все оценки оди­наковы. Однако такие результаты экзамена вряд ли реальны, особен­но для случая одних «двоек».

Таблица 4.13

Результаты расчета дифференциальной

энтропии Н(Х)

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

Таким образом, энтропийная оценка показателей успеваемос­ти и качества является обобщенным критерием, объединяющим эти параметры. Реальные результаты экзаменов по различным учеб­ным дисциплинам с достаточной полнотой характеризуются значе­ниями дифференциальной энтропии. Естественно, что расчет энтро­пии производится программно с помощью ЭВМ. Для этого лишь не­обходимо ввести в программу результаты экзамена или контрольно­го опроса обучаемых. При необходимости использования логариф­мов с другими основаниями (десятичных или натуральных) диффе­ренциальная энтропия будет определяться не в битах на сообщение, а в дитах или натах.

В заключение отметим, что предложен новый критерий оценки успеваемости и качества студентов, основанный на расчете диффе­ренциальной энтропии экзаменационных оценок. Этот критерий в отличие от традиционного подхода к оценке показателей успевае­мости и качества обучения студентов обладает большей универ-i сальностью.

В этой же главе показана возможность статистической обра-1 ботки массивов информации, полученных в результате экспертной оценки. Последнее позволяет использовать ЭВМ для программного решения психолого-педагогических задач и оценки эффективности учебно-воспитательного процесса.

1.

2.

3.

4.

5.

6.

7.

8.

9.

10. И.

12. 13. 14. 15.

Вопросы для самоконтроля

Что представляет собой экспертная система для оценки показателей эффективности процесса обучения? Какая шкала оценок обычно рекомендуется для составления анкеты социологических исследований?

Приведите примерное содержание основных вопросов анке­ты для развития творческой активности. Как оценивается эффективность каждого из показателей анкеты?

Приведите примеры некоторых шкал существующих экс­пертных оценок.

Что понимается под когнитивной картой педагогической системы или отдельных ее подсистем?

Что представляют собой концепты или атрибуты когни­тивной карты?

Какова особенность вопросов социологической анкеты для прямых экспертных опросов на основе когнитивной карты?

Изобразите когнитивную карту системы формирования знаний обучаемого.

В чем заключается системный анализ когнитивной карты? Что понимается под консонансом и диссонансом взаимовлия­ния концептов системы?

Как понимать положительное и отрицательное взаимовли­яние концептов?

Как используются на практике результаты системного анализа концептов когнитивной карты? Что представляет собой первичная статистическая сово­купность результатов прямого экспертного опроса? Что понимается под упорядоченной статистической сово­купностью?

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

Глава 4 ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЦЕССА ОБУЧЕНИЯ СТУДЕНТОВ

16. Дайте определения статистической функции распределе­
ния и группированному статистическому ряду.

17. Что понимается под разрядом или участком группированно­
го статистического ряда?

18. Как на основе группированного статистического ряда нахо­
дятся значения плотностей частоты?

19. Что представляет собой гистограмма распределения слу­
чайной величины и как она строится?

20. Как на основе группированного статистического ряда пост­
роить статистическую функцию распределения случайной
величины?

21. Приведите формулу для определения дифференциальной эн­
тропии системы обучения,

22. Что представляют собой весозые коэффициенты качества
для различных показателей системы обучения?

23. Как осуществляется расчет дифференциальной энтропии
системы обучения по результатам экспертных и экзамена­
ционных оценок?

24. В чем состоит преимущество энтропийной оценки показа­
телей успеваемости и качества системы обучения по срав­
нению с традиционной оценкой?

Библиографический список

1. Barski Т. Technologia ksztalcenia nauczycieli techniki. — Opole:
«OPCIA-IPO», 1998. - 308 s.

2. Маригодов В. К., Слободянюк А. А., Стамировски Е. Оценка
эффективности системы обучения на основе нечетких когнитив­
ных карт. // Специалист. — 2000. — № 1. — С. 24-26.

3. Маригодов В. И., Слободянюк А. А., Барски Т. Экспертная сис­
тема в педагогических исследованиях. // Специалист. — 2001. —
№ 1. —С. 29-32.

4. Маригодов В. К., Слободянюк А. А., Стамировски Е. Теорети­
ко-информационная оценка эффективности системы обучения.
// Специалист. - 1999. - № 10. - С. 31 -34.

5. Маригодов В. К., Слободянюк А. А. Эргономико-эвристический
подход к вузовской педагогике: Учеб. пособие для вузов. — Се­
вастополь: Изд-во СевГТУ, 1998. — 171 с.

6. Силов В. Б. Принятие стратегических решений в нечеткой обста­
новке в макроэкономике, политике, социологии, менеджменте,
экологии, медицине. — М.: Изд-во «ИНПРО-РЕС», 1995. — 228 с.

7. Вентцель Е. С, Овчаров Л. А. Теория вероятностей и ее инже­
нерные приложения: Учеб. пособие для втузов. — 2-е изд., стер. —
М.: Высшая школа, 2000. — 480 с.

8. Уиттл П. Вероятность / Пер. с англ.; Под ред. В. В. Сазонова. —
М.: Наука, 1982.— 288 с.

9. Маригодов В. К., Слободянюк А. А. Основы научных исследова­
ний: Инженерная педагогика. — Севастополь: Изд-во СевГТУ,
1999.-240 с.

В. К. Маригодов, С. Е. Моторная ПЕДАГОГИКА И ПСИХОЛОГИЯ

ЛЬНОСТИ И ЕЕ КОМПОНЕНТЫ

Глава 5

ГОТОВНОСТЬ

К ПРОФЕССИОНАЛЬНОЙ

ДЕЯТЕЛЬНОСТИ И ЕЕ

КОМПОНЕНТЫ

Учитель — это личность, а не безличное воплощение требова­ний к учебному плану или стерильный трубопровод, по которо­му знание передается от одного поколения к другому.

Карл Роджерс