Применение шкал оценок на практике
Так, на основе пропорциональной шкалы разработана стандартная шкала (масштабом в ней служит стандартное отклонение). При ее использовании средний результат приравнивается к 50 очкам, а формула имеет вид:
(11)
где Т – оценка результата; х – показанный результат; – средний результат; – стандартное отклонение.
Ход работы:
Задача. Определите места спортсменов по результатам тестов двумя методами – с помощью ранговой шкалы и с помощью стандартной шкалы оценок. Сравните полученные результаты.
№ спортсмена | |||||
Толчок штанги, кг | |||||
Прыжок в высоту с места, см |
1) Для решения задачи необходимо заполнить таблицу 8:
Таблица 8.
№ спортсмена | |||||
Х | |||||
Y | |||||
dx | |||||
dy | |||||
dx+ dy | |||||
Место (1) | |||||
Тх | |||||
Ту | |||||
Тх+ Ту | |||||
Место (2) |
Где: Х – толчок штанги, кг; Y – прыжок в высоту с места, см; dx – ранги показателя Х; dy – ранги показателя Y; dx+ dy – сумма рангов двух показателей; Место (1) – места определенные с помощью ранговой шкалы; Тх – очки по Т-шкале показателя Х; Ту – очки по Т-шкале показателя Y; Тх+ Ту – cумма очков; Место (2) – места спортсменов, полученные при использовании стандартной шкалы оценок.
2) Для определения мест с помощью ранговой шкалы необходимо проранжировать спортсменов по обоим показателям, как показано в лабораторной работе 2 (dx и dy).
3) Далее необходимо найти сумму рангов каждого спортсмена (dx+dy).
4) Чем меньше сумма рангов по двум показателям, тем выше занятое место.
5) Для определения мест с помощью стандартной шкалы оценок необходимо выполнить расчеты, используя формулу 11, и получить оценки для каждого спортсмена по двум тестам (Тх и Ту).
6) Получить сумму очков двух тестов для каждого спортсмена (Тх+ Ту).
7) Чем больше сумма очков, тем выше место спортсмена.
Вывод: необходимо указать совпадают ли места спортсменов определенные двумя методами; указать преимущества и недостатки двух методов.
Контрольные вопросы.
1. Что такое оценка?
2. Задачи оценивания.
3. Типы оценочных шкал.
4. Нормы и нормативы. Разновидности норм.
5. Современность норм.
6. Репрезентативность норм.
Практическая работа №5.
Тема: Подготовка и проведение экспертизы методом опроса.
Цель: Освоить методику проведения экспертизы методом опроса.
Теоретические сведения.
Основные понятия и методы квалиметрии.
Квалиметрия – это наука об измерении и количественной оценке качественных показателей.
Качественныминазываются показатели, не имеющие определенных единиц измерения. Таких показателей в физическом воспитании и в спорте много. К ним относятся артистичность, выразительность в гимнастике, фигурном катании на коньках, прыжках в воду; зрелищность в спортивных играх и единоборствах и т. д.
Измерение качества – это установление соответствия между характеристиками таких показателей и требованиями к ним. При этом требования («эталон качества») не всегда могут быть выражены в однозначной и унифицированной для всех форме. Специалист, который оценивает выразительность движений спортсмена, мысленно сопоставляет то, что он видит, с тем, что он мысленно представляет.
В основе квалиметрии лежат 4 основных исходных положения:
1. Качество зависит от ряда свойств, образующих древо качества, т.е. необходимо найти составляющие элементы данного качества, их оценить, затем дать оценку всему показателю.
Пример – древо качества исполнения упражнений в фигурном катании на коньках, состоящее из трех уровней – высшего (качество исполнения композиции в целом), среднего (техника исполнения и артистизм) и низшего (измеряемые показатели, характеризующие качество исполнения отдельных элементов).
2. Любое качество или его элементы можно измерить с помощью экспертов, применив специально разработанные шкалы.
3. Каждое свойство (качество) определяется двумя числами: относительным показателем К и весомостью М. Относительный показатель характеризует выявленный уровень измеряемого свойства, а весомость – сравнительную важность разных показателей.
4. Сумма весомостей свойств на каждом уровне равна 1 или 100%.
2. Метод экспертных оценок. Отбор экспертов.
Экспертизой называется процесс получения оценок какого-либо качества путем выяснения мнений специалистов.
Экспертной называется оценка, получаемая путем опроса мнений специалистов.
Экспертные методы применимы в том случае, когда выбор и обоснование оценки результата не могут быть выполнены на основании точных измерений и расчетов.
Экспертиза бывает индивидуальной и групповой. К наиболее распространенным методам проведения экспертизы относятся опросные методы, включающие интервью, беседу, анкетирование.
Существует 2 подхода к выбору экспертов
1) Проводятся специальные экзамены, применяется самооценка экспертов.
2) Определяется эффективность деятельности экспертов.
Проведение экспертизы включает в себя следующие этапы:
1. Формирование цели экспертизы.
2. Подбор экспертов.
3. Выбор методики проведения опроса.
4. Обработка полученной информации, в том числе проверка согласованности достоверности индивидуальных экспертных оценок.
Профессиональная компетентность эксперта определяется:
а) по степени близости его оценки к среднегрупповой;
б) по показателям решения тестовых задач.
Анкетирование.
Анкетирование – это сбор мнений посредством заполнения анкет.
В отличие от интервью и беседы, анкетирование предполагает письменные ответы лица, заполняющего анкету (респондента) на систему стандартизированных вопросов.
Анкета, как правило, состоит из двух частей:
· В демографической части анкеты указывается имя и отчество, фамилия, возраст, образование и другие паспортные данные респондента.
· Основная – содержит вопросы, относящиеся к оцениваемому качеству.
Вопросы бывают:
ü Открытые. Это вопросы, не ограничивающие ответ респондента. Например: "В какой сфере деятельности вы хотели бы специализироваться?"
ü Закрытые. Это вопросы, содержащие варианты ответа. Пример: "Кем бы Вы хотели стать после окончания ВУЗа: тренером, преподавателем".
ü Прямыми называются вопросы, направленные на решение задачи. Например: "Какова роль скоростно-силовых качеств у спринтеров?".
ü Косвенный вопрос мог бы звучать так: "Сравните важность выносливости и скоростно-силовых качеств у спринтеров".
ü Условными называются вопросы, дающие респонденту высказать свое мнение о явлении, которое могло состояться при определенных условиях. Пример: "Каким будет состав команды в следующей игре, если сегодняшний матч будет выигран?"
ü Безусловными называются вопросы, в которых респонденту дается возможность выразить свое отношение к явлению. Пример: "Согласны ли Вы с таким составом команды на следующую игру?»
Большое значение при проведении экспертизы имеет согласованность экспертов: чем более одинаково эксперты будут понимать оцениваемое качество, тем выше степень согласованности. При двух экспертах степень согласованности оценивается по ранговой корреляции их ответов, при большем числе экспертов используют коэффициент конкордации:
(12)
Где – ранг оцениваемого качества, – средний ранг, рассчитывается по формуле (13), m – число экспертов, n – число оцениваемых качеств, причем 0≤W≤1
(13)
Пример:
Проранжированы 5 спортсменов тремя кандидатами в эксперты. Определите степень согласованности экспертов.
Для решения задачи необходимо заполнить таблицу 9.
Таблица 9.
№ эксперта | № спортсмена | Сумма | ||||
1. | ||||||
2. | ||||||
3. | ||||||
-3 | -1 | -5 | ||||
Где Ri – сумма присвоенных рангов каждому спортсмену, например: R1=5+5+4=14; R2=1+3+2=6… и т. д.
– средний ранг:
Вывод: коэффициент конкордации равен 0,84. Следовательно, степень согласованности экспертов высокая.
Ход работы.
1. Разбившись на группы в 3-4 человека, проранжируйте по степени важности следующие пять качеств, необходимых в Вашей будущей профессиональной деятельности.
1) Спортивная квалификация
2) Теоретические знания
3) Педагогическое мастерство
4) Призвание
5) Добросовестность
2. Оцените по коэффициенту конкордации степень согласованности мнений в каждой группе. Для этого:
1) Каждый эксперт (студент в группе) ранжирует качества по своему усмотрению, не ориентируясь на мнения других экспертов, и выставляет полученные ранги в строку со своим номером в таблицу 10.
Таблица 10.
№ эксперта | № качества | Сумма | ||||
1. | ||||||
2. | ||||||
3. | ||||||
… | ||||||
2) Определите , суммируя полученные ранги по каждому качеству от каждого эксперта.
3) Рассчитайте ∑ и по формуле 13, как показано в примере.
4) Для получения необходимо вычесть из данных предыдущей строки .
5) При расчете Предыдущая строка возводится в квадрат.
6) Получите ∑
7) Подставьте полученные значения в формулу 12 и получите значение коэффициента конкордации W.
3. Определите степень согласованности данной группы экспертов по величине коэффициента конкордации.
4. Запишите полученный вывод.
Контрольные вопросы.
1. Что такое квалиметрия.
2. Методы проведения экспертизы.
3. Сущность метода Дельфы
4. Этапы проведения экспертизы.
5. Методы определения согласованности экспертов