Экспериментально-теоретическое обоснование технологии САД

1) Предназначение технологии «Семантического анализа дея­тельности».

Методика САД предназначена для измерения характерис­тик психической деятельности индивида в процессе интериоризации, то есть ориентировочной психической деятельности человека, которая состоит из операциональной (ОЧ) и мотивационной (МЧ) частей*.

* Гальперин П.Я. Введение в психологию. — М., 1976; Теория поэтапного формирова­ния умственных действий // Исследование мышления в советской психологии. — М., 1966.

Измерение ОЧ происходит в процессе формирования у че­ловека нового умения или навыка. Темп усвоения этого знания посредством регистрации количества единиц отработанного стимульного материала по схеме ориентировочной основы дей­ствий (схема ООД) определяет уровень развития ОЧ.

Параллельно с измерением ОЧ через определение специ­фики усвоенных (то есть правильно отработанных в тесте) стимульных единиц оценивается и МЧ.

Таким образом, методика САД измеряет как форму (специ­фику) усвоения новой информации (мотивацию), так и темп (скорость) этого усвоения (то есть когнитивные характеристи­ки), которые характеризуют индивидуализацию интериоризационных процессов человека.

Каким образом фиксируется эта индивидуализация? Во-первых, испытуемым предлагается специфический или профес­сионализированный стимульный материал, отражающий опре­деленный вид реальной деятельности посредством семантичес­ких стимульных единиц — «слов-тем» (О. Маурер, 1954), то есть ключевых понятий. Понятия подобраны в соответствии со спе­циальной процедурой: соблюдением принципов наибольшей частоты употребления в речи, дифференцированности и наи­меньшей привычности (Л. Постмен). Во-вторых, испытуемые должны произвести логический анализ (дать логическое опре­деление) стимулам-понятиям при помощи имеющейся логи­ческой схемы, которая выступает в роли схемы ООД* или «под­сказки».

* Схема ориентировочной основы действий.

Как правило, испытуемый (ребенок-подросток)* дает наи­более адекватное определение стимулам-понятиям, взятым из значимой для него сферы деятельности, так как индивидуаль­ное семантическое поле отпрофилировано в соответствии со спецификой предметной деятельности социума, представите­лем которого является испытуемый субъект.

* Первоначально методика САД разрабатывалась для испытуемых подростково­го возраста.

Фиксация (на регистрационном бланке) количества и каче­ства (профиль) правильно отработанных стимулов-слов пока­зывает темп и направленность психической познавательной деятельности испытуемого (обучаемость).

2). Конструкция технологии САД.

Методика САД состоит из двух субтестов (заданий). Пер­вое задание — Стартовый тест (СТ) является тренировочно-подготовительным и знакомит испытуемых с логической схе­мой и порядком отработки регистрационных бланков. Ре­зультаты СТ могут учитываться и в процессе диагностики. Второе задание — Семантический анализ мотивации (САМ) - зачетное, в ходе его отработки фиксируется темп и направ­ленность процесса усвоения стимульных единиц (слов-по­нятий), взятых из различных областей реальной предметной деятельности.

Субтесты (задания 1 и 2) имеют одинаковую композицион­ную структуру и состоят из стимульной, обучающей (ориенти­ровочной) и регистрационной частей.

Стимульная часть Стартового теста (задание 1) представля­ет собой набор слов из ограниченного числа букв. Принято во внимание то обстоятельство, что испытуемый должен иметь начальные ориентировки: знание русского языка и понимание смысла элементарных геометрических фигуробразов. Слова-стимулы составлены из букв русского алфавита (к, о, п, р, т) в соответствии с начальными буквами названий геометрических фигур (квадрат, окружность, прямоугольник, ромб, треуголь­ник). Испытуемым предлагается мысленно по букве «собрать» слово-стимул, причем порядок букв определяется очереднос­тью вписывания одной фигуры в другую. С учетом этого усло­вия составлены несколько слов-стимулов (задач): ТОПОР, КОТ, РОТ, ТОК, КРОТ, РОКОТ, ОКОП, ТОРТ, КРОТ и т. д., которые помещены в регистрационный бланк в графу «Содержание» и предъявляются испытуемым.

Ориентировочная (обучающая) часть теста представляет собой схему ООД, которая указывает оптимальный и альтерна­тивный пути решения задачи. В схеме представлены вопросы и варианты ответов (да-нет). Вопросы определяют последователь­ность вписывания фигур и соответственно порядок букв в фор­мируемом слове. Процедура формирования каждого последу­ющего слова начинается с первого вопроса.

Отработка задания заканчивается с завершением формиро­вания последнего слова-стимула. В результате в регистрацион­ном бланке напротив каждого стимула в графе «№ ответов» за­писывается цифра, которой обозначена последняя буква.

Правильность выполнения задания оценивается по «клю­чу». За каждый правильный ответ испытуемым присваивается один «сырой» балл. Минимальное количество ответов — ноль, максимальное соответствует количеству слов-стимулов.

Стимульным материалом для второго задания являются по­нятия из различных сфер человеческой деятельности. Работа со стимульным материалом — довольно сложный многоступен­чатый процесс, который должен учитывать основные особенности «чувственной ткани» испытуемого: процессов восприя­тия, узнавания и усвоения стимула.

Экспериментально доказано, что существует положитель­ная связь между предпочтением известных значений слов-сти­мулов и порогом их различения, то есть сенсибилизирующее (опережающее) влияние мотивации на перцепцию (Дж. Кэттелл, В. Брайан, Н. Хартер, Л. Постмен,Дж. Брунер и др.), между частотой, с которой слова встречаются в языке, и быстротой их «узнавания» субъектом (Р. Соломон, М. Хауес). Сделан мето­дологический вывод (Л. Постмен) о том, что при исследовании мотивации необходимо, во-первых, сделать фактор «привыч­ности» слова-стимула постоянным или учитывать коэффици­ент его изменения и, во-вторых, учитывать характер знакомости слов.

Таким образом, при отборе слов-стимулов для измерения мотивации учитывается их низкая привычность для данной популяции, константность по частоте употребления в речи и максимальная дифференцированность по объекту, который они обозначают.

Первым этапом отработки стимульного материала является отбор при помощи частотного словаря русского языка 100 — 150 слов с относительной равночастотностью употребления в речи и относительной дифференцированностью по исследуе­мым признакам (близость к ключевым понятиям, например: «человек» и «техника»). Второй этап представляет собой оцен­ку экспертами-профессионалами слов по их смысловой бли­зости к ключевым понятиям. Расчет коэффициента «близос­ти» средневзвешенной оценки:

где СЭО = Σ Оц_{экспертов}

СЭО_mах = 5Н; при N — количество экспертов.

Причем Р_эо должен быть больше 0.5.

На третьем этапе производится экспертиза (при помощи экспертов — представителей популяции) слов-понятий по сте­пени привычности при средневзвешенной оценке менее 0.7. Формирование стимульного материала в соответствии с требо­ваниями ориентировочной части методики и разработка реги­страционного бланка является четвертым этапом.

Ориентировочная часть представляет собой формально-ло­гическую схему анализа понятий (определение понятий по смыс­ловым формально-логическим признакам). Схема оказывает функциональную помощь испытуемым в этой работе. Слова-понятия, которые наиболее знакомы или интересны испытуе­мым, получают адекватное логическое определение. Эта адек­ватность отражает ориентированность испытуемых на опреде­ленную семантическую область. Предполагается, что испытуе­мый добьется больших результатов в этой области деятельности, то есть мотивирован на ее качественное выполнение, проявляет интерес к ней, у него ярко выражена определенная личностная направленность. Слово — это уже обобщение, то есть отражение деятельности индивида (В. Гумбольдт, Л. С. Выготский). Имен­но в этой семантической единице (слове-понятии) кроется обоб­щенный образ реальной предметной деятельности*. Адекватный индивидуальный смысл понятия относительно его обществен­ного значения, то есть точный формальный анализ слова, отра­жает направленность индивида к определенной сфере деятель­ности.

* Вл. Соловьев. Теоретическая философия. 1899. С. 142-146.

Таким образом, ориентировочная часть измеряет степень усвоения или приоритетности усвоения испытуемым специфи­чески направленной (профессиональной) информации и про­гнозирует успешность как обучения, так и мотивацию его к определенной предметной деятельности.

Структура второго задания представляет собой семи- или трехступенчатую логическую схему* с результирующими таб­личками в конце каждого этапа выполнения задания. Регист­рационная табличка обозначена цифрой и словесным опреде­лением понятия, отражающим его формально-логические при­знаки. Если слово-стимул соответствует, по мнению испытуемого, определенной результирующей табличке, то полученная цифра заносится в регистрационный бланк. Анализ каждого понятия-стимула начинается с первого вопроса. Оценка пра­вильности ответов осуществляется при помощи «ключа». За каждый правильный ответ начисляется один «сырой» балл. Минимальная суммарная оценка — ноль баллов, максималь­ная определяется количеством исследуемых слов-стимулов.

* Существуют полный и сокращенный варианты САД.

Для отработки элементов структуры САД был проведен кор­реляционный анализ взаимосвязи субтестов СТ и САМ (рис. 8).

Рис. 8. Интеркорреляционная матрица субтестов САД

Выявлена слабая прямая связь между субтестами, что по­зволяет сделать вывод об их несовместности (Славин М.Б., 1989; Кулагин Б. В., 1984). Наибольший вес в тестовой структуре имеет второе задние (R_xу = 0.89), выполняющее основную диагности­ческую функцию в процессе обследования.

3). Процедура обследования, обработка и интерпретация ре­зультатов.

Выполнение методики САД может осуществляться в инди­видуальном и групповом вариантах. В групповом варианте ис­пытуемые по возможности изолируются друг от друга (расса­живаются по одному за стол).

Инструкция испытуемым является первичной ориентиров­кой в процессе формирования установки на совместную пси­ходиагностическую деятельность испытуемого и эксперимен­татора. В инструкции в популярной форме изложен алгоритм выполнения заданий, даны опорные ориентиры и признаки этапов экспериментального действия. В ней приводится кон­кретный пример, иллюстрирующий порядок работы испыту­емого, определены форма записи результатов в регистраци­онный бланк, время работы и ограничительные правила. Ру­ководитель обследования устно объясняет непонятные испытуемым положения инструкции, нормативные правила и ус­ловия работы.

Примерная инструкция к субтесту «СТ» (первое задание САД)

В первом задании при помощи ориентировочной схемы со­бираются буквы в слова (десять слов). Время работы 5 минут.

Решается необычная задача-игрушка. Представьте, что пе­ред Вами слово, состоящее из первых букв названий геометри­ческих фигур ( квадрат — «К», окружность — «О», ромб — «Р», прямоугольник — «П», треугольник — «Т»).

Порядок вписывания фигур определяет последовательность букв в слове. Например: если в ромб вписать окружность, а в нее - квадрат, то начальные буквы фигур, вписанных одна в другую по порядку, образуют слово «РОК». На следующем листе приведе­на схема, определяющая порядок вписывания геометрических фигур. Этот порядок дает возможность, отвечая на вопросы, дви­гаться по схеме, составляя по порядку буквы в слова.

В регистрационном бланке (рис. 9, задание 1) в графе «СО­ДЕРЖАНИЕ» помешены 10 слов (РОК, КОТ, ТОПОР и т. д.). Нужно мысленно проследить порядок вписывания букв пер­вого слова, отвечая на поставленные вопросы, начиная с пер­вого. Когда Вы отыщете последнюю букву исследуемого слова, то рядом в схеме обнаружите цифру, которую необходимо за­писать в регистрационный бланк напротив исследуемого слова в графе «№ ответа».

Затем мысленно совершите такой же путь со вторым сло­вом и т. д. до конца. Отработку каждого слова начинайте с пер­вого вопроса.

Работайте самостоятельно! Желаем удачи!

Примерная инструкция к субтесту «САМ» (второе задание САД)

Во втором задании при помощи логической схемы произ­водится логический анализ восемнадцати слов-понятий. Вре­мя работы 20 минут.

Вам необходимо мысленно «провести» по логической схе­ме каждое из слов-понятий, помещенных в регистрационный бланк (рис. 9, задание 2). Логическое определение понятия зак­лючается в поочередном ответе на поставленные вопросы. В схеме рядом с наиболее трудными вопросами помещены пояс­нения. Ввиду неоднозначности некоторых вопросов могут воз­никнуть проблемы понимания. Для этого и даются пояснения. Если и они не развеют Ваших сомнений, то попросите помочь руководителя тестирования, предварительно подняв руку.

В качестве примера разберем понятие «БАЛТИЙСКОЕ МОРЕ».

1?— это непустое понятие, так как Балтийское море суще­ствует и обозначается именно этим термином.

2?— да, это конкретное непустое понятие, оно является по­нятием о существующем конкретном объекте.

3? — отрицательный ответ на данный вопрос говорит о том, что исследуемое понятие не отражает посторонние при­знаки, а именно те, которые принадлежат объекту.

4? — отрицание относительности данного понятия объясня­ется тем, что в любых условиях, с любой точки зрения Балтийское море абсолютно.

Таким образом, «Балтийское море» есть абсолютное, конк­ретное непустое понятие!

?— ответ на вопрос о «конечности» данного понятия очеви­ден, так как в данном случае имеет место конкретное оп­ределение — не просто МОРЕ, а именно Балтийское.

? — понятие «Балтийское море» имеет единственное число - это очевидно.

? — на последний вопрос помогает ответить подсказка (таб­личка, обозначенная штрих-пунктиром) — это не соби­рательное понятие.

В результате нашего логического исследования мы вышли на табличку, обозначенную цифрой 8, - РЕГИСТРИРУЮЩЕЕ ЕДИ­НИЧНОЕ НЕСОБИРАТЕЛЬНОЕ ПОНЯТИЕ. Данное определе­ние можно запомнить, а цифру записать в регистрационный бланк напротив позиции «БАЛТИЙСКОЕ МОРЕ» в графе «№ ответа».

Таким образом и продолжайте работу!

Работайте самостоятельно! Желаем удачи!

Регистрационный бланк САД

Фамилия И. О._________________

Рис. 9. Регистрационный бланк к тесту САД (1993)

По требованию экспериментатора обследуемые заполняют «паспортные данные» в регистрационном бланке и по команде начинают работать. Время отработки заданий хронометрирует­ся. В ходе тестирования экспериментатор контролирует дей­ствия испытуемых. После тестирования регистрационные блан­ки сдаются руководителю.

Отработка регистрационных бланков осуществляется при помощи «ключа». За каждый правильный ответ испытуемому при­суждается один «сырой» балл. Таким образом, на регистрацион­ном бланке в соответствующих графах (Σ отв. 1 =; Σ отв.2 =; Σ т =; Σ г =) записываются соответственно сумма баллов, набранных при отработке первого и второго заданий, которые отражают темп познавательной деятельности (обучаемости) испытуемых, и сумма баллов по профилю их направленности (мотивации) деятельности.

Результаты обследования интерпретируются по двум на­правлениям. Во-первых, высокий общий суммарный балл по двум тестам показывает высокую способность испытуемого к усвоению предложенной информации, то есть высокую общую обучаемость. Во-вторых, высокий суммарный балл по опреде­ленным профилям деятельности в конкретной профессиональ­ной сфере определяет направленность (мотивацию) испытуе­мого. Исходя из этого делается вывод о темпе обучаемости и профессиональной направленности испытуемого.

4). Расчет надежности методики САД.

Под надежностью тестов понимается согласованность ре­зультатов неоднократного тестирования при помощи данной методики (А. Анастази, 1982). Надежность методики САД оп­ределялась тремя способами: ретестирования, параллельного тестирования и методом «расщепления» (надежность частей) теста.

а) Ретестовая надежность определялась при помощи коэф­фициента корреляции Пирсона через интервал ретестирования пять, два месяца и две недели. Величина коэффициентов на­дежности (R_хх) показана ниже в табл. 15.

Таблица 15

Величина коэффициентов надежности (R_хх) ТПА-САД

Интервал ретестирования	Субтесты (СТ/САМ)	Величины коэффициента надежности (Rxx)	Доверительный интервал
5 месяцев	СТ	0.6	0.01
САМ	0,58	0.01
2 месяца	СТ	0.7	0.01
САМ	0.54
2 недели	СТ	0.8	0.01
САМ	0.59	0.01

б) Расчет надежности методики методом параллельных форм осуществлен при использовании методики Равена (Дж. Равен, 1936) и семантического дифференциала (Ч. Осгуд, 1952) в ка­честве параллельных тестов. Показатели методики Равена ис­пользованы как опорные для сопоставления с показателями обучаемости (темпа усвоения информации), а семантического дифференциала (СД) — с показателями направленности.

В первом случае коэффициент надежности (R_xx) определен при помощи формулы:

где x_1i — показатели обучаемости методики САД;

x_2i — показатели методики Равена;

N — объем выборки.

Коэффициент корреляции СТ с показателями методики Равена (В и ∑) составил R_xx = 0.4, а теста САМ с показателями методики Равена (С, Е и ∑) — 0.47 при с < 0.01.

При определении надежности мотивационной части САД сопоставлены показатели СД и аналогичные показатели САМ, измеренные в дихотомической шкале наименований. В каче­стве коэффициентов надежности использованы коэффициент контингенции (Q) и коэффициент ассоциации (Ф), которые равны, соответственно, Q = 0.8; Ф = 0.5 (с ≤ 0.01).

в) Расчет надежности методом расщепления теста осуще­ствлен при помощи формулы [32]:

где К — число задач в заданиях;

pi — доля 1-го варианта ответа на i-й вопрос;

qi — доля 2-го варианта ответана i-й вопрос.

При К- 18 (тестСАМ); Σpi*qi = 3.69; Σ х²= 16.16; R_хх = 0.82 (р = 0.05).

Интерпретация коэффициента надежности: 82% дисперсии результатов теста САМ зависят от истинной дисперсии по из­меряемому свойству (обучаемости), а 18% — от дисперсии ошибки (или вследствие других влияний неких факторов).

5). Расчет валидности методики САД. Проблема валидности технологии САД требует особого и длительного разговора. На наш взгляд, главным здесь является пункт, посвященный перекрестной валидизации. Так как тест создавался для задач профориентации молодежи и был рассчи­тан на подростков, обучающихся в школе, то в основе своей он содержит принцип измерения профилированной обучаемости. Он оптимален для реализации целей диагностики обучаемости студентов, учащихся различных курсов и колледжей. Но как только пользователь касается сферы смыслообразования, ис­следования мотивации и операциональной части в процессе реальной деятельности взрослых людей, методика меняет свой предметный облик. Она начинает «видеть» тех испытуемых, которые имеют малый опыт, менее успешны, у которых еще не завершен процесс обучения-становления как профессионала. Тест продолжает фиксировать процесс интериоризации, а ему уже навязывают другой «внешний критерий», а именно поиск наиболее профессионально успешных. Объяснение здесь про­стое: в ситуации научения внешний критерий — это скорость и качество сформированного навыка, а в реальной профессио­нальной деятельности навык продолжает формироваться толь­ко у менее опытных и поэтому менее квалифицированных ис­пытуемых. Методика, оценивая обучение, в первом случае вы­соко коррелирует с результатом, а во втором — практически не соответствует ему.

На этих проблемах концептуальной и перекрестной валид­ности мы подробнее остановимся ниже.

Внутренняя ваяидность ТПА-САДопределяется путем иссле­дования концептуальной, содержательной, конструктной, опе­рациональной и расчета эмпирической валидности.