Особенности классического условного рефлекса

Смысл классического условнорефлекторного научения заключается в том, что через определенные интервалы времени после условного раздражителя предъявляется какой-либо безусловный (подкрепляющий) раздражитель. Подкрепляющий раздражитель (подкрепление) следует за условным сигналом независимо от того, будет ли осуществляться видимая ответная реакция организма или нет. При достаточно многократных повторениях условного и безусловного раздражителей, изолированное действие условного стимула начнет вызывать условную реакцию, которая полностью или частично имитирует безусловную реакцию на подкрепляющий раздражитель.

По мнению А.С. Батуева, «благодаря этим условным рефлексам обеспечивается первичная ориентация животного по признакам окружающей среды еще с самого начала любого поведенческого акта. С помощью классических условных рефлексов животное адаптируется к внешней среде. Принимая во внимание модулирующее значение физиологических потребностей, в этих случаях животное все же выступает в качестве достаточно пассивного участника событий, не имеющего возможности кардинально изменить их последовательность. Деятельное же, активное начало сведено к достаточно простым безусловнорефлекторным актам».

Выработка классических условных рефлексов подчиняется следующим правилам:

1. Для образования условного рефлекса необходимо совпадение во времени (сочетание) двух раздражителей: безусловного и индифферентного (условного). Под безусловным раздражителем понимается такое воздействие на животное, которое вызывает врожденную (безусловную) реакцию — глотание (при попадании пищи в рот), слюноотделение, почесывание и т. п. В качестве условного раздражителя, как правило, используются воздействия, не имеющие отношения к данной безусловной реакции, т. е. безразличные, индифферентные ей.

2. Условный раздражитель должен предшествовать действию безусловного раздражителя. При обратном порядке следования раздражителей условные рефлексы не образуются, или возникают с большим трудом. Для большинства условных рефлексов наиболее эффективно 0,5-секундное опережение условным раздражителем безусловного.

3. Условный раздражитель должен быть физиологически более слабым по сравнению с безусловным. Например, звуковая команда должна быть такой силы, чтобы не вызывать выраженной ориентировочной реакции со слухового анализатора. Увеличение интенсивности безусловного раздражителя (подкрепления) обычно повышает скорость научения, но только до определенного уровня.

4. Для образования условного рефлекса необходимо нормальное, рабочее состояние высших отделов центральной нервной системы. Образование условных рефлексов возможно лишь при определенном уровне возбуждения мозга. На фоне различных видов торможения научение происходит очень медленно или не происходит вовсе.

5. Во время отработки условного рефлекса кора головного мозга должна быть свободна от других видов деятельности. Если у животного во время образования условного рефлекса выражена какая-либо посторонняя потребность, научение, как правило, не происходит.

Существует несколько классификаций условных рефлексов:

1) по рецепторному признаку:

— экстероцептивные условные рефлексы образуются на раздражения внешней среды;

— интероцептивные условные рефлексы образуются на раздражения из внутренней среды организма. Такие рефлексы образуются более медленно по сравнению с экстероцептивными;

— проприоцептивные условные рефлексы образуются при сочетании раздражения мышц и сухожилий с безусловным рефлексом;

2) по эффекторному признаку:

— вегетативные условные рефлексы образуются на базе всех без исключения обменных процессов, протекающих в организме;

— сомато-двигательные условные рефлексы образуются на базе безусловнорефлекторных двигательных реакций. Простые двигательно-оборонительные рефлексы образуются очень быстро;

3) в зависимости от соотношения во времени действия условного и безусловного раздражителей:

— наличные условные рефлексы, образующиеся при совпадении во времени условного раздражителя и подкрепления. К наличным относят совпадающие условные рефлексы, когда подкрепление почти сразу же (не позднее 1—2 сек) присоединяется к действию условного раздражителя. Оставленные условные рефлексы при образовании которых подкрепление присоединяется к условному раздражителю спустя 5—30 сек. Запаздывающие рефлексы, когда подкрепление предъявляется после длительного изолированного действия условного раздражителя;

— следовые условные рефлексы, при образовании которых условный раздражитель и подкрепление отделены друг от друга определенными интервалами времени, то есть подкрепление сочетается с какими-то остаточными процессами возбуждения в анализаторных клетках коркового пункта условного раздражителя. В данном случае условным раздражителем становится не сам сигнал, а какой-то след от его действия. При образовании таких рефлексов, время между действием условного и безусловного раздражителей может составлять от 1 до 4 минут;

4) в зависимости от структуры условного сигнала:

— условные рефлексы на простые раздражители;

— рефлексы на одновременные комплексные раздражители, состоящие из нескольких компонентов, действующих одновременно;

— рефлексы на последовательные комплексные раздражители, отдельные компоненты которых действуют последовательно, накладываясь друг на друга;

— условные рефлексы на цепи раздражителей, когда отдельные компоненты сложного раздражителя действуют последовательно не совпадая друг с другом. Условные рефлексы на сложные раздражители вырабатываются быстро и легко, как на простые раздражители. Сначала условнорефлекторная реакция возникает не только на сложный раздражитель, но и на его отдельно взятые компоненты при их изолированном применении. По мере упрочнения условного рефлекса, его компоненты постепенно утрачивают сигнальное значение изолированного применения и сливаются в единое целое;

5) в зависимости от особенностей подкрепления:

— условные рефлексы первого порядка, образующиеся на базе безусловных рефлексов, то есть при безусловнорефлекторном подкреплении;

— условные рефлексы высшего порядка, образующиеся на базе ранее выработанного условного рефлекса. Условные рефлексы второго порядка образуются при соблюдении определенных правил: пауза между вторичным условным раздражителем и первичным должна быть не менее 10 сек (если эта пауза будет меньше, то вместо условного рефлекса второго порядка, образуется условный тормоз). Чем сильнее вторичный раздражитель, тем труднее образуется условный рефлекс второго порядка. Условные рефлексы более высокого порядка (выше третьего) у собак выработать не удается;

— подражательные условные рефлексы, при выработке которых подкреплением является не безусловное раздражение, а лишь вид действия другого животного (однако в последнее время выяснилось, что это не так);

— ассоциации, образующиеся при сочетании индифферентных раздражителей, на базе ориентировочных реакций.

Выделяют также условные рефлексы на отношение (вес, размер и т. п.) и на временные интервалы (время). Условные рефлексы «на время» могут быть выработаны на различные периоды — от нескольких секунд до часов.

Динамический стереотип

Под динамическим стереотипом понимают зафиксированную систему условных и безусловных рефлексов, объединенных в единый функциональный комплекс, образующийся под влиянием стереотипно повторяющихся изменений и воздействий внешней и внутренней среды организма.

Неизменный, стереотипный порядок следования раздражителей получил название внешнего стереотипа.

Динамический стереотип вырабатывается с трудом, но образовавшись, приобретает инертность и при неизменных условиях существования становится все прочнее и прочнее. Переделка динамического стереотипа возможна, но представляет большую трудность для нервной системы.

НАУЧЕНИЕ НА ОСНОВЕ ОБРАЗОВАНИЯ ИНСТРУМЕНТАЛЬНЫХ УСЛОВНЫХ РЕФЛЕКСОВ (ОПЕРАНТНОЕ НАУЧЕНИЕ)

Отцом инструментальной формы научения считается Э. Торндайк, который еще в конце прошлого века назвал такую форму научения обучением «методом проб, ошибок и случайного успеха». Торндайк проводил опыты, в которых кошки и другие животные должны были нажимать на задвижки или тянуть за пружины, чтобы, открыв дверцу, выйти из ящика и получить снаружи пищу. Ящики были сделаны так, что пища была заметна. Голодная кошка, впервые посаженная в ящик, производит множество действий, в том числе тянется к пище через щели и скребет предметы, находящиеся внутри ящика. Наконец она случайно ударяет по запирающему механизму и выскакивает наружу. При последующих пробах действия кошки постепенно концентрируются вблизи этого механизма, и другая активность со временем прекращается. Наконец кошка становится способной правильно вести себя, как только ее поместят в ящик. По словам Д. Мак-Фарленда: «Цирковые дрессировщики знали о научении такого типа в течение столетий, но Торндайк первый исследовал его систематически и создал на основе своих наблюдений стройную теорию».

Но отечественному читателю более известен американский ученый Беррес Фредерик Скиннер, который внес основной вклад в изучение закономерностей образования инструментальных условных рефлексов. Предложенное им определение оперантного научения и оперантного условного рефлекса сейчас наиболее употребимы при характеристике инструментальной формы научения. Может быть не очень систематично, но популярно и талантливо оперантный метод научения и оперантный метод дрессировки изложен в работах американского психолога и дрессировщика Карен Прайор.

Вместо неоднократного применения сочетаний, характерного для классической выработки условных рефлексов, Скиннер разработал методику свободного оперантного поведения, при которой животному позволяют совершать различные действия, нужные из которых подкрепляют. Чаще всего для таких опытов выбирались крысы и голуби, хотя использовались и другие животные, а также человек. Знаменитый «ящик Скиннера» на самом деле представляет собой ящик с одной из сторон которого имеется педаль (рычаг), который соединен с кормушкой. Снаружи за стенкой расположен сложный механизм, функция которого состоит в том, что после каждого нажатия на педаль в кормушку падает гранула корма. Как только крысу сажают в ящик, она начинает активно исследовать его — обнюхивать и карабкаться на стенки. При этом случайно нажимает на педаль после чего в кормушку падает корм. Обычно животное этого не замечает, но найдя пищу, съедает ее. Продолжая обследовать ящик, крыса вновь случайно нажимает на педаль и постепенно обнаруживает зависимость между этим действием и результатом. Как только временная связь станет для нее понятной, крыса начинает нажимать на педаль, когда захочет есть. Характерно, что вначале крыса нажимает на рычаг очень редко, затем число нажатий начинает медленно расти. После примерно 140 минут опыта число нажатий вдруг возрастает очень быстро. Совсем не обязательно ждать от животного случайного нажатия на рычаг. Это действие можно спровоцировать (инициировать) различными способами, например, для обучения голубя клевать педаль, к ней можно приклеить зернышко. Если говорить о наработке форм поведения связанных с пищевой потребностью, то рекомендуется понизить массу тела животного до 80% (!) от первоначальной, то есть создать у животного выраженную пищевую потребность (мотивацию).

В «ящике Скиннера» животное может освоить не только формы пищевого поведения. Например, если соединить рычаг с обогревателем воздуха, крыса быстро обучается поддерживать оптимальную для себя температуру, регулярно отключая и включая обогреватель нажимом на рычаг.

Хотя открытие и изучение инструментальных условных рефлексов считается заслугой американской науки, они исследовались и в школе И.П. Павлова (например, А.Г. Ивановым-Смоленским, Г. Зеленым). Известный польский ученый Ю.М. Конорски, который также является учеником Павлова, считается одним из создателей теории об инструментальных условных рефлексах, которые он называл условными рефлексами второго типа.

Однако еще раньше в России обнаружил эту форму научения и использовал ее в своей работе талантливый цирковой дрессировщик В.Л. Дуров.

Обстоятельства и ситуации в которые попадают животные вынуждают их совершать те или иные формы поведения, приспособливаясь или активно сопротивляясь. Ученые назвали такое поведение оперантным (от латинского operatio — действие). Действия животных приводят к каким-либо последствиям или результатам, от которых зависит, будут ли они повторять эти действия или избегать их. То есть инструментальные условные рефлексы строятся на основе активной целенаправленной деятельности животного. Последовательность событий и результат их в данном случае, зависят не только от внешней сигнализации, но и от поведения самого животного. Таким образом, первое отличие инструментального условного рефлекса от классического заключается в активной, целенаправленной деятельности обучающегося животного. Вторым отличием является то, что инструментальный рефлекс не воспроизводит лежащую в его основе безусловную реакцию, в то время как классический условный рефлекс частично или полностью воспроизводит ее.

При образовании инструментальных условных рефлексов основную роль играет «внутренняя активность животного» — его потребность и мотивация. То есть в основе поведения лежит не внешняя сигнализация, а внутренняя потребность животного. И считается, что выбор реакции животным определяется не вызывающим ее раздражителем, а установлением временной последовательности между реакцией, выполняемой животным в данной ситуации и подкрепляющим раздражителем. При классических условных рефлексах связь устанавливается между стимулами и результатом, а при инструментальном научении, она возникает между реакцией и результатом. Таким образом, действие животного приобретает сигнальную функцию по отношению к результату (подкреплению).

Эффективность научения в форме образования инструментальных условных рефлексов заключается не только в том, что животное само стремится совершить какое-либо действие, но и в том, что подкрепление — это не просто событие, связанное временной последовательностью с каким-либо сигналом, а всегда удовлетворение доминирующей потребности, поэтому и становится биологически важным, а действия приводящие к нему — биологически целесообразными.

Несмотря на кажущуюся близость инструментальных условных рефлексов двигательным классическим рефлексам, специальными исследованиями было доказано существование различий между ними. В одном из них собака должна была до тех пор реагировать на первый раздражитель, пока не предъявлялся второй, за которым следовало пищевое подкрепление. Оказалось, что первый раздражитель вызывал инструментальную реакцию, не сопровождающуюся слюноотделением, тогда как второй вызывал слюноотделение.

Но следует отметить, что хотя естественное поведение животных в основном инструментально, в формировании поведенческого акта трудно различить роль и участие того или иного вида условного рефлекса.

Этапы оперантного научения:

1. Создание состояния выраженной потребности у животного.

2. Первичная инициация нужного поведения (поведенческого акта) одним из способов дрессировки. При этом избегаются способы болевого воздействия (оборонительного поведения) и предпочитаются способы, основанные на отборе поведения.

3. Создание условий при которых животные самостоятельно воспроизводят первично инициированное поведение.

4. Введение стимула, санкционирующего данный поведенческий акт.

5. Использование свойств подкрепления и тренировочного процесса для закрепления поведенческого акта до навыка.

Оперантное научение может быть основано на любой потребности, выбор которой определяется задачами дрессировки и особенностями животного. Например, для одной собаки при отработке навыка подхода к дрессировщику, можно применить социальную потребность (потребность в стае), для другой эффективней использование пищевой потребности, а с третьей — приходится применять потребность в самосохранении или оборонительную.

Как известно, потребность, вызывая мотивированное поведение6 активизирует механизмы памяти, способствует сохранению внимания и достаточно долго поддерживает необходимое поведение и общую двигательную активность животного.

Инициировать нужное поведение можно любым способом, однако в оперантной дрессировке наиболее употребимы способы отбора поведения, усиления поведенческого акта или его элемента и наведения. Важно вовремя прекратить применение вспомогательных способов, добиваясь самостоятельности животного.

Введение команды можно осуществить как на втором этапе, так и после отработки необходимого действия.

При оперантном научении подкреплению придается особое значение, так как оно определяет скорость и эффективность научения. При этом учитывают знак, величину, режим и время подкрепления. С подкреплением связано несколько «золотых» правил дрессировки:

1. Закрепляется то, что подкрепляется.

2. Отмена положительного подкрепления несет информацию отрицательного подкрепления.

3. Вариабельный режим подкрепления способствует более быстрому закреплению действия и более медленному его угашению.

Многократное повторения действия, связанное с изменением режима подкрепления и сменой мотивации, обеспечивает автоматизацию поведенческого акта до навыка.

ИМИТАЦИОННОЕ НАУЧЕНИЕ

Имитационным научением или подражанием называют особую форму научения у животных в условиях общения, когда одно животное следует примеру другого.

Различают инстинктивное подражание у животных (взаимную стимуляцию), например, присоединение животных к кормящимся особям, бегство, реакцию следования и т. п. У собак инстинктивное подражание можно наблюдать при групповых занятиях по развитию злобы и недоверчивости к посторонним, исполнению команды «ГУЛЯЙ!». Таким же образом одна собака может научить другую подбирать пищу с земли или играть с предметом.

Настоящее имитационное научение происходит тогда, когда расширяется и обогащается врожденный репертуар поведения путем заимствования чужого опыта, чаще всего подражания детенышей действиям взрослых особей.

Установлено, что животные с первых дней рождения копируют поведение матери по отношению к животным своей стаи, животным другого вида и человеку. Позднее происходит подражание пищедобывательному поведению и оборонительным реакциям.

Значение имитационного научения в ранний период жизни огромно. Лишение возможности подражания животным своего вида приводит к необратимым изменениям поведения, так как подражание у животных является «социальным» способом передачи информации.

Ч. Дарвин считал, что подражание играет огромную роль в формировании поведения. В качестве примера он приводил собственную собаку, которая, воспитываясь вместе с котятами научилась кошачьей привычке умываться. Эту привычку она сохранила в течение последующих тринадцати лет жизни. И.П. Павлов постоянно подчеркивал, что рефлекс подражания управляет поведением человека и животных. Подражая, молодые животные совершенствуют свои врожденные безусловнорефлекторные поведенческие акты. Ученые давно обратили внимание на эту форму научения. Еще в школе Павлова В.Я. Кряжев (1935) впервые наблюдал условное слюноотделение у собак, после того как они многократно видели, как по сигналу кормят других собак. Сравнивая подражательные условные рефлексы у павианов и собак, М.П. Штодин (1941) обнаружил, что внешнее торможение этих рефлексов менее выражено у собак, а у павианов больше случаев подражательного угашения рефлексов. По его мнению подкреплением подражательных условных рефлексов служит вид натурального подкрепления другой особи и кинестезия от движения собственных мышц. У детенышей обезьян подражание развито лучше, чем у взрослых. По данным Л.Г. Воронина и Г.И. Ширковой (1948), детеныш лапундер-макаки начиная с семинедельного возраста стал перенимать у матери «побежку» к кормушке по сигналу, а к 10-й неделе он уже тормошил мать и тянул ее к кормушке, если она задерживалась. При этом детеныш не получал пищевого подкрепления.

Лучше всего развито подражание у антропоидных обезьян. Они могут перенимать довольно сложные цепи условных рефлексов, состоящие из 8—10 движения, и переделку положительных реакций в отрицательные и наоборот (Ширкова, 1965).

По наблюдениям израильских ученых ха крысами в естественной среде, взрослые крысы неспособны научиться открывать шишки методом проб и ошибок, они лишь грызут шишки случайным образом, Детеныши способны обучаться наблюдая за опытной крысой. Опыты по перекрестному выращиванию детенышей от матерей не владеющих техникой открывания показывают, что речь идет не о генетическом, а о культурном процессе передаче навыка. В последнем эксперименте взрослым неопытным крысам предлагали шишки с последовательно увеличивающимся количеством снятых чешуек. Большинство таких крыс обучилось обдирать шишки.

Высшим проявлением имитационного научения является имитационное решение задач, которое происходит путем лишь одного наблюдения за действием другой особи. Считается, что такое научение происходит крайне редко. Классическим примером этому является обучение синиц лазоревок Англии протыкать клювом крышки молочных бутылок и выпивать сливки.

Чаще всего имитационное научение используют для натаски охотничьих собак. Такой способ считается наиболее легким, но замечено: хотя молодые собаки способны копировать все поведение, они легче усваивают отрицательные, с точки зрения человека, навыки. Хотя по свидетельству И.И. Шидловского (он пишет об этом в своей книге «Cобака-ищейка и розыск с ней» Ленинград, Издание Леноблохотсоюза, 1931) в Саратове и служебных собак милиции «учили по способу «перенимания», заключающегося в том, то все упражнения сначала показывали на работе уже вполне обученных, образцовых собак и в течение недолгого времени обучавшиеся собаки, подражая уже ранее выдрессированным, усваивали первоначальные упражнения по общему послушанию». Далее он приводит в качестве примера имитационный способ обучения собаки навыку подачи голоса, ссылаясь на известного немецкого дрессировщика того времени Р. Герсбаха: «на глазах своей собаки подавать команду «голос» другой, уже выдрессированной и после каждой подачи ее хвалить и ласкать». «Инстинкт подражания и самолюбия, говорит Р. Гресбах, очень скоро заставят вашу собаку дать голос». Способ хороший, верный, но мы добавим на основании своей практики, что еще лучше и вернее будет, если мы на глазах дрессируемой собаки будем дрессированную за каждую подачу голоса награждать не похвалами и ласками, а какими-либо вкусными кусочками».

Для обучения методом подражания используют хорошо отдрессированную послушную собаку. Лучшие результаты достигаются при использовании собаки более старшего возраста, живущей совместно с молодой, что связано с доминированием. Например, у обезьян подражание более вероятно, если инициатива исходит от доминирующих особей. Однако у животных всегда есть исключения. Так японские этологи наблюдали над стадами обезьян в их естественной среде. Когда ученые смогли подходить близко к самым молодым животным, они стали в их присутствии мыть в воде бататы перед едой, Исследователи быстро убедились в том, что молодые обезьянки начали подражать такому поведению, а через некоторое время оно появилось и у их матерей. Вскоре этот навык усвоили все особи стада, за исключением самых старых, которые оказались к этому совершенно неспособны.

Применяя имитационное научение можно отработать у щенка исполнительные команды «КО МНЕ!», «ГУЛЯЙ!», информационную команду «ЧУЖОЙ!» и преследование нарушителя, легче отработать команду «МЕСТО!», навыки аппортировки предмета, плавания и преодоления препятствий.

Используя эту форму научения при воспитании и дрессировке, в качестве примера подражания желательно использовать знакомую для щенка собаку, спокойную и доброжелательную по отношению к нему. Лучше, если щенок будет демонстрировать по отношению к ней позу подчинения. Так, например, дрессировщики лосей считают, что для ускорения выработки у лосят желательных навыков и управляемого поведения следует начинать работать именно с лосятами-доминантами, используя рефлекс подражания остальных лосят группы.

Нельзя использовать приемы воздействия на показательную собаку и щенка, вызывающие болевые ощущения и оборонительную реакцию. Показательная собака (собака-актер), не должна демонстрировать страх при выполнении приемов. Замечено, если «актер» за свой поступок получила поощрение, то ей подражают охотнее, чем в этом случае, если она была наказана. Особенно важно проводить занятия без отвлекающих раздражителей, мешающих наблюдению за показательной собакой и отвлекающих щенка. Необходимо также, чтобы особь-зритель наблюдала не только последовательность действий, но и их результат (подкрепление), а потребность в получении такого же подкрепления должна быть очень выражена.