Классический условный рефлекс

Классические условные рефлексы первым описал в начале XX века русский фи­зиолог И.П. Павлов (1949; 19516). Он увидел в них простейшую форму обу­чения, при которой образуется ассоциативная связь между двумя события­ми. Первым событием является безусловный рефлекс — врожденная реакция организма на специфический для него раздражитель (например, выделение слюны при появлении пищи в полости рта или сосательный рефлекс у но­ворожденных, заключающийся в возникновении сосательных движений у младенца при помещении соска в рот).

Вторым событием является условный сигнал. Условным сигналом может стать любой раздражитель, который многократно сочетается с безусловным рефлексом. В первом предъявлении этот раздражитель будет индифферент­ным (незначимым) для субъекта. Однако в процессе многократного сочета­ния условного раздражителя с безусловным рефлексом между ними обра­зуется ассоциативная связь — условный рефлекс.

В результате выработки условного рефлекса индифферентный раздражитель становится условным, т. е. приобретает способность вызывать реакцию, подоб­ную безусловной. Например, звон посуды на кухне перед обедом вызывает у человека выделение слюны. Для того чтобы образовалась условная связь, т. е. возникло обучение, необходимы некоторые условия. Например, условный раз­дражитель должен предшествовать безусловному, причем промежуток време­ни между ними не должен быть ни слишком коротким, ни слишком длинным. Э. Кандэл (Кандэл, Хокинс, 1992) описал некоторые аспекты выработ­ки условного рефлекса на клеточном уровне у морской улитки аплизии. Удобство исследования этого животного связано с тем, что его централь­ная нервная система содержит всего около 20 тыс. нейронов. В поведен­ческий репертуар аплизии входят несколько простых рефлексов, из кото­рых лучше всего изучено рефлекторное втягивание жабры, служащей ор­ганом дыхания. Обычно животное втягивает жабру, когда раздражитель воздействует на противоположный участок тела — на мантийный выступ или сифон, которые иннервируются собственными группами сенсорных нейронов. Каждая из этих групп прямо контактирует с мотонейронами

жабры, а также с различными типами возбудительных и тормозных интер­нейронов, образующих синапсы с мотонейронами. Было обнаружено, что на основе рефлекса втягивания жабры можно выработать условный реф­лекс (рис. 15.7)

Слабое тактильное раздражение нервного пути, обслуживающего сифон, исследователи сочетали с ударом электрическим током по хвостовой части аплизии. В качестве контроля при этом использовали нервный путь, обслу­живающий мантийный выступ. Контрольный нервный путь раздражали столько же раз, сколько и экспериментальный, но при этом раздражение не сочетали с электрическим ударом хвоста. После пяти сочетаний ответ на раз­дражение сифона (нервного пути, подвергавшегося обучению) становится сильнее, чем ответ на раздражение мантии (нервный путь, не участвующий в обучении) Таким образом, вырабатывается дифференцировка, при которой запоминается подкрепляемое поведение

Стимуляция сенсорных нейронов, связанных с сифоном или с мантий­ным выступом, активирует интер- и мотонейроны, следствием чего является рефлекторное втягивание жабры Безусловное подкрепляющее раздражение “хвоста” активирует многие группы клеток, включая те, которые вызывают и движение жабры Среди них не менее трех групп модулирующих нейро­нов. Они влияют на сенсорные нейроны, связанные как с сифоном, так и с мантийным выступом, и вызывают усиление выделения нейромедиатора из терминалей сенсорных нейронов Такое усиление выброса медиатора назы­вается пресинаптическим облегчением Оно составляет основу неассоциатив­ной формы обучения, называемой сенситизацией

Сенситизация — повышение чувствительности к стимулу, с которым организм встречался ранее. Благодаря этой простейшей форме обучения животное увеличивает разнообразие своих реакций, прежде всего на дей­ствие вредного раздражителя. Поскольку оно не требует сочетания раздра­жителей, то не является ассоциативным

Уже отмечалось, что при формировании условного рефлекса индиффе­рентный раздражитель должен опережать безусловный на некоторый кри-”. тический промежуток времени Увеличение или уменьшение последнего ведет к ухудшению результатов обучения

Специфика временных характеристик условного рефлекса втягивания жабры отчасти определяется конвергенцией условного и безусловного раз? дражителей на одном нейроне Безусловный раздражитель представлен в сенсорных клетках влиянием модулирующих нейронов. Условный раз­дражитель представлен в этих же нейронах их собственной активностью. Э. Кандэл обнаружил, что модулирующие нейроны, активированные безус­ловным раздражением “хвоста”, вызывают большее пресинаптическое об­легчение сенсорных нейронов, если сенсорные нейроны незадолго до это­го генерировали потенциалы действия в ответ на условный раздражитель. Это свойство пресинаптического облегчения получило название зависимо­го от активности. На клеточном уровне оно требует тех же самых времен­ных отношений, что и обучение на поведенческом уровне и, возможно, ле­жит в его основе.

Рис 15 7 Классические условные рефлексы у Aplysm На схеме (внизу слева) показан один ртз нервных путей, участвующий у Aplysia в классическом условном рефлексе втягивания жаб-Jpbi Механизм, лежащий в основе обучения, заключается в усилении выделения нейроме-•диатора под влиянием зависимого от активности облегчения Справа показаны молекуляр-Рные этапы зависимого от активности облегчения Воздействие безусловного раздражителя приводит к выделению серотонина модулирующим нейроном Этот нейромедиатор вызывает активацию аденилатциклазы в сенсорном нейроне Когда последний находится в активном состоянии, в нем увеличивается уровень кальция Кальций связывается с кальмодулином, а тот — с аденилатциклазой, усиливая ее способность синтезировать циклический аденозин-монофосфат (АМФ), который активирует протеинкиназу В результате клетка выделяет го­раздо больше нейромедиатора, чем обычно (Кандэл, Хокинс, 1992)

Последовательность процессов при имплицитном обучении можно опи­сать таким образом. При прохождении электрического импульса в преси-наптической терминал и серотонин выходит в синаптическую щель и свя­зывается с рецептором на постсинаптической мембране, активирующем фермент аденилатциклазу. Этот фермент превращает аденозинтрифосфат (АТФ) в циклический аденозинмонофосфат (цАМФ). Последний является внутриклеточным вторичным посредником, функция которого состоит в

активации протеинкиназы.

Киназы — ферменты, фосфорилирующие другие белки, что приводит к изменению их активности. Активация протеинкиназы в нейронах ведет к фосфорилированию белков каналов в клеточной мембране, через которые транспортируются ионы калия (К⁺). Фосфорилирование этих белков умень-

шает ионный ток калия внутрь клетки, который обычно реполяризует ПД. Уменьшение калиевого тока продлевает ПД, обеспечивая тем самым боль­шую продолжительность активного состояния кальциевых каналов, что по­зволяет проникнуть в синаптическую терминаль большему количеству каль­ция (Са²⁺). Кальций участвует в высвобождении медиатора из везикул и про­никновении его в синаптическую щель. Таким образом, результатом явля­ется увеличение нейромедиатора и более выраженная реакция (Кандэл, Хо-кинс 1992).

Медиатор (в данном случае, серотонин) способствует перемещению ве­зикул из мест их резервных скоплений к тем участкам мембраны, где они изливают свое содержимое в синаптическую терминаль. Это облегчает вы­деление следующей порции медиатора, не зависящее от притока в клетку кальция. При этом цАМФ действует параллельно с другим вторичным по­средником — протеинкиназой С, которая также активируется под влияни­ем серотонина. Возбуждение нейрона непосредственно перед безусловным раздражением вызывает в нем ряд сдвигов, приводящих к поступлению на­трия и кальция в клетку и выходу из нее калия, что приводит к возникнове­нию ПД.

ПД имеют критическое значение для имплицитного обучения из-за влияния на ток кальция внутрь сенсорных нейронов. Оказавшись в клет­ке, кальций связывает белок кальмодулин, который усиливает активацию аденилатциклазы под действием серотонина. Когда комплекс кальция с кальмодулином связывается с аденилатциклазой, усиливается образование цАМФ. Это свойство аденилатциклазы заставляет рассматривать ее в ка­честве центрального пункта конвергенции сигналов от условного и безус­ловного раздражителей. Таким образом, условный и безусловный раздр'а-жители представлены внутри клетки конвергенцией двух сигналов (каль­ция и серотонина) на одном и том же ферменте. Эти процессы происхо­дят в тех сенсорных и моторных областях мозга, которые участвуют в ра­боте имплицитной памяти.

Нервные сети изменяются в результате собственной активности. Недав­но обнаружены немедленные ранние гены, которые быстро активируются короткими вспышками ПД. Они кодируют белки, регулирующие экспрес­сию других генов, тем самым способствуя стойкому изменению генной эк­спрессии, что может являться механизмом запоминания.

Экспрессия генов влечет биохимические изменения, следствием которых является перестройка на уровне синаптических контактов. Возможны два типа таких изменений: 1) смещение соотношения числа активных и пассив­ных синапсов в сторону преобладания первых; 2) образование новых синап­тических связей. До сих пор нет точного ответа, какое из этих изменений является основным в процессе обучения.

Одним из возможных механизмов формирования следа памяти может быть появление новых нейронов из стволовых клеток. Показано, что ство­ловые клетки могут мигрировать и внедряться в префронтальную кору или гиппокамп, дифференцируясь в этих структурах в нейроны.

Оперантное обусловливание

Если условный рефлекс представляет собой пассивную реакцию организма на внешнее воздействие, то оперантное обусловливание является активным поведением, которому человек или животное обучаются в определенной си­туации. Название происходит от латинского слова operatic, что в переводе обозначает действие. Обусловливание же свидетельствует о том, что обуче­ние действию требует определенного условия. В классическом условном рефлексе ассоциативная связь формируется между двумя стимулами — ус­ловным и безусловным. Условием его формирования является обязательное следование безусловного стимула за условным. В процессе оперантного обусловливания подобная связь возникает между конкретным поведением и стимулом, который называется подкреплением.

Этот тип обучения позволяет организму менять свои действия в зависи­мости от тех последствий, которые оно порождает. Если следствием неко­торого поведения будет что-то, что организм воспринимает как положитель­ный результат, то оно с большей вероятностью будет повторено в будущем. Если же поведение ведет к неприятным для организма последствиям, то ве­роятность его повторения резко снизится. Система позитивных последствий называется подкреплением, а негативных — наказанием. Например, если маленький ребенок, случайно произнеся два раза подряд слог: “Ма”, — вслед за эти услышит восторженные слова матери и увидит счастливую улыбку, то вероятность того, что он тут же произнесет это еще раз, резко возрастет. Если же за этими звуками не последует определенных действий, то, скорее всего, они исчезнут из его набора словесных реакций.

Таким образом, подкрепление — это такое воздействие, при котором по­явление или исчезновение какого-то стимула в результате той или иной по­веденческой реакции повышает вероятность повторения этой реакции (Год-

фруа, 1992).

Выделяют несколько типов оперантного обусловливания. Американский психолог Э. Торндайк (Thorndike, 1890) исследовал метод проб и ошибок. Он предложил эксперименты на животных в особых “проблемных” клетках. В одном из них животное помещалось в “проблемную” клетку. Оно могло выйти и взять пищу, положенную вне клетки, если нажимало на деревян­ную педаль. Двигаясь внутри клетки, животное случайно могло наступить на педаль. Однако после каждого открытия клетки вслед за нажатием педа­ли время следующего нажатия сокращалось, что позволяло животному ос­вобождаться все быстрее и быстрее. Это позволило Э.Торндайку вывести “закон эффекта”. Согласно этому закону, вероятность повторения действия, приведшего к желательному результату, резко возрастает. Если же послед­ствия этого действия вызывают нежелательный результат, то оно будет вос­производиться все реже и реже.

В начале века в Германии была известна лошадь по имени Умный Ганс. Ударами копыт она считала, складывала из букв слова, извлекала квадрат­ные корни. Ее хозяин полагал, что он обучил ее думать. Однако проведен­ное исследование поведения животного показало, что лошадь отвечала на

основе подкрепления, которым был поворот головы хозяина, усиленный широкополой шляпой, когда он считал, что ударов копыт достаточно. В тех случаях, когда предлагались вопросы, на которые никто из присутству­ющих и хозяин в том числе не знали ответа, удары копыт были неопреде­ленными.

Другой тип оперантного обучения был описан Б.Ф. Скиннером (Skinner, 1969). Он показал, что поведение у человека и животных может формиро­ваться не только случайным образом, но и целенаправленным, постепенно за счет подкрепляющих факторов (Рис. 15.9). Такой тип обучения был на­зван формированием поведения путем последовательных приближений. В одном из описанных им экспериментов животные с большей вероятностью нажимали на педаль, находящуюся в клетке, если каждое нажатие сопровож­далось появлением кусочка пищи. Сигналом к подобной реакции животного был вид педали, поскольку когда педаль убиралась, животное не двигало ла­пой, избражая это действие. Подкрепление (кусочек пищи) усиливало связь между нейрональными кругами, включенными в процесс восприятия (вид педали) и нейрональными кругами, ответственными за движение (напри­мер, нажатие на педаль).

С помощью этой модели можно объяснить очень быстрое обучение ре­бенка произнесению первых слов (но не как всего языка в целом) по меха­низму, описанному ранее. Известно, что в первые месяцы жизни дети про­износят более 80 звуков, что может соответствовать звукам всех языков мира. Ребенок, перебирая различные звкосочетания, случайно говорит что-то по­хожее на: “Мо-мо”. Радостная мама тут же подкрепляет эти звуки поцелу­ем, демонстрируя всем, что ее ребенок начал говорить слово “мама”. Одна­ко через некоторое время родительские востроги пойдут на убыль, тогда как более близкое и отчетливое произнесение вновь вызовет бурю восторгов. Так, методом последовательного приближения ребенок будет набирать свои первые слова.

Выделяют положительное и отрицательное подкрепление. Положитель­ным подкреплением является событие, сочетающееся с каким-либо дей­ствием и ведущее к увеличению вероятности повторного его. Подкрепление тем эффективнее, чем более приближено к действию. Чем дальше оно от­стоит от поведения, тем медленнее формируется поведение. Формирование действия определяется также величиной подкрепления.

Желательно, чтобы подкрепление не было слишком большим. Например, в процессе обучения животного это может быть маленький кусочек пищи, а не полная миска; при обучении ребенка или взрослого — небольшой по­дарок. Сытое животное перестанет обучаться, согласно русской пословице: “Сытое брюхо к учению глухо”. Если ребенку предложен большой подарок, то следующий за ним маленький вызовет лишь угашение реакции, а не ее усиление. При выработке поведения играет роль и очень большое подкреп­ление. Его влияние часто наблюдается у азартных игроков, которые, полу­чив значительный выигрыш, не могут прекратить игру даже при постоян­ных дальнейших проигрышах. Именно поэтому, завлекая игроков в игор­ные дома, им сначала позволяют выиграть, а потом отыгрывают у него все,

_что у него есть. На этом эффекте работают широко распространенные на улицах “наперсточники” и другие мошенники этого типа.

Случайное большое подкрепление может вызвать длительную стойкую ре­акцию у человека и животного. По этому механизму формируются суеверия. Кроме уже описанных видов выделяют вариативное. Его действие ограниче­но следующими условиями. Вырабатывается определенное поведение, свя­занное с тем или иным подкреплением. Затем подкрепление убирается и по­ведение ослабевает. Случайное подкрепление этого поведения вызывает рез­кое усиление угасшей реакции. Чем реже такого рода подкрепление, тем доль­ше держится восстановленная реакция. На этом механизме основано стой­кое поддержание аддиктивного (зависимого) поведения, когда одна сигаре­та, одна рюмка, одна ссора усиливают никотиновую, алкогольную зависи­мость или снятие стресса путем провокации скандала (Прайор, 1995).

Эффективность формирования поведения путем последовательных при­ближений зависит не только от характера подкрепления, но и от других ус­ловий. Одним из них является необходимость поэтапного приближения к окончательному поведению. Таким образом, весь этап выработки поведе­ния делится на определенные отрезки, в течение которых добиваются кон­кретного действия. Это действие должно быть таким, чтобы обучаемый че­ловек или животное могли реально выполнить это задание и, следователь­но, получить подкрепление. Например, желая выработать у ребенка умение красиво писать или качественно делать любую другую работу, родитель не может требовать сразу же очень хорошего ее выполнения. Сначала ребенка хвалят за то, что он просто написал палочки, затем — за то, что некоторые из них написаны ровно, затем — что большая часть написана ровно и т.д. ^Требование сразу же выполнить работу качественно может привести к тому, ito у ребенка вовсе отпадет желание ее выполнять. Точно так же, желая по­менять поведение супруга, второй член семьи может постепенно наращи­вать свои требования, а не ставить ультиматум. Невыполнение этого усло­вия часто является причиной неудач воспитания детей и попыток супругов

переделать друг друга.

Другим условием формирования поведения путем последовательных приближений является то, что вырабатывать его можно только по одному, а не нескольким критериям одновременно. Например, при обучении ребен­ка качественно читать, нельзя сразу же требовать понимания прочитанно­го и быстрого чтения; от жены нельзя одномоментно требовать готовить обед и готовить его вкусно. Сначала, например, можно выработать желание готовить обед, а затем вырабатывать навык готовить вкусно.

Прежде чем увеличить или повышать критерий, нужно пользоваться под­креплением текущего уровня, то есть подкреплять любые исполнения дан­ного действия. Вводя новый критерий, лучше временно ослабить предыду­щие. Например, желая научить ребенка читать быстро, на первом этапе можно пожертвовать качеством чтения и при наборе им определенной ско­рости начать вновь следить и за качеством понимания текста.

Еще одним условием является то, что заканчивать ежедневный курс обу­чения следует всегда на фоне поощрения. Если это условие нарушено и pej

бенку сегодня предъявляется требование, за которое он не получает поощ­рения (в виде похвалы или поглаживания), то он будет воспринимать это как наказание. Часто именно из-за этого дети, учащиеся хорошо и не получаю­щие никакой оценки от своих родителей, начинают учиться плохо, посколь­ку только в этом случае взрослые начинают интересоваться успехами ребен­ка (Прайор, 1995).

Отрицательным подкреплением является избегание негативной реакции. Например, подпрыгивая, крыса могла бы избежать удара электрическим то­ком, который подавался на пол клетки и сопровождался легким потрески­ванием. Это потрескивание и служило сигналом животного к прыжку. Бо­лее точным было бы говорить в данном случае не об отрицательном, а об аверсивном подкреплении, поскольку оно позволяет избежать неприятно­го воздействия стимула. Примером отрицательного подкрепления является ситуация, когда ребенок выполняет некоторую работу не для того, чтобы получить что-то приятное, а для того, чтобы избежать неприятных для него нареканий со стороны родителей. Негативное подкрепление отличается от наказания, поскольку наказание ведет к исчезновению реакции, тогда как негативное подкрепление ведет к формированию реакции избегания.

Разрабатывая представления об оперантном обучении, Б.Ф. Скиннер пришел к выводу, что общество в процессе воспитания подрастающего по­коления должно больше заботится не о подавлении социально неадекват­ного поведения (наказание), а о выработке социально одобряемого поведе­ния у будущих граждан.

В настоящее время показано, что существует механизм, контролирующий

процесс подкрепления. Этот механизм подробно будет описан позднее.

I