И случайного подкрепления сигналов

В 20-е годы в лаборатории И. П. Павлова были осуществлены исследования, в которых вероятность подкрепления раздражителя определялась лишь местом, занимаемым раздражителем в системе. Так, Н. А. Подкопаевым и С. Н. Выржиковским (см. И. П. Павлов, 1951) были проведены три серии опытов: в одном случае условный раздражитель (метроном) подкреплялся через раз, во втором — одно подкрепление чередовалось двумя неподкреплениями и в третьем — одно подкрепление чередовалось тремя неподкреплениями. Было установлено, что в первом варианте этих опытов условный рефлекс образовался на общее 20-е применение раздражителя, во втором варианте еще быстрее — на 7-м, но в третьем варианте условный рефлекс не образовался даже после 240 применений раздражителя (из них 60 с подкреплением). И хотя в дальнейшем М. А. Усиевичу (1938) в аналогичных условиях эксперимента (подкреплялся каждый четвертый раздражитель) все же удалось выработать условный рефлекс, это оказалось трудной задачей для животного, которое проявляло признаки чрезвычайного возбуждения.

Исключительно трудным оказалось различение по месту раздражителя в системе и в опытах В. В. Яковлевой (1940), в которых также подкреплялся каждый четвертый сигнал, и в опытах В. К. Федорова (1949) с подкреплением каждого третьего сигнала. Во всех этих случаях различение если и имело место, то лишь после очень большого числа применений сигналов: оно сопровождалось общим сильным возбуждением животных и вскоре вновь исчезало.

Мы исследовали закономерности выработки положительного условного рефлекса и дифференцировки при разной вероятности подкрепления одного и того же раздражителя в стереотипном порядке в условиях свободной двигательной деятельности животных. В отличие от описанных выше экспериментов, проведенных по классической секреторной методике, регистрировалась двигательная активность, которая протекала в большой экспериментальной камере (5X6 м). Кормушка, из которой собака получала кусочки мяса, располагалась на полу у одной из стен комнаты. Условным раздражителем служил шум, возникающий при вращении кормушки (подача чашки).

В соответствии с задачей кусочки мяса клались в каждую чашку кормушки, через одну чашку, через две и через три. Каждый раз вслед за звуком вращающейся кормушки подавалась и чашка; в зависимости от порядка следования подкрепления, который в этих опытах носил стереотипный характер, чашка или содержала, или не содержала кусочки мяса. Результаты этих исследований (М. М. Хананашвили, 1972) существенно отличаются от описанных выше: в наших опытах животные легко справлялись с задачей, без каких-либо признаков трудностей нервной деятельности. Очевидно, различия определяются особенностями применявшихся методик исследования (об этом подробней см. ниже).

В то же время значительные трудности высшей нервной деятельности и даже невроз возникают в условиях частичного случайного подкрепления сигналов. Прежде всего установлено, что в условиях случайного подкрепления имеет место резко выраженная ориентировочная реакция, которая проявляется и практически не угасает при малых вероятностях подкрепления как на сигнальный раздражитель, так и на посторонние раздражители в течение всей серии опытов со случайным подкреплением. Такая активация механизмов ориентировочного рефлекса оказывает существенное влияние на замыкательную функцию и закономерности условного рефлекса. Например, угашение условного рефлекса при малой вероятности подкрепления (25%) происходит значительно медленнее, чем при равновероятностном (50%) подкреплении. Далее, угашение этих рефлексов происходит медленнее, чем рефлексов, выработанных на основе стереотипного подкрепления, если сравниваются серии опытов с одинаковой вероятностью подкрепления. Все это говорит о некоторых особенностях характеристики нервных процессов, возникающих в условиях случайного подкрепления. Длительное же пребывание животных в условиях малой вероятности случайного подкрепления ведет к формированию двух типов поведения:одни животные начинают подбегать к кормушке в стереотипе, хотя и в этом случае вероятность получения пищи чрезвычайно мала, но у них эмоциональное напряжение выражено значительно слабее, чем у животных, полностью отказывающих от побежки к кормушке или подбегающих вне какого-либо стереотипа. Последняя группа животных проявляет признаки сильного эмоционального напряжения, и поведение в целом указывает на состояние невроза. Возможность возникновения невроза в условиях случайного порядка подкрепления сигналов отмечается также в исследованиях А. Я. Мехедовой (1972).

Из наблюдений, изложенных выше, вытекает вопрос о тех соотношениях подкрепляемого и неподкрепляемого раздражителей, при которых стратегия стереотипного реагирования меняется на стратегию, адекватную случайной среде, и наоборот. Подробное описание методики и некоторых результатов этого исследования дается в ряде публикаций (М. М. Хананашвили, Т. Е. Полтырева, 1970; М. М. Хананашвили, 1972), и мы остановимся на них вкратце, делая акцент на условиях, способствовавших в этих экспериментах возникновению невроза у животных. У собак выработанное по двигательно-пищевой методике условных рефлексов стереотипное поведение стало переделываться в случайное, и делалось это постепенно. Так, сначала в стереотипном порядке подкреплялись 0,9 раздражителей и только 0,1 — в случайном. После 100 таких опытов 0,8 подкреплялись в стереотипе, а 0,2 — в случайном, то же наблюдалось в течение 100 опытов. Так, постепенно в системе раздражителей увеличивалось число случайно подкрепляемых сигналов. Оказалось, что до того, пока число стереотипно подкрепляемых раздражителей было не ниже 0,8, животные воспринимали систему как стереотипную, т, е. подбегали к кормушке через один раз, но как только переходили к стереотипному подкреплению в 0,7 случаев, то стратегия поведения животных менялась: собаки начинали подбегать к кормушке на все раздражители. Однако такая смена стратегии поведения сопровождалась резким возбуждением, непрекращающимся лаем и повизгиванием животных, т. е. признаками, указывающими на значительные трудности в условнорефлекторной деятельности. Проявление этой трудности усугублялось по мере увеличения экспериментов. Оно не исчезало и после длительного перерыва в опытах, что позволяет говорить о состоянии невроза у животных.

Эти опыты позволили, с одной стороны, определить границу, при которой происходит смена стратегии поведения, а с другой — установить, что такая смена в связи с постепенным увеличением числа раздражителей, сигнализирующих о другой стратегии, может стать причиной чрезвычайного эмоционального напряжения с явными признаками нарушения высшей нервной деятельности.

Как и в предыдущих экспериментах, было обращено внимание на следующее обстоятельство. Некоторые животные по мере усиления эмоционального напряжения начинали подбегать к кормушке в стереотипе — через один раз, после чего уровень эмоционального напряжения заметно снижался, хотя такая стратегия поведения не обеспечивала оптимальную возможность получения пищи. Следовательно, возвращение к стереотипному поведению способствовало разрядке эмоционального напряжения и, как показывает сопоставление этих данных с поведением других животных, способствовало также предотвращению невроза. В этих наблюдениях отчетливо выступает саморегуляционная деятельность мозга, направленная на защиту нервной системы от невротизирующих факторов среды путем выбора такой стратегии поведения, которая не сопровождается длительным эмоциональным напряжением. Последнее, как отмечалось, часто способствует развитию патологии высшей нервной деятельности.

Наши рекомендации