Инструментальные условные рефлексы

(или обучение методом проб и ошибок)

Начало исследований инструментальных УР связано с име­нем Э. Торндайка (...), хотя их анализ проводился и в лабора­тории И. П. Павлова. <...>

В опытах с «проблемными ящиками» Торндайк наблюдал, как посаженная в ящик кошка ищет выход, пытаясь открыть дверцу разными способами (...) (для этого нужно было нажать на задвижку или потянуть за пружину). Кошка сначала совер­шает много разных действий (проб), которые в своем большин­стве бывают неверными (ошибки), пока случайно не откроет | ящик. При последующих пробах она выходит из ящика все быс­трее и быстрее. Конструкция устройства была подсказана Торн-дайку К. Ллойдом-Морганом, наблюдавшим, как его собака манипулирует с задвижкой калитки, чтобы «улизнуть» из дома (...). Такое обучение Торндайк и назвал - «методом проб и ошибок». В дальнейшем обучение животного подобным действиям получило название инструментальных (или оперантных) УР.

Торндайк первым предложил количественную оценку ди­намики обучения животного инструментальному навыку. Для этого он ввел так называемые «кривые научения».

Между классическими и инструментальными УР существу­ют определенные различия.

<...>При классических УР временная связь между услов­ным сигналом и безусловной реакцией возникает непроизволь­но при действии безусловного раздражителя (подкрепления).

При инструментальных УР подкрепление, например пища, дается только после того, как животное совершает определен­ное действие, которое не имеет прямой связи с безусловным раздражителем.

<...>К категории инструментальных УР относится форми­рование навыка нажатия на рычаг (или клевания кнопки) для получения порции пищи. После работ Б. Скиннера этот УР стал основным в исследованиях бихевиористов (анализ связей «сти­мул-реакция»). К инструментальным УР относится также обу­чение подопытного животного находить путь к пище или из­бегать неприятных стимулов в лабиринте. Инструментальным УР является и реакция избегания — навык переходить в тот отсек экспериментальной камеры, где отсутствует болевое под­крепление.

<...>Обширные исследования, выполненные сторонника­ми идей бихевиоризма, привели к появлению целого ряда но­вых терминов и понятий и созданию специфического языка для описания закономерностей процесса обучения, обнаружен­ных только благодаря примененным ими подходам. Многие термины сначала использовались как чисто технические — для объективного описания данных (знакомство с ними может по­мочь при чтении научных статей бихевиористов). К таким тер­минам, в частности, относятся:

• оперантное поведение — спонтанные действия, не вызван­ные каким-либо очевидным стимулом;

• реактивное поведение — всякое поведение, которое совер­шается в ответ на определенный стимул;

• режим подкрепления (reinforcement schedule): соотношение числа реакций (например, нажатий на рычаг) и вознаграж­дений (например, кусочков пищи; подробнее см. ниже);

• постоянный (или переменный) интервал (fixed or variable interval) — вознаграждение дается через определенные ин­тервалы времени, в период которых животное может осу­ществлять двигательные реакции (эти интервалы могут быть постоянными или варьироваться по длительности), но по истечении этого интервала подкрепляется только первая реакция;

• фиксированное (или переменное) соотношение (fixed ratio or variable ratio) — подкрепление дается животному только после того, как оно произведет какое-то количество реак­ций (нажатий или клеваний). Можно давать подкрепление только после определенного числа реакций (фиксирован­ное соотношение) или это число может каким-то образом варьироваться (переменное соотношение);

• смежность (contiguity) — этим термином обозначают посту­лируемое возникновение связей между стимулами и возни­кающими на их основе реакциями, а также совпадение УС с реакцией животного или УС с подкреплением, которое необходимо для возникновения УР;

• ключ (сие) — обычно это либо рычаг, на который нажимает крыса, либо освещенный кружок, по которому наносит удар клювом голубь (этот термин, обычный для работ бихевиористов, не следует путать с термином «ключевой стимул», принятым в этологии для обозначения видоспецифических стимулов, вызывающих инстинктивные реакции)<...>