Оперантное поведение

Скиннер (Scinner, 1937) ввел различие между оперантным и реактивным пове-

Рис. 17.8.Голубь, клюющий ключ в скиннеровском ящике.

дением. Оперантным он назвал спонтанное действие без какого-либо очевидного стимула. Реактивным является всякое поведение, совершаемое в ответ на определенный стимул. Скиннер полагал, что любое оперантное поведение модифицируется и эффективно контролируется сочетающимся с ним подкреплением. Мысль о том, что поведением животного можно полностью управлять, создав соответствующий порядок подкреплений, явилась крайней бихевиористской точкой зрения (Skinner, 1938). Бихевиористская философия Скиннера произвела революцию в экспериментальных методиках, влияние которой ощущается до сегодняшнего дня.

Вместо неоднократного применения сочетаний, характерного для классической выработки условных рефлексов, и опытов с использованием проблемных ящиков и лабиринтов Скиннер разработал методику свободного оперантного поведения, при которой животному позволяют совершать различные действия, а экспериментатор старается управлять последствиями. Чаще всего для опытов такого рода выбирались крысы и голуби, хотя использовались также и многие другие животные, а также человек. Оперантная выработка условного рефлекса состоит главным образом в том, что животное «тренируют» на выполнение задачи, за которой последует вознаграждение. Крысу можно заставлять нажимать на рычаг, голубя - клевать освещенный круг, называемый «ключевым стимулом». Такая методика тренировки обозначается термином "shaping" (формирование поведения).

Рассмотрим, как обучают голубя клевать ключевой стимул для получения корма. Голодного голубя помещают в маленький ящик с механизмом для подачи зерна и с «ключом» на уровне головы (рис. 17.8). Такого рода устройство называют «скиннеровским ящиком». О подаче корма обычно сигнализирует маленькая лампочка, освещающая зерно. Голуби быстро научаются связывать включение света с появлением корма; они подходят к подающему механизму и съедают зерно всякий раз, как включается свет. Следующая стадия обучения состоит в согласовании подачи пищи с каким-нибудь типом поведения голубя. Обычно от голубя требуется, чтобы он клевал ключ, но Скиннер считал, что можно формировать любую реакцию и что голубей за вознаграждение можно научить чистить перья или описывать круги по ящику. Клевания ключа можно добиться, выдавая вознаграждение только в ответ на движения, которые постепенно становятся все более похожими на удар клювом по ключу. Так, сначала голубь научается за вознаграждением подходить к ключу; затем он получает вознаграждение, только если стоит прямо, держа около ключа голову. На этой стадии голубь обычно клюет ключ самостоятельно, но его можно и побудить к этому, на время приклеив к ключу пшеничное зерно. Своим клеванием голубь замыкает чувствительный контакт в электрической цепи, которая производит автоматическую подачу корма. Начиная с этого момента, голубь награждается, только когда клюет ключ, и ручное управление вознаграждением больше не требуется. Теперь животное готово для использования в опыте.

Такая оперантная методика применяется во многих типах экспериментов. Например, выработку дифференцировки можно изучать, вознаграждая животных только за реакции на определенный цвет или рисунок или давая им выбирать между двумя сигнальными раздражителями, различающимися визуально. Эта методи-

ка оказалась особенно полезной для изучения действия разного типа вознаграждений. Так, можно вознаграждать голубя не просто за каждый, а за каждый N-й удар клювом, устанавливая в итоге определенное отношение между числом ударов и числом вознаграждений. Такой метод называется вознаграждением по постоянному соотношению. Другие обычно применяемые схемы опыта включают переменное соотношение, постоянный интервал и переменный интервал. При интервальной схеме вознаграждение дается через интервалы времени, выбранные экспериментатором. Животное вознаграждается за первую реакцию после некоторого интервала. Оказалось, что разные схемы вознаграждения по-разному влияют на действия животного. Так, например, применение переменных интервалов создает очень равномерную частоту реакций и служит хорошей опорной величиной, относительно которой можно испытывать влияние на поведение различных факторов, например величины вознаграждения.

Считается, что Скиннер рассматривал бихевиоризм как философию науки о поведении, а не как собственно науку. Его подход был операционалистским, а психология - антитеоретической. Хотя Скиннер полагал, что всякое поведение создается подкреплением, он признавал (1975), что «естественным отбором объясняется тот факт, что люди реагируют на стимулы, воздействуют на среду и изменяют свое поведение под влиянием связи с подкреплением». Точно так же «тот факт, что оперантные условные рефлексы, подобно всем физиологическим процессам, являются результатом естественного отбора, проливает свет на вопрос о том, какого рода последствия служат подкреплением и почему».

Подход Скиннера основан на том, что подкрепление способно изменять поведение. Его утверждение о возможности модификации любой деятельности иллюстрируется разными играми, которым можно обучать голубей. Так, он описывает (1958), как «голубя тренировали пускать деревянный шар по миниатюрному желобу в направлении расставленных игрушечных кеглей, толкая его резким боковым движением клюва. Результат поразил нас... Это зрелище произвело такое впечатление на Бреленда, что он отказался от многообещающей карьеры в области психологии и стал платным дрессировщиком».

По иронии судьбы именно К. и М. Бреленды (К. Breland, М. Breland, 1961) первые усомнились в том, что любая деятельность может быть изменена подкреплением. Они обнаружили, что при попытках научить животных разным трюкам некоторые виды активности оказывались устойчивыми, т. е. подкрепление на них не влияло. Так, например, они старались научить свинью вкладывать «монету» в особую «копилку». Свинья поднимала соответствующий деревянный значок, но вместо того, чтобы опустить в контейнер, многократно роняла его на пол, «толкала пятачком, поднимала, снова роняла, подгоняла пятачком, подбирала, подкидывала в воздух, роняла, снова толкала пятачком и т. д.» (К. Breland, М. Breland, 1961). Подобным же образом некоторые цыплята настойчиво скребли землю, когда от них требовалось простоять 10-12 с на платформе, чтобы получить вознаграждение. Впоследствии появилось много сообщений такого рода. Так, Севенстер (Sevenster, 1968, 1973) успешно обучал самцов трехиглых колюшек (Gasterosteus aculeatus) проплывать через узкое кольцо, чтобы приблизиться к самке. Но ему не удалось научить самцов за то же вознаграждение кусать стеклянный стерженек, потому что самец упорно направлял на него свое ухаживание. Обзор этих и других исследований дает С. Шеттлуорт (Shettleworth, 1972).

Бреленды (Breland, Breland, 1961) толкуют свои данные как свидетельство инстинктивного смещения, при котором «выученное поведение смещается в сторону инстинктивного» всегда, когда сильные врожденные инстинкты животного сходны с условной реакцией. Эти авторы указывают, что их данные нарушают принцип наименьшего усилия, выдвинутый Скиннером (Skinner, 1938), согласно которому животные стремятся получить вознаграждение самым быстрым и самым удобным способом. В их исследованиях

вознаграждение значительно задерживается из-за «неправильного» поведения животных. В гл. 18 мы рассмотрим другие примеры такого рода и постараемся оценить, в какой степени их может объяснить общая теория научения.

ДЛЯ ЗАПОМИНАНИЯ

1. Классическая, или павловская, выработка условного рефлекса ведет к образованию связи между ранее значимым (безусловным) и ранее нейтральным (условным) стимулами, в результате чего животное начинает реагировать на последний (условным рефлексом) так, как раньше отвечало (безусловным рефлексом) на первый из этих стимулов.

2. Процесс установления связи, называемой выработкой условного рефлекса, обычно требует нескольких предъявлений условного стимула, сопровождающихся каким-нибудь подкреплением.

3. В результате привыкания или угасания происходит снижение реактивности. Привыкание наступает в результате многократного предъявления стимула без немедленных последствий. Угасание происходит при многократном предъявлении условного стимула без подкрепления.

4. Генерализация означает, что животное отвечает на какой-либо стимул, сходный с условным.

5. Инструментальное научение, по-видимому, отличается от классической выработки условного рефлекса, потому что животное должно отреагировать прежде, чем получит подкрепление. Однако невозможно проводить опыт по инструментальному научению, не создавая одновременно предпосылок для классической выработки условного рефлекса. Возможно, что подкрепление на самом деле не является необходимым для образования приобретенных реакций.

Рекомендуемая литература

Breland К., Breland M. (1961) The misbehavior of organisms, American Psychologist, 16, 661-664.

Mackintosh N.J. (1983) Conditioning and Associative Learning, Clarendon, Oxford.