Научение на основе образования инструментальных условных рефлексов (оперантное научение)

Отцом инструментальной формы научения считается Э. Торндайк, который еще в конце 19 века назвал такую форму научения обучением "методом проб, ошибок и случайного успеха". Но основной вклад в изучение закономерностей образования инструментальных условных рефлексов внес американский ученый Беррес Фредерик Скиннер. Предложенное им определение оперантного научения и оперантного условного рефлекса сейчас наиболее употребимы при характеристике инструментальной формы научения. Может быть не очень систематично, но популярно и талантливо оперантный метод научения и оперантный метод дрессировки изложен в работах американского психолога и дрессировщика Карен Прайор.

В противовес методике И. П. Павлова, Скиннер разработал методику свободного оперантного поведения, при которой животному позволяют совершать различные действия, нужные из которых подкрепляют. Чаще всего для таких опытов выбирались крысы и голуби, хотя использовались и другие животные, а также человек. Знаменитый "ящик Скиннера" на самом деле представляет собой ящик с одной из сторон которого имеется педаль (рычаг), который соединен с кормушкой. Снаружи за стенкой расположен сложный механизм, функция которого состоит в том, что после каждого нажатия на педаль в кормушку падает гранула корма. Как только крысу сажают в ящик, она начинает активно исследовать его - обнюхивать и карабкаться на стенки. При этом случайно нажимает на педаль после чего в кормушку падает корм. Обычно животное этого не замечает, но найдя пищу, съедает ее. Продолжая обследовать ящик, крыса

случайно нажимает на педаль и постепенно обнаруживает зависимость между действием и результатом. Как только временная связь станет для нее понятной, крыса начинает нажимать на педаль, когда захочет есть. Характерно, что вначале крыса нажимает на рычаг очень редко, затем число нажатий начинает медленно расти. После примерно 140 минут опыта число нажатий вдруг возрастает очень быстро. Совсем не обязательно ждать от животного случайного нажатия на рычаг. Это действие можно провоцировать (инициировать) различными способами, например, для обучения голубя клевать педаль, к ней можно приклеить зернышко. Если говорить о наработке форм поведения связанных с пищевой потребностью, то рекомендуется понизить массу тела животного до 80% (!) от первоначальной, то есть создать у животного выраженную пищевую потребность (мотивацию).

Хотя открытие и изучение инструментальных условных рефлексов считается заслугой американской науки, они исследовались и в школе И. П. Павлова (например, А Г. Ивановым-Смоленским, Г. Зеленым). Известный польский ученый Ю. М. Конорски, который также является учеником Павлова, считается одним из создателей теории об инструментальных условных рефлексах, которые он называл условными рефлексами второго типа.

Однако еще раньше в России описал эту форму научения и использовал ее в своей работе талантливый цирковой дрессировщик В. Л. Дуров.

Обстоятельства и ситуации в которые попадают животные вынуждают их совершать те или иные формы поведения, приспосабливаясь или активно сопротивляясь. Ученые назвали такое поведение оперантным (от латинского operatic - действие). Действия животных приводят к каким-либо последствиям или результатам, от которых зависит, будут ли они повторять эти действия или избегать их. То есть инструментальные условные рефлексы строятся на основе активной целенаправленной деятельности животного. Последовательность событий и результат их в данном случае, зависят не только от внешней сигнализации, но и от поведения самого животного. Таким образом, первое отличие инструментального условного рефлекса от классического заключается в активной, целенаправленной деятельности обучающегося животного. Вторым отличием является то. что инструментальный рефлекс не воспроизводит лежащую в его основе безусловную реакцию, в то время как классический условный рефлекс частично или полностью воспроизводит ее.

При образовании инструментальных условных рефлексов основную роль играет внутренняя активность животного - его потребность и мотивация. То есть в основе поведения лежит не внешняя сигнализация, а внутренняя потребность животного. И считается, что выбор реакции животным определяется не вызывающим ее раздражителем, а установлением временной последовательности между реакцией, выполняемой животным в данной ситуации и подкрепляющим раздражителем. При классических условных рефлексах связь устанавливается между стимулами и результатом, а при инструментальном научении, она возникает между реакцией и результатом. Таким образом, действие животного приобретает сигнальную функцию по отношению к результату (подкреплению).

Эффективность научения в форме образования инструментальных условных рефлексов заключается не только в том, что животное само стремится совершить какое-либо действие, но и в том, что подкрепление - это не просто событие, связанное временной последовательностью с каким-либо сигналом, а всегда удовлетворение доминирующей потребности, поэтому и становится биологически важным, а действия приводящие к нему - биологически целесообразными.

Несмотря на кажущуюся близость инструментальных условных рефлексов двигательным классическим рефлексам, специальными исследованиями было доказано существование различий между ними. В одном из них собака должна была до тех пор реагировать на первый раздражитель, пока не предъявлялся второй, за которым следовало пищевое подкрепление. Оказалось, что первый раздражитель вызывал инструментальную реакцию, не сопровождающуюся слюноотделением, тогда как второй вызывал слюноотделение.

Но следует отметить, что хотя естественное поведение животных в основном инструментально, в формировании поведенческого акта трудно различить роль и участие того или иного вида условного рефлекса.

Этапы оперантного научения:

1. Создание состояния выраженной потребности у животного.

2. Первичная инициация нужного поведения (поведенческого акта) одним из способов дрессировки. При этом избегаются способы болевого воздействия (оборонительного поведения) и предпочитаются способы, основанные на отборе поведения.

3. Создание условий при которых животные самостоятельно воспроизводят первично инициированное поведение.

4. Введение стимула, санкционирующего данный поведенческий акт.

5. Использование свойств подкрепления и тренировочного процесса для закрепления поведенческого акта до навыка.

Оперантное научение может быть основано на любой потребности, выбор которой определяется задачами дрессировки и особенностями животного. Например, для одной собаки при отработке навыка подхода к дрессировщику, можно применить социальную потребность (потребность в стае), для другой эффективней использование пищевой потребности, а с третьей - приходится применять потребность в самосохранении или оборонительную.

Инициировать нужное поведение можно любым способом, однако в оперантной дрессировке наиболее употребимы способы отбора поведения, усиления поведенческого акта или его элемента и наведения. Важно вовремя прекратить применение вспомогательных способов, добиваясь самостоятельности животного.

Введение команды можно осуществить как на втором этапе, так и после отработки необходимого действия.

При оперантном научении подкреплению придается особое значение, так как оно определяет скорость и эффективность научения. При этом учитывают знак, величину, режим и время подкрепления. С подкреплением связано несколько "золотых" правил дрессировки:

1. Закрепляется то, что подкрепляется.

2. Отмена положительного подкрепления несет информацию отрицательного подкрепления.

3. Вариабельный режим подкрепления способствует более быстрому закреплению действия и более медленному его угашению.

Многократное повторения действия, связанное с изменением режима подкрепления и сменой мотивации, обеспечивает автоматизацию поведенческого акта до навыка.

Словарь терминов: инструментальный (оперантный) условный рефлекс, oneрантное поведение, вариабельный режим подкрепления, стимул.

Контрольные вопросы: Назовите основные отличия инструментального условного рефлекса от классического условного рефлекса. В чем заключается смысл научения по методу проб, ошибок и случайного успеха? Приведите пример выработки оперантного условного рефлекса при дрессировке. Почему отмена положительного подкрепления воспринимается животным как отрицательное подкрепление?