Инструментальное научение

В то время как исследование классических условных рефлексов было начато в России, принципы инструментальных условных рефлексов были открыты и разработаны в США. Впрочем, первый шaг в этом направлении, по-видимому, был сделан в трудах Моргана (Morgan, 1852-1936).

Морган относился критически ко многим современным ему исследованиям по психологии животных из-за их слабой методологии и неубедительных толкований. В книге "Introduction to Comparative Psychology" («Введение в сравнительную психологию») (1894) он провозгласил свое знаменитое правило: «Ни в коем случае нельзя считать какое-либо действие результатом упражнения более высокой психической способности, если его можно объяснить на основе способности, стоящей ниже по психологической шкале». Позднее (1900) он пояснил: «Можно добавить, - чтобы пределы применения этого принципа не были поняты неверно, - что такое правило никак не исключает взгляда на определенное действие как на результат высших мыслительных процессов, если мы уже располагаем независимым доказательством их присутствия в действующем агенте».

Морган оказал значительное влияние на развитие бихевиоризма, в особенности на Уотсона и Торндайка (Thorndike). В 1896 г. он проводил Лоуэлловские чтения в Гарвардском университете, чем побудил Торндайка начать изучение рассудочной деятельности животных. Однажды Морган рассказал Торндайку, как его собака Тоби научилась открывать задвижку на садовой калитке, просовывая голову между рейками штакетника, и тот начал свои исследования вскоре после посещения Моргана, разработав способы повторения этого наблюдения в контролируемых лабораторных условиях.

Торндайк стал очень заметной фигурой в американской психологии, и полстолетия его теории господствовали как в психологии животных, так и в психологии воспитания. Один видный его современник писал: «Психология научения животных, не говоря уже о научении ребенка, - была и все еще остается прежде всего вопросом согласия или несогласия с Торндайком или попытками слегка усовершенствовать его представления. Все мы, американские гештальт-психологи, по-видимому, открыто или скрыто отталкиваемся от концепций Торндайка». (Tolman, 1938.)

Торндайк провел ряд опытов, в которых кошки должны были нажимать на задвижку или тянуть за пружину, чтобы, открыв дверцу, выйти из ящика и получить снаружи пищу. Ящики были сделаны с вертикальными щелями так, что пища была заметна (рис. 17.7). Голодная кошка, впервые посаженная в ящик, производит множество действий, в том числе тянется к пище через щели и скребет предметы, находящиеся внутри ящика. Наконец она случайно ударяет по запирающему механизму и выскакивает наружу. При последующих пробах действия кошки постепенно концентрируются вблизи этого механизма, и прочая активность со временем прекращается. Нако-

Рис. 17.7. Кошка в одном из торндайковских проблемных ящиков.

нец кошка становится способной правильно вести себя, как только ее поместят в ящик.

Торндайк (1898) назвал научение такого типа «методом проб, ошибок и случайного успеха». Теперь оно называется инструментальным научением, поскольку правильная реакция, ведущая к вознаграждению, требует использования «инструментов». Цирковые дрессировщики знали о научении такого типа в течение столетий, но Торндайк первый исследовал его систематически и создал на основе своих наблюдений стройную теорию.

Для объяснения изменений, происходящих в поведении животного в этих опытах, Торндайк (1913) предложил свой «закон эффекта». Он гласит, что для реакции, за которой следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает, а для реакции, вызывающей вредное или неприятное последствие, вероятность повторения снижается. Таким образом, успех инструментального научения приписывается тому факту, что выработанное поведение может быть непосредственно изменено его последствиями. Торндайк (1911) считал, что подкрепление повышает вероятность реакции, с которой оно сочетается, потому что усиливает установленную связь между ней и присутствующей стимульной ситуацией. Этот взгляд стал известен как «теория научения по принципу стимул-реакция», и варианты этой теории господствовали в течение многих лет. Признавая значение закона эффекта как эмпирического факта, современные психологи в то же время сомневаются в том, что поведение непосредственно модифицируется своими последствиями, как предполагали Торндайк и его школа. Чтобы понять это, сначала надо рассмотреть природу подкрепления.

Подкрепление

Между способом проведения опыта по выработке классического условного рефлекса и постановкой эксперимента по инструментальному научению существует коренное различие. В первом случае связь устанавливается между УС (например, звонком) и БС (например, пищей). Подкрепление предъявляется независимо от поведения животного. При инструментальном научении подкрепление (например, пища) связано с определенным поведением животного (например, с нажимом на рычаг). Таким образом, при классических условных рефлексах связь устанавливается между стимулом и результатом, а при инструментальном научении она возникает между реакцией и результатом. Такие различия необязательно означают, что в этих двух типах опытов происходят разные виды научения, но они говорят о разных процессах подкрепления.

Как мы видели, согласно взгляду Павлова, наличие подкрепляющего стимула в определенных условиях приведет к тому, что реакции, вызываемые им, будут возникать еще до подкрепления. Ясно, однако, что не всегда подкрепление необходимо для проявления выработанных связей между стимулами. Это яснее всего видно при рассмотрении феномена, называемого сенсорным предобусловливанием. При нем два условных стимула (УC₁ и УС₂) применяются вместе много раз до того, как в опыт вводится БС. За совместным предъявлением УC₁ и УС₂ следует сочетание УC₁ с БС. В заключительной части опыта измеряется сила УР в ответ на УС₂.

Первая четкая демонстрация сенсорного предобусловливания принадлежит Брогдену (Brogden, 1939), который предъявлял собакам 200 одновременных сочетаний света и зуммера. Затем один из этих стимулов сочетался с электрическим ударом лапы для выработки ее условнорефлекторного сгибания. Применения второго УС вызывали в среднем 9,4 УР по сравнению со всего лишь 0,5 УР в контрольных опытах без предварительного сочетания зуммера и света. Более поздние опыты показывают, что лучшие результаты получаются при меньшем числе предварительных сочетаний и когда два УС предъявляются не одновременно, а с промежутком в несколько секунд (Mackintosh, 1974).

Результаты опытов с сенсорным предобусловливанием ясно показывают, что

сочетания двух нейтральных стимулов достаточно, чтобы установить некоторую связь между ними. По-видимому, при слишком частом применении этих стимулов наступает известное привыкание, и научение не улучшается. Совершенно независимо от того, что эти результаты нельзя удовлетворительно объяснить теорией стимул-реакция, ясно, что для образования связи между двумя нейтральными стимулами нет необходимости в подкреплении. Поэтому павловское подкрепление не является обязательным условием образования связей, но оно облегчает их образование и делает их устойчивыми к привыканию. Как мы увидим дальше, животные вполне способны научиться тому, что некоторые стимулы несущественны для их текущих мотивационных потребностей, и поэтому неудивительно, что связи, образованные между двумя нейтральными стимулами, должны быть временными.

Обратимся теперь к вопросу об инсmpументальном подкреплении. Закон эффекта Торндайка лег в основу бихевиористского подхода к научению животных. Крайнюю позицию занял Гарвардский бихевиорист Скиннер (Skinner), который определил подкрепление, исходя из закона эффекта. По Скиннеру. подкреплением является любое событие, которое, сочетаясь с каким-нибудь видом поведения, будет делать ею более частым. Скиннер (1938) считал также, что любое подкрепление может усилить любую реакцию в присутствии любого стимула при условии, что этот стимул ощущается животным, а реакция лежит в пределах его возможностей. Таким образом, предполагалось, что реакция и подкрепление по существу произвольны. Это стало широко распространенной точкой зрения среди теоретиков научения до конца 50-х годов.

Подкрепление, побуждающее животное приближаться к стимулам, которые оно связывает с этим подкреплением, обычно называется «положительным». Если же подкрепление заставляет животное в дальнейшем избегать данной ситуации, оно считается «отрицательным».

Животные могут научиться бояться некоторых ситуаций, испытав в них боль или стресс. В дальнейшем они могут избегать таких ситуаций при столкновении с ними. Сходным образом ситуации, в которых на животное действуют естественные вызывающие страх стимулы, могут по ассоциации вызывать страх, даже когда животное не испытывает боли. Но многократное применение таких стимулов может привести к привыканию, и животное перестанет их избегать.

Как мы видели, неприятные стимулы применимы в опытах по классическим условным рефлексам. Одно из первых таких исследований принадлежит В.М.Бехтереву (1913), который раздражал переднюю лапу собаки слабым электрическим током (БС) вслед за звуковым стимулом - тоном (УС). Сначала собака сгибала лапу в ответ на ток (БР), а после ряда сочетаний УС и БС - в ответ на тон (УР) в отсутствие тока. Классическая оборонительная условная реакция многие годы оставалась парадигмой научения избеганию.

По Торндайку (Thorndike, 1913) наказание вызывает такую же силу реакции, что и вознаграждение. Согласно положительному закону эффекта, если за реакциями следует состояние удовлетворения, вероятность их возникновения возрастает. Отрицательный закон предполагает, что вероятность возникновения реакций, приводящих к неприятным последствиям, снижается. Однако в конечном счете Торндайк (1932) на основании некоторых опытов пришел к заключению, что закон эффекта неприменим к наказанию. В этом отношении с ним соглашались Скиннер (Scinner, 1938, 1953) и Эстес (Estes, 1944). Общее мнение, по-видимому, сводилось к тому, что наказание не ослабляет связи стимул-реакция, хотя иногда оно временно подавляет наказуемое поведение. Более поздние данные говорят о том, что наказание может быть эффективным с точки зрения модификации поведения, когда его сочетают с определенной реакцией (Church, 1963, 1969).