Уильям Баум: Объяснить избегание без страха наказания

Закон эффекта Торндайка (1911) и его интерпретация Скиннером (1938) говорят, что усиление реакции происходит через временную близость реакции и удовлетворения или подкрепления — необходима сопряженность. Основанный на сопряженности закон эффекта легко применяется к последствиям, вроде воды или еды, и даже к наказаниям, вроде травм и болезней, ослабляющим реакцию. Проблема возникает с избеганием, поскольку оно предотвращает событие. Если избегание успешно, то за ним не следует никаких последствий.

Двухфакторная теория

Соломон и Уинн (1954) предложили двухфакторную теорию из исследований сигнализированного избегания для разрешения парадокса избегания. В сигнализированном избегании цвет или свет предшествует удару электрического тока, а выбранная реакция испытуемого предотвращает его. Теория утверждала, что сигнал вызывает «страх», а сиюминутное последствие избегания в его снижении. Ни страх, ни его снижение ненаблюдаемы, поэтому эту теорию сложно или даже невозможно проверить.

Гернштейн (1969) рассмотрел эмпирические доказательства и теоретическую пустоту двухфакторной теории. Например, в сигнализированном избегании избегание происходит, даже если оно не устраняет сигнал, а только шок (Камин, 1956 и 1957). Если сигнал вызывает «страх», то невозможность его устранения должна препятствовать поддержанию избегания. Но, поскольку сигнал функционирует только как дискриминативный стимул — индуцирует активность избегания, то двухфакторные теоретики добавили к ненаблюдаемому страху ненаблюдаемые стимулы. Они обратились к проприоцептивным и кинестетическим стимулам, которые генерирует реакция, и сделали теорию непроверяемой и бессмысленной: если избегание подкрепляет себя — значит избегание происходит потому, что избегание происходит. Двухфакторная теория дает видимость объяснения, вместо упрощения и предсказательной силы.

Динсмур (2001) попытался спасти двухфакторную теорию и переформулировал ее в терминах «аверсивности» и «безопасности». Он утверждал, что связанные с электрошоком стимулы приобретают аверсивность, а связанные с отсутствием шока стимулы сигнализируют безопасность. Согласно Динсмуру, избегание связано с относительной безопасностью, а отсутствие избегания — с относительной аверсивностью. Таким образом избегание подкрепляет себя. Основанную на гипотетических и ненаблюдаемых сущностях теорию невозможно проверить:

Двухфакторная теория не объясняет избегание без гипотетических сущностей. Гипотетическая сущность в попытке объяснения Динсмура — это подкрепление. Его «аверсивность» и «безопасность» не отличаются от «страха» Маурера (1960). В определенных обстоятельствах появляется избегание электрошока — сказать, что причина в «авресивности» электрошока, значит ничего не сказать. Это как сказать, что предметы тяжелые, поскольку обладают летаргией; горячие, поскольку обладают теплородом; горят, поскольку обладают флогистоном. Динсмур использует воображаемую сущность, чтобы связать шок и сигнал (Баум, 2001, стр. 339-340).

Теория «безопасности» становится абсолютно непроверяемой, если к бессмысленности воображаемой сущности добавить ненаблюдаемый стимул.

Если вместо трактовок «страха» и «безопасности» как приватных событий крысы рассмотреть их контекст, то разговор о них появляется в контексте наблюдения, что частота шока ниже после избегания, чем до него. Иными словами, «страх» и «безопасность» запутанно пересказывают контекст избегания, просто говорят, что избегание происходит потому, что оно происходит.

Свободное оперантное избегание

Свободное оперантное избегание Сидмана (1953) эмпирически оспаривает двухфакторную теорию. Проверка двухфакторной теории подразумевает наблюдаемый стимул, но сидмановская процедура не содержит вызывающий страх сигнал — электрошоки происходят с регулярными интервалами (интервал S-S) в отсутствие избегания как нажатия на рычаг, а нажатие на рычаг откладывает шок на некоторое время (интервал R-S).

Например, если нажатия нет, то удары током происходят каждые пять секунд, но каждое нажатие отсрочивает удар на десять секунд. Если крыса нажимает на рычаг достаточно часто, то частота электрошоков стремится к нулю.

Поскольку эту процедуру проводят без наблюдаемого сигнала, а двухфакторная теория требует его, то возникающее избегание опровергает ее. Энгер (1963) попытался спасти двухфакторную теорию постоянством интервалов S-S и R-S: постоянные интервалы — это замещающие сигнал временные стимулы, «условные временные стимулы избегания». Однако Сидман (1966) показал, что избегание часто происходит без временной дискриминации, поэтому временные стимулы не обязательны для поддержания оперантного избегания.

Гернштейн и Хайнлайн (1966) изучали избегание в процедуре без каких-либо наблюдаемых или временных сигналов. В отсутствие нажатий на рычаг удары током происходят с высокой частотой на вариативных интервалах, нажатие на рычаг откладывает удар тока до конца вариативного интервала, который в среднем длится дольше вариативного интервала S-S. Получается, что нажатия снижают частоту ударов током. Гернштейн и Хайнлайн опровергли двухфакторную теорию и теорию Энгера в частности, поскольку в их работе избегание происходит без какой-либо временной дискриминации.

Вместо двухфакторной теории Сидман (1962) предложил, что свободное оперантное избегание подкрепляется снижением частоты электрошока после нажатия. Эта работа дала не только альтернативное объяснение избегания, но и альтернативный закон эффекта, основанный на растянутых во времени переменных и взаимосвязях. Взгляд на положительное подкрепление как на положительную корреляцию между активностью и частотой подкрепления предлагает аналогичный взгляд на отрицательное подкрепление как на отрицательную корреляцию между активностью и частотой шока.

Объяснение Сидмана создает другую проблему, поскольку основано не на частоте шока, а на ее снижении. Аналогия положительного и отрицательного подкрепления должна рассматривать именно частоту ударов током — это конкретные события, как и предъявления еды.

Объяснение ожидания должно включать в себя отрицательную корреляцию между активностью и частотой шока, но этого недостаточно. В исследовании Сидмана нажатия на рычаг снижают частоту шока, но не устраняют ее полностью. Удары током продолжаются даже когда интервал R-S длится 50, 90, 150 секунд. Если шок убрать в принципе, то избегание прекращается (Борен и Сидман, 1957).

Даже объяснение Динсмура оставляет роль полученным ударам током, поскольку «безопасность» существует только в противопоставлении опасности. Если бы не опасность как удары током, то самоподкрепляемое избегание длилось бы вечно после отмены тока. Полученные удары током играют решающую роль в поддержании избегания. Возникает вопрос о том, как электрошок может поддерживать поведение.

Индукция

Более широкая перспектива эволюционной теории показывает электрический шок как условную травму. Травма принадлежит категории событий, избегание которых необходимо для выживания и размножения. Требующие избегания события сами принадлежат более широкой категории: контекстуальные события, которые влияют на репродуктивный успех, — то есть события, которые имели значение в филогенезе или филогенетически важные события.

Относительная частота одних ФВС чаще коррелирует с репродуктивным успехом: потенциальный партнер, еда, убежище, etc. Относительная частота других ФВС реже коррелирует с репродуктивным успехом: хищник, болезнь, травма, etc. Хорошие ФВС индуцируют активности, благоприятствующие их влиянию на репродуктивный успех: уход за партнером, получение добычи, строительство гнезда, etc. Плохие ФВС индуцируют активности, препятствующие их влиянию на репродуктивный успех: укрытие от хищников, избегание ядовитой пищи и травм, etc. Эти базовые индуцируемые активности — результат естественного отбора.

Сигал (1972) ввела концепт индукции. Индукция — не провоцирование. Провоцирование предполагает узкие временные рамки и дискретное соответствие стимула и реакции. Индукция, по своей сути, — это растянутое во времени отношение частоты появлений ФВС в контексте и времени, проведенного за индуцируемыми ими активностями в этом контексте. Индукция включает растянутые во времени феномены, помимо провоцирования.

Если голодной крысе в экспериментальной камере иногда давать пищу, то увеличивается ее время, проведенное за аппетитными активностями: жеванием и питьем. Такое неоперантное поведение иногда называют «дополнительным». Если в экспериментальной камере периодически включается электрошок и крыса получает удар током по лапам, то увеличивается ее время, проведенное за защитными активностями: избеганием и агрессией.

Сигал привела несколько примеров индукции оперантной активности, и, чтобы расширить индукцию на оперантную активность в целом, оставался лишь небольшой шаг.

Индукция напоминает стимульный контроль. Говорят, что дискриминативный стимул «модулирует» или «контролирует» оперантное поведение, — повышает частоту одних активностей и понижает частоту других. Его модуляция так же растянута во времени, как и в случае еды или электрошока. Дискриминативный стимул — это условный индуктор, то есть он индуцирует контролируемую им активность.

Когда крыса нажимает на рычаг при горящем свете, но без горящего света обнюхивает клетку и умывается, тогда говорят, что свет индуцирует нажатия. Индукция — это механизм, которым дискриминативный стимул контролирует поведение. Нажатие на рычаг — это условно индуцируемая, то есть оперантная, активность: индукция реализуется через свет в силу определенной жизненной истории крысы. Но электрический шок требует только определенной видовой истории крыс для реализации индукции — это безусловный индуктор.

Когда нажатия рычага приводят в действие раздатчик еды как ФВС, то относительная частота еды коррелирует с относительной частотой нажатий. Если эта корреляция положительная, то активность становится оперантной —то есть условно индуцируемой активностью — поскольку теперь ФВС индуцирует нажатия наряду с другими неоперантными активностями. Это показывают исследования возобновления, в которых случайное появление ФВС возобновляет — индуцирует — ранее угаснувшую оперантную активность (Рид, 1958). Оперантная активность, вроде нажатия рычага, индуцируется едой — ФВС — и производит еду как последствие. Так замыкается петля, которая поддерживает оперантную активность в контексте ее корреляции с ФВС.

Оперантная активность, индуцируемая хорошим ФВС в положительной корреляции с активностью, идет в параллель с оперантным избеганием, индуцируемым плохим ФВС в отрицательной корреляции с избеганием. Если организм избегает электрошока как травмы нажатием на рычаг или прыжком через барьер, тогда каждый удар током, «неудача», индуцирует нажатия или прыжки.

В сигнализированном избегании сигнал индуцирует избегание, а в свободном оперантном избегании периодические удары током индуцируют избегание. Если выключить ток и плохие ФВС больше не будут коррелировать с избеганием, тогда избегание прекратится (Борен и Сидман, 1957; Гернштейн и Хайнлайн, 1966; Пауэл и Пэк, 1969). Если процедуру избегания чередовать с отключением тока, то поведение организма станет дискриминированным относительно присутствия тока. Аналогично, поведение организма становится дискриминированным относительно присутствия еды, если в классической процедуре включать и выключать раздатчик еды (Буллок и Смит, 1953). Можно сказать, что электрошок — это дискриминативный стимул, то есть он индуцирует избегание.

Частота электрошока и снижение частоты электрошока контролируют свободное оперантное избегание. Данные Сидмана и несколько других важных параметрических наборов данных подходят к тому же типу степенных функций, которые описывают контролируемую едой оперантную активность.

Описывающая данные Сидмана формула похожа на закон согласования. У степенной функции нет асимптоты, верхнего предела. Но разве может частота активности неограниченно расти? У нажатия на рычаг должен быть физически верхний предел, быстрее которого крыса не сможет нажимать.

Исследователи избегания часто сообщают о всплеске частоты нажатий после электрошока. Эти всплески могут отмечать предельную частоту нажатий, как если бы крыса нажимала на рычаг с максимально возможной частотой. Но за исключением этих всплесков, частота нажатия в экспериментах с избеганием обычно небольшая.

Текст и оформление: Вероника Пачина.
Оригинал: Baum, W. M. (2020). Avoidance, induction, and the illusion of reinforcement. Journal of the Experimental Analysis of Behavior, 114(1), 116-141.