Уильям Баум: Избегание поддерживается «неудачами»
Избегание зависит не только от одного снижения частоты электрошока, но от равновесия частоты электрошока и ее снижения. Когда Сидман говорил о снижении частоты электрошока он уже прошел половину пути: отрицательную корреляцию между частотой шока и избеганием фиксируют функции обратной связи, как на рис. 1.
Данные Сидмана показывает, что нужно что-то еще — предотвращенных ударов током недостаточно для определения частоты нажатий.
Вторая часть объяснения — это индукция избегания электрошоком. Эту индукцию описывают степенные функции. Функция обратной связи определяет, какая частота электрошока будет получена при равновесии частоты нажатий, а частота электрошока определяет частоту равновесия.
Удары током играют ключевую роль в поддержании избегания. Другими словами, избегание поддерживают его «неудачи». Те удары током, которые избеганию не удалось предотвратить, индуцируют его. Еда индуцирует поддерживаемую едой оперантную активность, а электрошок индуцирует поддерживаемое электрошоком избегание.
Если «подкрепление» означает усиление, и «подкрепление» должно усиливать предшествующую ему реакцию, тогда ничто не подкрепляет избегание. Вопрос «Какое событие подкрепляет избегание?» уводит в ментализм, его формулировка подразумевает, что оперантное поведение поддерживается усилением, «подкреплением».
Относительная частота оперантного поведения, включая избегание, меняется от корреляций в контексте — то есть, обратных связей — созданных людьми или без их участия (рис. 1). Филогенетически важные события индуцируют оперантные активности как часть онтогенеза и неоперантные или дополнительные как часть филогенеза. Угрожающие ФВС, вроде электрошока, индуцируют активность для их смягчения или избегания. Шок — это не «подкрепление», но он индуцирует избегание. Ничего похожего на «подкрепление» не поддерживает избегание.
Иногда подкрепление рассматривают как награду. Скиннер (1969) отказался от «награды» как технического термина. Молярная парадигма делает следующий шаг: еда и шок — это ФВС, которые индуцируют поведение, а не подкрепляют его. Еда и шок — не подкрепления, а индукторы.
Более абстрактное объяснение, которое предлагает индукция, включает индуцируемые едой оперантные и неоперантные активности и индуцируемое электрошоком избегание, в то время как подкрепление объясняет только индуцируемые едой оперантные активности.
Индукция показывавет, что произведенное оперантной активностью ФВС — это не только последствие, но и триггер. Различие между последствиями и триггерами исчезает, если говорить о растянутой во времени связи поведения и контекста, и об индукции активности филогенетически важными событиями.
Когда нажатие рычага включает раздатчик еды, еда — это последствие. Но для растянутого во времени паттерна нажатий рычага, еда — это триггер или индуктор. При отключении раздатчика нажатия прекратятся, но пока нажатия и подача еды коррелируют, нажатия продолжаются
Когда человек получает еженедельную зарплату, то зарплата — последствие работы на предыдущей недели и триггером или индуктор работы на следующей. Работа и зарплата коррелируют. Если зарплату перестанут платить, то работа прекратится.
Если Тед и Джейн состоят в романтических отношениях, то романтическое поведение Джейн индуцирует романтическое поведение Теда — одновременно как последствие романтического поведения Джейн в прошлом и как индуктор романтического поведения Джейн в дальнейшем. Если любовное поведение одного партнера прекращается, то прекращается и любовное поведение другого. Этот непрерывный цикл поддержания лучше описывает система обратной связи — замкнутая, а не открытая причинность (Рис. 6).
Три закона поведения вместе объясняют большую часть того, что известно о поведении:
- закон распределения, или генерализованный закон согласования;
- закон индукции;
- закон корреляции.
Концепт подкрепления помог в свое время, и его недостатками можно было пренебрегать, пока не было альтернативы. Теперь она есть.
Появление и поддержание избегания
Эксперимент, в котором крыса нажимает на рычаг, начинается с самого насыщенного режима с постоянной пропорцией. FR1 (fixed ratio 1) — это резкая функция обратной связи, которая работает даже на коротких временных промежутках. Например, Баум и Грейс (2020) обнаружили, что даже крайне насыщенный режим с вариативным интервалом VI-1s (variable interval 1s) отличим от FR1.
Когда FR1 индуцирует стабильную частоту активности, режим постепенно расширяют так, что относительно плавная функция обратной связи продолжает поддерживать оперантную активность. Это стандартная процедура, и даже самая низкая частота подачи еды поддерживает активность выше нулевого уровня в фазе угасания.
Эксперимент, где крыса избегает электрошока нажатием на рычаг, также начинается с крайне резкой функции обратной связи, которая отличима от неизбежного шока на коротких временных промежутках. Для этого необходима связь короткого регулярного интервала электрошока S-S (интервал между двумя последовательными шоками) и значительно более длинного интервала R-S (интервал между последней реакцией и ближайшим шоком), который откладывает электрошок. Хайнлайн (1978) использует для эксперимента с избеганием 5-секундный S-S и двадцатисекундный R-S. Когда такой контекст индуцирует стабильную частоту нажатий рычага, он поднимает S-S до 20 секунд. Сидман (1953) начинает с 15-секундного S-S и 30-секундного R-S.
Будь то еда или электрошок, в эксперименте есть корреляция оперантного поведения и ФВС: положительная корреляция еды и активности; отрицательная корреляция электрошока и активности (рис. 1). Когда корреляция стабильно поддерживает оперантную активность, появляется возможность ввести другие функции обратной связи — еда и электрошок теперь индуцируют эту активность. Полученная еда поддерживает основанную на еде активность, полученные удары током поддерживают основанную на электрошоке активность.
Самоконтроль
В повседневной жизни краткосрочная корреляция активности и ФВС конфликтует с долгосрочной корреляцией активности и более важными ФВС. В случае алкоголика, краткосрочные последствия употребления алкоголя конфликтуют с сохранением работы и семьи. Шоппинг конфликтует с выплатами кредита. Роман конфликтует с сохранением брака. Вкусная, но вредная, еда конфликтует с поддержанием здоровья. Активность, индуцируемую краткосрочной корреляцией в конфликте с долгосрочной, называют «импульсивной». Активность, индуцируемую долгосрочной корреляцией, называют «самоконтролем» (Лог, 1995 и Рахлин, 2000).
Лаборатория позволяет создать выбор: маленькое ФВС после короткой задержки (меньше-раньше) и большое ФВС после длительной задержки (больше-позже). Когда краткосрочная корреляция индуцирует ее выбор, то говорят о «временном дисконтировании» — долгосрочная корреляция не индуцирует ее выбор.
Паттерн выборов, в котором варьируется величина ФВС в краткосрочной корреляции, предоставляет точку безразличия между двумя корреляциями. Та же процедура, где дополнительно варьируется задержка до ФВС, предоставляет функцию дисконтирования, которая связывает меньшую величину при безразличии с задержкой большей величины (Одум, 2011).
Полученная кривая показывает границу между индукцией краткосрочной корреляции и индукцией долгосрочной корреляции. Более резкая кривая означает преобладание краткосрочной корреляции, и если такой выбор считают «импульсивным», то исследователи ищут способы вернуть преобладание индукции долгосрочной корреляции.
Аналогичные конфликты краткосрочной и долгосрочной корреляций возникают в избегании плохих ФВС. Избегание визита стоматолога ведет к зубной боли в будущем. Краткосрочное избегание стоматолога неадаптивно, если его визит помогает избежать еще более плохих ФВС в долгосрочной перспективе. Избегание стоматолога можно назвать «импульсивным».
Дезадаптивное избегание изучали меньше дезадаптивного выбора хороших ФВС. Есть эксперименты, где конфликт краткосрочной и долгосрочной корреляции нажатия рычага и электрошока иногда создает дезадаптивное поведения крыс.
В процедуре Хайнлайна (1970) повторяется 20-секундный цикл:
- 10 секунд с рычагом;
- 10 секунд без рычага;
- электрошок на 8-ой секунде.
Нажатие до наступления 8-ой секунды убирает рычаг и откладывает электрошок до 18-ой секунды — краткосрочная отрицательная корреляция нажатия и шока. В одном эксперименте ток ударяет три раза в минуту и независимо от нажатий, поскольку 20-секундный начинается в отсутствие нажатий, а нажатия происходят в 80% циклов. Краткосрочной корреляции хватает для поддержания нажатий без какой-либо долгосрочной корреляции.
В другом эксперименте нажатие учащает электрошок, поскольку мгновенно запускает новый 20-секундный цикл, ускоряя наступление электрошока — так, нажатия рычага останавливаются. Когда долгосрочная корреляция нажатия рычага и шока положительная, она работает как наказание — индуцирует перераспределение времени от нажатия рычага на другие активности.
Гарднер и Льюис (1976) продолжили исследование Хайнлайна. В их работе базовая линия электрошока состоит из вариантивного 30-секундного интервала — два удара током в минуту — а нажатие рычага сигнализирует о смене контекста на такой, где за три минуты происходят шесть ударов током с 1-секундным интервалом после задержки. Увеличение задержки сопровождается большим количеством нажатий, и последующим увеличением времени во второй фазе. Они получили результат Хайнлайна, поскольку нажатия никогда не снижают частоту электрошока ниже двух раз в минуту. Краткосрочная отрицательная корреляция поддерживает нажатия на рычаг, долгосрочная — не влияет на них.
Затем Гарднер и Льюис увеличили количество электрошока за 3-минутный период до 9, 12, 18 ударов отложенных на 161, 158 и 152 секунды, увеличивая частоту электрошока после до 3, 4 и 6 мгновенных ударов в минуту. Крысиные нажатия рычага продолжаются даже когда частота электрошока увеличивается с 2 до 3-4 в минуту. Краткосрочная корреляция продолжает индуцировать нажатия рычага в контексте долгосрочной положительной корреляции нажатия и электрошока. Это модель «импульсивного» избегания, поскольку индукция краткосрочной корреляцией преобладает над индукцией долгосрочной корреляцией. При 18 электрошоках во второй фазе, четыре из шести крыс перестали нажимать рычаг — при такой интенсивности поведение крыс наконец-то попадает под контроль долгосрочной корреляцией.
Льюис et al. (1976) изучали подобную процедуру с неизменной частотой электрошока в 3 или 5-минутных сигнализированных чередованиях контекстов, в которых в первую минуту происходят два удара током, а нажатие приводит к срабатыванию лампочки и позволяет отложить пять последующих ударов таким образом, что в среднем частота шоков остается такой же — два в минуту. Такой контекст воспроизводит результаты Хайнлайна (1970) — крысы продолжают нажимать на рычаг несмотря на отсутствие долгосрочной корреляции. Авторы продемонстрировали, что изменения задержки до электрошока достаточно для контроля поведения.
Некоторые исследования показывают, что еще более долгосрочная корреляция за рамками корреляции в сидмановском избегании (рис. 1) индуцирует избегание. В эксперименте Меллица et al. (1983) были два рычага с одинаковыми режимам индукции. Один рычаг с каждым нажатием сокращает сессию на 1 минуту как дополнительный эффект. Нажатия этого рычага воспроизводятся относительно чаще. Когда функцию сокращения смещают на второй рычаг, нажатия смещаются соответственно.Таким образом, снижающая электрошок долгосрочная корреляция индуцирует высокую относительную частоту нажатий на соответствующий рычаг.
Эксперименты, в которых нажатие рычага коррелирует с таймаутом избегания тоже предполагают эффективность еще более долгосрочной корреляции (Кортни и Перное, 1992). Эксперимент Галицио (1999) показал индукцию двух корреляций — краткосрочной и долгосрочной. Один рычаг откладывает электрошок по сидмановской процедуре: 5-секундный S-S и 30-секундный R-S. Второй рычаг создает двухминутный таймаут избегания по режиму индукции VR15. Когда такой контекст стабилизирует поведение крыс, Галицио переходит к гашению: нажатия рычага перестают создавать таймаут, и относительная частота его нажатия быстро снижается. Электрошок отключают и относительная частота нажатия рычага как избегания снижается, и гораздо быстрее рычага таймаута.
Возможно, что долгосрочная корреляция нажатия таймаут рычага и электрошока угасает не так быстро, поскольку отмена долгосрочной корреляции не настолько заметна, чтобы относительно нее контекст быстро создал дискриминацию. Этот феномен сопоставим с относительно долгим угасанием активности после разреженного режима пищевой индукции.
Текст и оформление: Вероника Пачина.
Оригинал: Baum, W. M. (2020). Avoidance, induction, and the illusion of reinforcement. Journal of the Experimental Analysis of Behavior, 114(1), 116-141.