Как Скиннер не верил в положительное наказание

По мотивам главы «Punição e supressão, eis a questão» из второй части сборника «Experimentos Clássicos em Análise do Comportamento» про классические эксперименты поведенческих аналитиков.

Контекст эксперимента

Основанное на открытом Эдвардом Ли Торндайком законе эффекта понятие оперантного поведения подчеркивает роль последствий в объяснении поведения. Активность организма влияет на окружающую среду, а созданные последствия, в свою очередь, могут повлиять на вероятность приведшей к ним активности. Анализ поведения выделяет четыре категории последствий:

• Положительные подкрепления — стимулы, которые, появившись после реакции, увеличивают вероятность того, что организм снова будет вести себя так, то есть вероятность реакции. Например, повышение заработной платы вслед за проявленной инициативой, которое смотивировало сотрудника продолжать быть вовлеченным.
• Отрицательные подкрепления — стимулы, которые повышают вероятность реакции, приведшей к устранению их из окружающей среды. Головная боль, которая снимается или ослабляется при приеме определенного лекарства, из-за чего увеличивается вероятность того, что этот препарат будет употребляться в аналогичных ситуациях.
• Положительные наказания — стимулы, которые снижают вероятность повторения реакции. К примеру, прием пищи, вызывающей сильную аллергическую реакцию, делает маловероятным ее употребление в будущем.
• Отрицательные наказания снижают вероятность активности за счет устранения стимула. Например, финансовые потери, связанные со штрафом за вождение автомобиля без прав и страховых документов на руках, могут стимулировать уделять больше внимания документам перед выездом из дома.

Один и тот же стимул может быть положительным подкреплением и отрицательным карателем, как в случае с деньгами, или же отрицательным подкреплением и положительным карателем, как в случае боли (например, вызванной электрическим током), то, что определяет название категории — это функция, которую он выполняет в анализируемом поведенческом эпизоде. Если рассматриваемая реакция производит стимул, то функция положительная. Если устраняет — отрицательная. Если событие повышает вероятность реакции в будущем, то оно выполняет роль подкрепления, а если снижает, то наказания.

С оперантной точки зрения поведение понимается как продукт отбора окружающей среды, в котором последствия определяют, какие реакции прекратятся, а какие продолжат воспроизводиться.

Роль подкреплений в поведенческом репертуаре организма более очевидна, чем наказаний. Закон эффекта Торндайка гласит, что животные избегают реакций, которые ведут к неудовольствию, но уже в 1930-х годах Торндайк изменил взгляды на наказание. В первой версии закона эффекта подкрепляющие и наказывающие последствия работали с одинаковой силой, но в разные стороны. Основываясь на более поздних исследованиях, Торндайк в 1931 году представляет вторую версию закона эффекта, в которой сохранилась только подкрепляющая функция последствий, а подавляющая функция наказания ставится под сомнение.

Сомнения Торндайка относительно эффекта наказывающих последствий проистекают из серии экспериментов (подробно описанных в работе 1932 года; цитируемые Торндайком наблюдения опубликованы в 1932 году, но ряд указанных им экспериментов был проведен до 1931 года) в которых словесные стимулы “правильно” и "неправильно" использовались в качестве последствий для ряда ответов (например, угадывание размера линий и цифр, поиск синонимов в словаре, вписывание пропущенных букв). Автор наблюдал увеличение доли ответов, за которыми следовало словесное одобрение, но ответы, после которых испытуемый слышал "неправильно", продолжали происходить с вероятностью выше уровня случайности (Торндайк использовал этот критерий для определения отсутствия подавляющих эффектов). Исходя из этих наблюдений, Торндайк приходит к выводу, что только подкрепляющие последствия играют роль в отношениях поведения и окружающей среды. Предполагалось, что большое количество подкреплений делали частоту желательного поведения настолько высокой, что выбрать альтернативный ответ становилось невозможно — слово "неправильно" не играло в этом процессе роли.

Аналогичной позиции в отношении наказания придерживался Скиннер. Для Скиннера наказание поведения это сочетание трех эффектов одновременно: (1) немедленное подавление реакции, вызванное появлением активностей, несовместимых с наказываемой; (2) обусловливание стимулов, присутствующих в ситуации, вызывать реакции, аналогичные возникшим на первом этапе; (3) подкрепление (отрицательное) любого ответа, которое предотвращает или уменьшает контакт с наказывающим последствием или связанными условными . Таким образом, наблюдаемое поведенческое подавление будет косвенным, возникающим в результате появления несоответствующего оперантного ответа, и временным, поскольку предотвращение контакта с аверсивным событием постепенно ослабляет функцию дискриминативного стимула для избегающего поведения, из-за чего контакт с наказанием происходит вновь.

Повседневным примером описанного Скиннером является типичная ситуация, когда маленький ребенок подходит к витрине в магазин и громкое и твердое “Не трогай!" со стороны взрослого. Речь взрослого вызывает реакцию со стороны ребенка – первый эффект, подавление реакции за счет появления несовместимого поведения. После этого первого вмешательства ребенок обычно пытается подойти еще раз, проверяя, наблюдает ли за ним скучный взрослый. Достаточно одного серьезного взгляда взрослого, чтобы ребенок отодвинул руку и снова отошел. В зависимости от интенсивности выговора само приближение к хрустальной чаше может вызывать неуверенность в движениях — второй эффект, обусловливание присутствующих в моменте стимулов. Позже, ребенок может отправиться в другую комнату, развлечься другими игрушками, отвести взгляд от витрины, взаимодействовать со взрослым таким образом, чтобы отвлечь внимание от этого эпизода, короче говоря, делать все, что избегает ругательной речи взрослого – третий эффект, подкрепление поведения, предотвращающего наказание. Если вы были свидетелем подобной ситуации, то замечали, что в отсутствие взрослого или когда взрослый отвлекается (стимулы окружающей среды перестают сочетаться с наказанием нежелательного поведения) ребенок снова пытается добраться до витрины.

Положение Скиннера, что наказание, в отличие от подкрепления, не является первичным поведенческим процессом и что его влияние на ответ является временным, основывается на проведенных им трех экспериментах, впервые описанных в 1938 году. Один из них чаще всего цитируется в поведенческой литературе о наказании — на нем мы остановимся подробнее.

Книга Скиннера "Поведение организмов" 1938 года считается одной из основополагающих работ по анализу поведения. В ней он показал теоретически и экспериментально изучение поведения как самостоятельного явления, то есть как функцию внешних переменных, а не индикатор психических или физиологических процессов. Поскольку отношения подкрепления уже были установленным фактом, то Скиннер сконцентрировался на изучении эффекта наказания — действительно ли наказание производит противоположный подкреплению эффект.

Эксперимент Скиннера построен на феномене гашения — после подкрепления поведение какое-то время повторяется даже при прекращении подкрепления. Такое же название носит и процедура, в которой разрывается зависимость между реакцией и следствием, которое ее поддерживает. Поведение можно назвать угасшим, когда его частота возвращается к уровням до подкрепления, так называемому оперантному уровню. Снижение активности во время гашения не происходит мгновенно. Обычно первым эффектом гашения является повышение частоты реакций в первые минуты сеанса, за которым следует период замедления (этот феномен известен как взрыв гашения), после чего поведение начинает сходить на нет, что можно проверить на так называемых кривых гашения. Таким образом, наказание, как и гашение, представляют собой подавление активности.

Скиннера интересовало: а) идентичны ли в обоих случаях поведенческие процессы; и б) действительно ли наказание работает противоположно подкреплению, то есть ускоряет гашение. Поскольку кривые гашения являются относительно предсказуемыми и стабильными, их можно рассматривать как способ оценки эффекта наказаний. Скиннера интересовало сравнить количество реакций в контексте наказания с предположительным количеством реакций, которое могло бы возникать в это время, если бы действовало только гашение. Если наказание является самостоятельным подавляющим поведение процессов, противоположным подкреплению, то оно должно повышать эффективность гашения, заставляя организмы проявлять меньше активности, чем ожидается в процессе отмены последствий поведения.

Описание эксперимента

Цель и метод

Резюмируя, Скиннер сомневался, что наказание это отдельный поведенческий процесс и хотел проверить, действительно ли с ним ассоциировано какое-то объяснимое только введением наказания снижение частоты реакций. Скиннер использовал групповой дизайн, в которой у каждой группы была своя история подкрепления, а результаты оценивались путем сравнения поведения испытуемых из разных групп.

Для эксперимента использовали восемь крыс, разделенных на две группы (контрольная, у которой подкрепление сменялось гашением, и экспериментальная, где гашение сочеталось с наказанием). Из оборудования Скиннеру потребовалась только оперантная камера с рычагом и кормушкой. На первом этапе все крысы проходили через четыре сеанса подкрепления нажатий рычага по схеме с фиксированным интервалом в 4 минуты (FI 4). Согласно режиму FI 4, первое нажатие рычага спустя 4 минуты на таймере выдавливало пищевую гранулу и обнуляло счетчик времени; до этого реакции не давали какого-либо эффекта. Сессии длились 60 минут и проводились ежедневно.

Следующие две сессии — это две сессии гашения, в которых нажатие рычага больше не давало доступ к еде, независимо от прошедшего времени. Сеансы гашения длились 120 минут. Для четырех крыс в группе наказания в течение первых 10 минут первого сеанса гашения было запланировано непредвиденное наказание. Нажатие рычага приводило к срабатыванию молотка, который заставлял рычаг очень быстро возвращаться к изначальному положению, что приводило к "пощечине" – как правило, крыса получала удар по лапам или морде. Скиннер выбрал обратное движение рычага в качестве наказания, но обычно исследователи пользуются ударами электрическим током из-за точности его физических размеров, эффективности в подавлении поведения и простоты обращения. Эти характеристики облегчают воспроизведение результатов в других лабораториях. Таблица 1 резюмирует историю подкрепления поведения каждой из групп.

Результаты

Полученные кривые гашения приведены на рисунке 1. В течение периода, когда действовало наказание (обозначен на рисунке стрелкой и подписью "slapped"), крысы в группе наказания в среднем нажимали рычаг реже 10 раз в минуту, в то время как контрольная группа, подвергшаяся только гашению, выдавала приблизительно 50 нажатий. Разница в общем количестве реакций между группами все еще была очевидна к концу первого сеанса вымирания ("первый день" на рисунке). Однако в течение второго сеанса гашения ("второй день" на рисунке) расхождение уменьшалось. С сотой минуты больше не было возможности определить, какая группа подверглась наказанию.

Основываясь на этих результатах, Скиннер сделал вывод, что подавляющий эффект наказания действительно является временным, поскольку по истечении периода, в течение которого наказание действовало, субъекты в группе наказания снова принимались жать рычаг, из-за чего к концу второго сеанса общее количество ответов в обеих группах получалось эквивалентным. Краткая история наказания не заставляла поведение исчезать быстрее, чем у крыс, которые подвергались только гашению.

Скиннер предполагает, что в случае наказания не происходило оперантного обусловливания, сравнимого с тем, что происходит с положительным подкреплением, то есть не формировалась взаимосвязь между ответом и следствием, которая влияет на вероятность реакции. Помимо этого, Скиннер утверждает, что наказание вызывало реакции, несовместимые с нажатием рычага, например, крысы отбегали от рычага, что аналогично их поведению в ситуации испуга. Скиннер не проводил систематического наблюдения за этими реакциями в указанном исследовании, но описанное им поведение обычно наблюдается в исследованиях наказания электрическим током или другими стимулами, например, струями горячего воздуха.

Дальнейшее развитие

Эксперимент Скиннера вызвал много сомнений и критики, в частности касательно точности и адекватности используемого наказания. Обратное движение рычага сложно контролировать. Если крыса опирается на рычаг, то сила и скорость удара будут отличаться. Столкновение с лапами и мордой — это разные стимулы с точки зрения интенсивности боли. Такие характеристики делают использованный Скиннером стимул неудобным для воспроизведения в других лабораториях. Что касается обобщаемости результатов, то Скиннер не отвечает на вопрос, всегда ли подавляющие последствия наказания временны? Каждый ли раз, когда реакция подавляется наказанием, это является следствием появления несовместимого конкурентного ответа? Короче говоря, справедливы ли полученные результаты и теоретические аргументы для любых связанных с наказанием поведенческих отношений?

Несмотря на центральную роль этой работы в теоретической позиции Скиннера в отношении наказания, было проведено довольно мало репликаций. Две, стоящие отдельного внимания — это работа Уильяма Эстеса в 1944 году и Бо и Черча в 1967 году. В обоих исследованиях были реализованы те же процедуры, что и у Скиннера, с той разницей, что наказывающим стимулом был удар током с электрифицированной решетки на полу; режим наказания действовал между пятой и двадцатой минутами первого сеанса гашения; сеансы гашения длились один час. В обоих исследованиях удары током были сопряжены с нажатием рычага и были запрограммированы с фиксированным интервалом в 30 секунд (FI 30s), то есть крыса получала не более двух ударов в минуту.

Эстес не указал точные параметры разрядов (напряжение, сила тока, сопротивление и продолжительность), но уточнил, что они были достаточно мягкими, чтобы не полностью подавить наказываемое поведение. Несмотря на различия, результаты были аналогичны скиннеровским, то есть крысы в группе наказания реагировали меньше крыс из контрольной группе в контексте ударов током и какое-то время после их отмены. Далее крысы из группы наказания возвращались к нажатиям с повышенной частотой, из-за чего к концу эксперимента общее количество нажатий оказывалось одинаковым.

Бо и Черч, в дополнение к изменениям Эстеса, манипулировали интенсивностью шока и продлили фазу гашения (девять сеансов по одному часу). Они использовали в общей сложности 60 крыс, распределенных поровну на 6 групп: контрольную группу, как у Скиннера, и группы наказания с различиями по напряжению используемого шока (35 В, 50 В, 75 В, 120 В и 220 В, все длительностью 0.1 секунды). Аналогично Эстесу и Скиннеру, они задокументировали снижение активности в контексте риска получить удар током и восстановление после отмены аверсивной стимуляции. Однако восстановление было обратно пропорционально используемому напряжению, то есть чем выше напряжение, тем хуже восстанавливались нажатия рычага. Следует отметить, что у Бо и Черча даже в группе 35 В количество нажатий к концу эксперимента было ниже, чем в контрольной группе.

Дальнейшие исследования определили интенсивность наказывающего стимула как один из наиболее важных факторов в продолжительности подавляющих эффектов наказания. Азрин и Хольц в работе 1966 года продемонстрировали влияние на эффективность наказания и других факторов. Наказание работает лучше всего, если следует сразу же за поведением, применяется с максимальной эффективностью и как можно чаще.

Помимо вопроса, работает ли наказание в принципе, Торндайк и Скиннер выдвигали предположения касательно поведенческих механизмов наказания. Приведем несколько примеров последовавших за экспериментом Скиннера попыток разобраться в этом вопросе.

Милленсон и Макмиллан в 1975 году оценили поведенческие изменения, происходящие в трех способствующих снижению частоты реакций условиях: наказание, гашение и насыщение. Чтобы было проще увидеть тонкие отличия в поведении, подход был немного изменен. Чтобы получить подкрепление, крысам требовалось не просто нажимать рычаг, а держать его нажатым в течение 10 секунд или более, после чего отпускать. Документировалось: 1) сколько раз поведенческая цепочка была инициирована; 2) сколько раз она достигала требуемого критерия; 3) интервал между окончанием одной цепочки и началом следующей.

После тренировки крысы подвергались четырем процедурам: а) наказание — те же условия, что и в тренировке, но вместе с едой крыса получала удар током (10 сессий); б) повторение базовых условий, то есть наказания отменялись и 20 сеансов крысы проходили в режиме непрерывного подкрепления; в) гашение — на этой фазе нажатие рычага не вызывало ни шока, ни пищи (40-минутный сеанс); г) насыщение — непрерывное подкрепление возвращалось, но грузынам давали 12 г. корма за 30 минут до эксперимента.

В любом из условий — наказания, гашения или насыщения — наблюдалось снижение количества завершенных цепочек. Однако подавление происходило по-разному: при насыщении путем увеличения интервала между освобождением рычага и повторным нажатием на него; при наказании крысы начинали цепочку как на фоне подкрепления, но часто сбрасывали рычаг раньше 10 секунд; при гашении наблюдали как больший интервал между цепочками, так и уменьшение количества завершенных цепочек — комбинация эффектов насыщения и наказания. Работа Милленсона и Макмиллана показывает, что подавление активности может происходить по-разному.

Другие исследователи подошли к вопросу со стороны поведенческой фармакологии. Известно, что анксиолитические препараты, такие как бензодиазепины, способствуют восстановлению наказанных реакций, но не увеличивают частоту положительно подкрепленных активностей, то есть избирательно устраняют эффект наказания, а не просто повышают уровень активности (см. Rasmussen, 2006 за обзором по теме).

В 2006 году Ли, Флетчер и Капур опубликовали первую работу с экспериментами по фармакологическому воздействию на избегающее поведение. Двадцать девять крыс прошли тренировку в режиме подкрепления, известному как сигнализированное избегание. Используемое оборудование представляло собой шаттл, прямоугольную коробку в форме коридора (64 см в длину и 24 см в ширину) с центральной перегородкой высотой четыре дюйма, металлическим полом и динамиком. Сеансы состояли из 30 испытаний. Каждое испытание начиналось с 10 секунд звукового шума, за которыми следовали 10 секунд подачи электричества на решетку пола (0,8 мА), затем электричество и шум отключались. Следующая попытка начиналась через 30-60 секунд. В начале сеанса крыса располагалась на одном из концов коридора. Ток всегда подавался только на пол той стороны, на которой она находилась. Если шум включался и крыса прыгала на другой конец коробки, то динамик выключался и шок не возникал — получалась реакция уклонения. Если крыса прыгала на противоположную сторону во время шока, то отключался и динамик, и подача электричества — реакция бегства. После тренировки реакции избегания крысам перед началом экспериментов вводили различные препараты: оланзапин, рисперидон (антипсихотические средства) или хлордиазепоксид (анксиолитик). У крыс под антипсихотиками наблюдалось снижение числа реакций уклонения, в то время как у подвергшихся анксиолитику изменений не наблюдалось.

Избирательность воздействия нейролептиков и анксиолитиков на поведение в условиях наказания соответственно указывает на то, что, возможно, избегание и наказание влияют на организм различными механизмами (т. е. нервными и физиологическими путями), таким образом, хотя реакции избегания могут способствовать подавлению ответ как предположил Скиннер, возможно, это не основной поведенческий принцип.

Еще одно направление понимания механизма работы наказаний — это количественный анализ поведения. Количественный анализ ищет математические модели, которые наиболее точно описывают наблюдаемые поведенческие отношения. Обычно количественный анализ проводится на поведении выбора, то есть реакциях в условиях конкурирующего режима подкрепления, где в одной ситуации испытуемому представлено несколько вариантов активности, каждый со своим режимом подкрепления. Исследователи оценивают долю каждой из предложенных активностей.

В подобной парадигме Расмуссен и Ньюленд (2008) проверили влияние денежной прибыли и убытков (очков, обмененных на деньги) на выбор. Испытуемые (люди) могли ответить, нажав одну из двух кнопок на экране компьютера. Во время тренировки на каждой кнопке действовал режим подкрепления с переменным интервалом (VI) — подкрепление давалось в ответ на первую реакцию по прошествию определенного времени, но длительность фазы неактивности кнопки случайно варьировалась от подкрепления к подкреплению. Использовались сочетания VI60s-VI12s, VI20s-VI20s и VI12s-VI60s. Каждая комбинация тестировалась до стабилизации выбора. После закрепления поведения на VI, на одну из кнопок добавлялось наказание в соотношении 1.25 от VI подкрепления (т. е. VI15s наказания для кнопки, на которой действовал VI12; подкрепление продолжало выдаваться). Наказание предъявлялось на одной и той же кнопке и проверялось во всех трех комбинациях VI подкрепления. Подкрепление состояло из появления на экране надписи "+4¢“, а наказание — ”-4¢".

Было замечено, что даже если оба компонента производили одинаковую денежную сумму (VI60-VI12 с добавлением VI15 наказания на правую кнопку дают в среднем одинаковую сумму в минуту), реакция была непропорционально смещена в сторону альтернативы без наказания. На собранных данных были протестированы две математические модели: одна предполагала подавление как следствие вычитающих эффектов наказания (гипотеза прямого подавления), а другая предполагала подавление путем увеличения частоты альтернативных реакций (гипотеза косвенного подавления). Гипотеза прямого подавления лучше всего описывает наблюдаемое поведение. Количественный анализ результатов показал, что наказание подавляет поведение в три раза сильнее, чем подкрепление его стимулирует. Потеря четырех центов отталкивала от альтернативы так, как будто на левой кнопке становилось в три раза больше подкрепления. Подобные исследования приходят к выводу, что наказание может быть эффективнее, чем подкрепление, что противоречит позиции Торндайка и Скиннера.

Третье направление исследований о наказании — это изучение, какие стимулы работают как наказывающие. Помимо ударов током аверсивная функция продемонстрирована у тайм-аута (Nader & Morgan, 2001), потери заработанных условных подкреплений (Raiff, Bullock, & Hackenberg, 2008), звуковых стимулов (Reed & Yoshino, 2008), интенсивного света (Barker et al., 2010), внутривенного введения гистамина (Podlesnik & Jimenez-Gomez, 2013) и никотина (Koffarnus & Winger, 2015).

В частности, в бразильских экспериментах часто используется струя горячего воздуха. Для этого требуется переделать оперантную камеру, заменить металлическую решетку на полу на акриловые листы, а крышу ящика сделать сеткой. Если сверху расположить фен, то его струя будет бить ровно внутрь камеры и обеспечивать возможность точно регулируемой подачи наказания.

Анализ поведения изучает взаимоотношения поведения и среды, но одной из категорий этих взаимодействий — наказанию — уделяется все меньше и меньше внимания. Еще Эдвард Ли Торндайк и Беррес Фредерик Скиннер задумывались, насколько наказание можно рассматривать как самостоятельный поведенческий процесс. Основоположник поведенческой науки выдвигал гипотезу, что наказание носит временный характер и является процессом простого перераспределения активности от наказанной реакции, а не самостоятельным процессом подавления, что согласовывалось с проведенными им экспериментами. Только спустя десятилетия получилось продемонстрировать, что Скиннер ошибался и наказание подавляет поведение сильнее, чем он думал.

Список литературы

1. Appel, J. B. (1963). Punishment and shock intensity. Science, 141, 528–529.
2. Azrin, N. H. (1960). Effects of punishment intensity during variable-interval reinforcement. Journal of the Experimental Analysis of Behavior, 3(2), 123–142.
3. Azrin, N. H., & Holz, W. C. (1966). Punishment. In W. K. Honig (Ed.), Operant behavior: Areas of research and application (pp. 380–447). New York: Appelton-Century-Crofts.Azrin, N. H., & Holz, W. C. (1966). Punishment. In W. K. Honig (Ed.), Operant behavior: Areas of research and application (pp. 380–447). New York: Appelton-Century-Crofts.
4. Balsam, P. D., & Bondy, A. S. (1983). The negative side effects of reward. Journal of the Experimental Analysis of Behavior, 16(3), 283–296.
5. Barker, D. J., Sanabria, F., Lasswell, A., Thraikill, E. A., Pawlak, A. P., & Kileen, P. R. (2010). Brief light as a practical aversive stimulus for the albino rat. Behavior and Brain Research, 214(2), 402–408.
6. Баум, У. (2020). Современный бихевиоризм: Поведение, культура, эволюция. (перевод Чистякова Ивана) (3-е издание). М: Практика. (Оригинальная публикация — 2017 год).
7. Baumeister, R. F., Bratslavsky, E., Finkenauer, C., & Vohs, K. D. (2001). Bad is stronger than good. Review of General Psychology, 5(4), 323–370.
8. Boe, E., & Church, R. M. (1967). Permanent effects of punishment during extinction. Journal of Comparative and Physiological Psychology, 63(3), 486–492.
9. Carvalho Neto, M. B., Maestri, T., C., Tobias, G. K. da S., Ribeiro, T., C., Coutinho, E. C. N. N., Miccione, M. M., … Moreira, D. (2005). O jato de ar quente como estímulo punidor em rattus norvegicus. Psicologia: Teoria E Pesquisa, 21(3), 335–339.
10. Catania, A. C. (1998). Learning (4th ed.). Prentice-Hall.
11. Catania, A. C. (2008). The journal of the experimental analysis of behavior at zero, fifty and one hundred. Journal of the Experimental Analysis of Behavior, 89(1), 111–118.
12. Cipani, E. (2004). Punishment on trial: A resouce guide to child discipline. Reno, NV: Context Press.
13. Critchfield, T. S., Paletz, E. M., MacAleese, K. R., & Newland, C. (2003). Punishment in human choice: Direct or competitive suppression? Journal of the Experimental Analysis of Behavior, 80(1), 1–27.
14. Critchfield, T. S., & Rasmussen, E. R. (2007). It’s aversive to have an incomplete science of behavior. Mexican Journal of Behavior Analysis, 33(Special Issue), 1–5.
15. de Villiers, P. A. (1980). Toward a quantitative theory of punishment. Journal of the Experimental Analysis of Behavior, 33(1), 15–25.
16. Dinsmoor, J. A. (1998). Punishment. In W. T. O’Donohue (Ed.), Learning and behavior therapy (pp. 188–204). Needham Heights, MA: Allyn & Bacon.
17. Dunham, P. J., & Grantmyre, J. (1982). Changes in a multiple-response repertoire during response-contingent punishment and response restriction: Sequential relationships. Journal of the Experimental Analysis of Behavior, 37(1), 123–133.
18. Epstein, R. (1985). The positive side effects of reinforcement: A commetary on Balsam and Bondy (1983). Journal of Applied Behavior Analysis, 18(1), 73–78.
19. Estes, W. K. (1944). An experimental study of punishment. Psychological Monographs, 57, 1–40.
20. Freeman, K. B., McMaster, B. C., Roma, P. G., & Woolverton, W. L. (2014). Assessment of the effects of contingent histamine injections on the reinforcing effectiveness of cocaine using behavioral economic and progressive-ratio designs, 2395–2403.
21. Guedes, M. L. (2011). Porque o controle aversivo não é uma possibilidade na clínica. Acta Comportamentalia, 19(especial), 65–70.
22. Iwata, B. A. (1988). The Development and Adoption of Controversial Default Technologies. The Behavior Analyst, 11(2), 149–157.
23. Johnston, J. M., Foxx, R. M., Jacobson, J. W., Green, G., & Mulick, J. A. (2006). Positive behavior support and applied behavior analysis. The Behavior Analyst, 29(1), 51–74.
24. Koffarnus, M. N., & Winger, G. (2015). Individual differences in the reinforcing and punishing effects of nicotine in rhesus monkeys. Psychopharmacology, 232, 2393–2403.
25. Lerman, D. C., & Vorndran, C. M. (2002). On the status of knowledge for using punishment: Implications for treating behavior disorders. Journal of Applied Behavior Analysis, 35(4), 431–464.
26. Li, M., Fletcher, P. J., & Kapur, S. (2007). Time Course of the Antipsychotic Effect and the Underlying Behavioral Mechanisms. Neuropsychopharmacology, 32(2), 263–272.
27. Lie, C., & Alsop, B. (2010). Stimulus disparity and punisher control of human signal-detection performance. Journal of the Experimental Analysis of Behavior, 93(2), 185–201.
28. Maestri, T. C. (2008). O estudo do desamparo aprendido em função de dois estímulos aversivos: Jato de ar quente e choque elétrico. Unpublished masters thesis. Instituto de Psicologia, Universidade de São Paulo, SP.
29. Mayer, P. C. M., Silva, G. F., & Carvalho Neto, M. B. (2015). Punishment of instrumental and consummatory responses with a hot air blast in rats. Behavior Analysis: Research and Practice, 15(1), 58–64.
30. Millenson, R., & Macmillan, S. S. C. (1975). Abortive responding during punishment of bar holding. Learning and Motivation, 6, 279–288.
31. Morris, E. K., Altus, D. E., & Smith, N. G. (2013). A study in the founding of applied behavior analysis through its publications. The Behavior Analyst, 36(1), 73–107.
32. Morse, W. H., & Kelleher, R. T. (1977). Determinants of reinforcement and punishment. In W. K. Honig & J. E. R. Staddon (Eds.), Handbook of operant behavior. (pp. 174–200). Englewood Cliffs, NJ: Prentice Hall.
33. Mulick, J. A. (1990). The ideology and science of punishment in mental retardation. American Journal on Mental Retardation, 95, 142–156.
34. Nader, M. A., & Morgan, D. (2001). Effects of negative punishment contingencies on cocaine self-administration by rhesus monkeys. Behavioral Pharmacology, 12(2), 91–99.
35. Nascimento, G. S., & Carvalho Neto, M. B. (2011). Supressão condicionada com diferentes estímulos aversivos : Choque elétrico e jato de ar quente. Acta Comportamentalia, 19(3), 269–280.
36. Nascimento, G. S., Monteiro, P. C. M., Gouveia Jr., A., & Carvalho Neto, M. B. (2012). Subchronic effects of fluoxetine on conditioned suppression produced by a hot air blast. Psychology & Neuroscience, 5(1), 117–122.
37. Newsom, C., & Kroeger, K. A. (2005). Nonaversive treatment. In Controversial therapies for developmental disabilities: Fad, fashion, and science in professional practice (pp. 405–422). Mahwah, NJ: Erlbaum.
38. Pietras, C. J., Brandt, A. E., & Searcy, G. D. (2010). Human responding on random-interval schedules of response-cost punishment: the role of reduced reinforcement density. Journal of the Experimental Analysis of Behavior, 93(1), 5–26.
39. Podlesnik, C. A., & Jimenez-Gomez, C. (2013). Punishing and cardiovascular effects of intravenous histamine in rats: pharmacological selectivity. Journal of the Experimental Analysis of Behavior, 100(3), 333–354.
40. Raiff, B. R., Bullock, C. E., & Hackenberg, T. D. (2008). Response-cost punishment with pigeons : Further evidence of response suppression via token loss. Learning & Behavior, 36(1), 29–41.
41. Rasmussen, E. B. (2006). “ Behavior-releasing ” effects of drugs : Anti-punishment and anti-conflict procedures. Mexican Journal of Behavior Analysis, 32(1), 73–91.
42. Rasmussen, E. R., & Newland, C. (2008). Asymmetry of reinforcement and punishment in human choice. Journal of the Experimental Analysis of Behavior, 89(2), 157–167.
43. Reed, P., & Yoshino, T. (2008). Effect of contingent auditory stimuli on concurrent schedule performance : An alternative punisher to electric shock. Behavioral Processes, 78, 421–428.
44. Rodrigues, B. D., Nascimento, G. S., Cavalcante, L. C., & Carvalho Neto, M. B. (2008). Efeitos da punição de uma classe de respostas usando diferentes dimensões e intensidades do jato de ar quente. Brazilian Journal of Behavior Analysis, 4(2), 231–241.
45. Sampaio, A. A. S., Azevedo, Flávia, H. B., Cardoso, L. R. D., Lima, C., Pereira, Mateus, B. R., & Andery, M. P. A. (2008). Uma introdução aos delineamentos experimentais de sujeito único. Interação Em Psicologia, 12(1), 151–164.
46. Sidman, M. (1989). Coercion and its fallout. Authors Cooperative.
47. Silva, G. F., Carvalho Neto, M. B., & Mayer, P. C. M. (2014). O jato de ar quente como estímulo aversivo antecedente. Acta Comportamentalia, 22(2), 135–151.
48. Skinner, B. F. (1969). Contingencies of reinforcement. Appleton-Century-Crofts.
49. Скиннер, Б. Ф. (2017). Наука и человеческое поведение (пер. Федоров А. А., Васильев А. И.). Новосибирск: НГУ. (Оригинальная публикация — 1953 год).
50. Skinner, B. F. (1989b). Recent issues in the analysis of behavior. Columbus, OH: Merril.
51. Skinner, B. F. (1991). The behavior of organisms. Cambridge, MA: B.F. Skinner Foundation. (Оригинальная публикация —
52. 1938 год).
53. Skinner, B. F. (1991). The behavior of organisms. Cambridge, MA: B.F. Skinner Foundation. (Оригинальная публикация — 1957 год).
54. Thorndike, E. L. (1911). Animal intelligence. New York: Macmillan.
55. Thorndike, E. L. (1931). Human learning. Cambridge, MA: The M.I.T. Press.
56. Thorndike, E. L. (1932). The fundamentals of learning. New York: Teachers College.
57. Witkin, J. M. (2002). Some contextual and historical determinants of the effects of chlordiazepoxide on punished responding of rats, 488–494.
58. Woolverton, W. L., Freeman, K. B., Myerson, J., & Green, L. (2012). Suppression of cocaine self-administration in monkeys: effects of delayed punishment. Psychopharmacology, 220(3), 509–517.
59. Yechiam, E., & Hochman, G. (2013). Losses as modulators of attention : Review and analysis of the unique effects of losses over gains. Pshychological Bulletin, 139(2), 497–518.

Переводил и редактировал Иван Чистяков, иллюстрации Вероники Романовой. Подписывайтесь на не.психологию, чтобы не пропустить новые материалы!