Как формировать креативность

По мотивам главы из второй части сборника «Experimentos Clássicos em Análise do Comportamento» про классические эксперименты поведенческих аналитиков.

Контекст эксперимента

В начале исследований оперантного поведения вариативность рассматривалась как побочный продукт режимов подкрепления. Ранние исследования показывали, что непрерывное подкрепление порождает повторение подкрепляемой реакции, в то время как эпизодическое подкрепление, как правило, порождает вариативность. Например, если подкрепление предоставляется через определенный промежуток времени (режим с фиксированным интервалом) или после демонстрации варьирующегося количества реакций (режим с переменным соотношением), то целевая реакция подкрепляется не всегда, и из-за этих периодов гашения возникают отклонения в поведении. Резюмируя эти наблюдения, появилось представление, что гашения достаточно, чтобы появилась вариативность.

Позже некоторые исследователи начали экспериментировать с прямым оперантным контролем поведенческой вариативности. Их интересовало, можно ли напрямую установить и поддерживать вариативность с помощью подкрепления. Одно из первых исследований, посвященных этому вопросу, и одно из самых цитируемых, было проведено Карен Прайор, Ричардом Хаагом и Джозефом О'Рейли с дельфинами. В этой работе, в отличие от ранних экспериментов, подкрепление зависело от вариативности поведения. Другими словами, подкрепление выдавалось только тогда, когда дельфины демонстрировали оригинальное поведение при плавании. Появилось много новых плавательных движений, включая те, которые обычно не наблюдаются у дельфинов. Донна Брайант и Рассел Черч подкрепляли чередование нажатий между рычагами и наблюдали увеличение частоты чередований в течение сессии. Когда чередования подкреплялись только в 50% испытаний, животные нажимали преимущественно на один из рычагов; если подкреплялось 75% чередований и 25% повторений, то реакции начинали случайным образом распределяться между рычагами.

Вышеприведенные исследования позволили предположить, что к вариативности могут приводить требования для получения подкрепления. Однако Барри Шварц отметил, что методология этих исследований не исключает возможности того, что вариативность была вызвана другими параметрами процедуры. Например, в исследовании Прайор с соавторами идентификация «оригинальной реакции» проводилась исследователем в момент её возникновения, что могло привести к многочисленным ошибкам. В исследовании Брайанта и Черча распределение реакций по двум рычагами могло вызываться не только прямым подкреплением чередований, но и периодами гашения, присущими вероятностному режиму подкреплений.

Шварц продолжил свои исследования оперантного контроля вариативности с помощью задачи, названной матричной. В его исследованиях использовалась матрица 5×5 с лампочками, и задача голубей состояла в перемещении света из левого верхнего угла в правый нижний угол матрицы. Для этого голуби должны были выдавать последовательности из восьми реакций, распределенных поровну на две кнопки: нажатия на левую кнопку (E) перемещали свет из матрицы вправо, а нажатия на правую кнопку (D) перемещали свет вниз. Если на одну из кнопок было сделано более четырёх нажатий, испытание заканчивалось без подкрепления. При таких условиях возникала доминирующая последовательность (например, EEEEDDDD), и голуби получали с ее помощью от 70 до 90% доступных подкреплений.

На втором этапе эксперимента Шварц модифицировал задачу. Он добавил требование вариативности. Согласно режиму подкрепления, последовательность подкреплялась только в том случае, если она отличалась от предыдущих n последовательностей (Lag n), где чем выше значение n, тем большая вариативность требовалась для получения подкрепления. Шварц использовал условие Lag 1, то есть последовательность из восьми реакций подкреплялась только в том случае, если она отличалась от предшествующей последовательности. По результатам, хотя условие требовало вариативности, потому что последовательные повторения данной последовательности не давали подкрепления, количество различных последовательностей не увеличилось по сравнению с тем, что наблюдалось в условиях, когда вариативность не требовалась, что привело к снижению процента полученных подкреплений всего до 40%. На основании этих результатов Шварц сделал вывод, что подкрепление необходимо порождает поведенческий стереотип и что, следовательно, вариативность не может подкрепляться напрямую.

Этот вывод оказал глубокое влияние на поведенческих аналитиков из-за его последствий для модели отбора поведения, предложенной Берресом Скиннером. Согласно этой модели, изменения в поведении, происходящие на протяжении всей жизни организма, определяются воздействиями окружающей среды, а точнее, условиями подкрепления и наказания. Таким образом, одни последствия поведения повышают вероятность его появления в будущем, а другие — снижают эту вероятность. Однако этот процесс отбора возможен только при наличии поведенческой вариативности. Если бы подкрепляющие последствия неизбежно порождали поведенческий стереотип, как утверждает Шварц, то шансы на удовлетворение требований со стороны среды уменьшались бы по мере того, как организм подвергался бы воздействию среды (физической и/или социальной), поскольку среда постоянно меняется. Другими словами, поведенческий стереотип делает невозможным отбор реакций со стороны среды и, следовательно, невозможной саму жизнь организмов. Поэтому исследовали сомневались в работе Барри Шварца и надеялись, что подкрепление вариативности все же возможно.

Переосмыслить эксперимент Шварца получилось Сюзанне Пейдж и Аллену Нойрингеру. В серии из шести экспериментов авторы продемонстрировали, что результаты Шварца были результатом артефакта, связанного с используемой процедурой, который будет описан ниже. После устранения этого ограничения, они увидели, что оперантный контроль вариативности возможен, чем положили начало плодотворному направлению исследований.

Ограничение вариативности

Цели и метод

Как отмечалось выше, результаты, полученные Шварцем, свидетельствовали, что подкрепление обязательно порождает стереотипное поведение. Однако Пейдж и Нойрингер утверждали, что низкое количество подкрепленных последовательностей (40%) в условиях Lag 1, наблюдаемое Шварцем, может быть связано с ограничением в четыре нажатия на кнопку. Когда процедура требует выдачи последовательности из восьми реакций, свободно распределенных между двумя кнопками (например, EEEDEDDD), существует 256 последовательностей, подходящих для подкрепления. Однако когда процедура требует не только выдачи последовательности из восьми реакций, но и того, чтобы эти реакции были равномерно распределены между кнопками (т.е. по четыре реакции на каждую), количество последовательностей, подходящих для подкрепления, уменьшается до 70, и, таким образом, вероятность, что последовательность вызовет подкрепление, снижается до 0.27 (70/256).

Чтобы оценить эффект ограничения в четыре реакции на кнопку, запрограммированного Шварцем, Пейдж и Нойрингер сравнили два экспериментальных условия: с этим ограничением и без него. Для этого они привлекли четырех голубей, трех экспериментально наивных (не участвовавших в экспериментах) и одного, ранее подвергавшегося процедуре оперантного обусловливания. Они содержались на уровне примерно 80% от свободного веса. Экспериментальная камера, использовавшаяся в данном эксперименте (а также в экспериментах 2, 3 и 4), содержала панель с матрицей 5×5 (см. рисунок 1), справа от матрицы — две кнопки (подсвеченные белым), а также кормушку.

Голубей подвергали двум условиям: «вариативность» и «вариативность + ограничение». В условиях вариативности голубь должен был выполнять последовательности из восьми реакций, распределяя их любым способом между двумя кнопками. Так, например, животное могло клевать левую кнопку один раз, а правую — семь раз (EDDDDDDDDD) или правую кнопку — восемь раз (DDDDDDDD). В начале испытания кнопки подсвечивались. При нажатии на одну кнопок свет выключался на обоих кнопках и на 0.5 сек. между реакциями [в исследованиях Шварца кнопки освещались непрерывно]. Изначально действовало условие Lag 1, так что последовательность приводила к выдаче подкрепления (доступ к пище на 3.5 сек.), только если она отличалась от непосредственно предшествующей последовательности; если это требование не выполнялось, подкрепление не выдавалось и наступал 3.5 сек. тайм-аут, во время которого свет на кнопках был выключен (как и во время интервала между испытаниями). После окончания интервала подкрепления или тайм-аута начиналось новое испытание.

Когда голуби начинали получать подкрепление почти в каждом испытании, требования к вариативности повышались. Теперь, чтобы получить подкрепление, последовательность должна была отличаться от пяти предыдущих (Lag 5). Экспериментально наивные голуби подвергались воздействию Lag 1, за которой следовал режим Lag 5, в то время как голуби с экспериментальной историей подвергались воздействию только Lag 5. Световая матрица в условий без ограничений не включалась.

В условии «вариативность + ограничение» матрица становилась важна для получения подкрепления. В начале каждого испытания загорался свет в левом верхнем углу матрицы. Клевок левой кнопки перемещал свет вправо, а клевок правой перемещал свет вниз. Если на одной из кнопок производилось 5 клевков в течение одного испытания, свет на матрице выключался и наступал тайм-аут. Для того чтобы получить подкрепление, последовательность из восьми реакций должна была не только соответствовать условию Lag 1, но и содержать четыре клевка левой кнопки и четыре клевка правой, как это было в исследованиях Шварца. Если эти требования не выполнялись, начинался тайм-аут.

Затем голуби возвращались в условие «вариативность», в котором требование четырёх реакций для каждой кнопки отменялось и действовало только условие Lag 5.

Каждая сессия в обоих условиях состояла из 50 испытаний. Каждое условие завершалось, когда процент подкрепления оставался стабильным в течение пяти сессий.

Также авторы провели компьютерную симуляцию обоих условий, чтобы сравнить вариативность, генерируемую голубями, с вариативностью, генерируемой компьютером случайным образом. Эта симуляция была запрограммирована таким образом, что все возможные последовательности генерировались компьютером с одинаковой вероятностью. Таким образом, если ограничение в четыре клевка на кнопку не влияет на выработку подкрепления, то последовательности, созданные в симуляции, будут соответствовать условию вариативности в большинстве испытаний в обоих условиях; но если ограничение в четыре клевка на кнопку имеет значение, как утверждают Пейдж и Нойрингер, то процент успешных последовательностей, созданных в симуляции, будет небольшим (приблизительно 27%).

Результаты и обсуждение

Анализ данных включал два показателя: (а) процент подкрепленных последовательностей (количество последовательностей, приводивших к подкреплениям, деленное на общее количество последовательностей), который отражает эффективность прохождения испытания; и (б) процент различных последовательностей (количество различных последовательностей, делённое на общее количество последовательностей), который даёт информацию об уровне вариативности выполнения. Последовательность считалась «вариативной», если она ранее не демонстрировалась в данной сессии. Например, считаем, что сессия была завершена после 10 испытаний, в ходе которых были выданы следующие последовательности: EEEEDDDD, EDEDEDED, DEDDEDEE, EEEEDDDD, DDEEDDEE, EEEEDDDD, EEEDEDDD, EDEDEDED, DDDDEEEE, EDEDEDED. Было получено семь подкреплений. В этом случае процент подкрепленных последовательностей составит 70%, а процент уникальных последовательностей — 60%.

Результаты, полученные с помощью голубей, были схожи с результатами, полученными с помощью симуляции в обоих условиях. В условиях вариативности процент подкрепленных последовательностей был выше 90% у голубей и равен 96% в симуляции. В условиях «вариативность + ограничение» процент подкрепленных испытаний упал до 42%, что повторяет результаты Шварца. В симуляции только 29% последовательностей соответствовали критериям для получения подкрепления. Другими словами, когда не было ограничения в четыре клевка на кнопку, голуби (и симуляция) успешно выдавали последовательности, приводившие в подкреплению, но этого не происходило при наличии данного ограничения. Процент различных последовательностей, в свою очередь, был выше 70% (у голубей) и выше 80% (в симуляции) во всех экспериментальных условиях.

Интерпретировать результаты этого эксперимента сложно, поскольку условия различались не только по наличию и отсутствию ограничения на четыре клевка для каждой кнопки, но и по критерию вариативности, а также по отсутствию или наличию матрицы. Пейдж и Нойрингер признают ограничения Эксперимента 1 и комментируют каждую из этих переменных по отдельности. Во-первых, авторы отмечают, что использование матрицы только в условии «вариативность + ограничение» не имело значения, поскольку на компьютерную симуляцию не влияло отсутствие или наличие матрицы.

Во-вторых, использование условия Lag 5 в условиях «вариативности» и Lag 1 в условиях «вариативности + ограничения» не может быть причиной разницы в проценте подкрепленных последовательностей в этих условиях, поскольку условие Lag 1 (последовательность должна была отличаться только от предыдущей) должно было давать больше подкреплений, чем условие Lag 5 (последовательность должна была отличаться от предыдущих пяти), что прямо противоположно тому, что наблюдалось в симуляции и на голубях. Таким образом, для объяснения разницы в результатах двух экспериментальных условий остается наличие или отсутствие ограничения в четыре клевка на кнопку.

Это ограничение приводит к различному количеству последовательностей, приводящих к подкреплению (256 в условиях «вариативность» и 70 в условиях «вариативность + ограничение»). Даже если бы 256 последовательностей выдавались случайным образом в ситуации Lag 1, только 1/3 этих последовательностей получило бы подкрепление в условии «вариативность + ограничение», но почти все они дали бы подкрепление в условии «вариативность». Анализируя ошибки, наблюдаемые у голубей и в симуляции в условиях «вариативность + ограничение», авторы заметили, что 99% этих ошибок характеризовались появлением пятого клевка на одной из кнопок (только 1% состоял из повторения последней последовательности), что говорит в пользу предположения о том, что ограничение в четыре нажатия на кнопку негативно влияет на вариативность.

Учитывая эти соображения, авторы пришли к выводу, что результаты Эксперимента 1 свидетельствуют о том, что процедура Шварца не подходит для исследования оперантного контроля вариативности. При ограничении в четыре клевка на кнопку выдача разнообразных последовательностей контрпродуктивна, поскольку снижает процент подкреплений.

Воспроизведение работы Шварца

Цели и метод

В этом эксперименте авторы устранили различия между процедурой в Эксперименте 1 и процедурой в исследованиях Шварца, чтобы более убедительно продемонстрировать вклад ограничения в четыре нажатия на кнопку на возможность получать подкрепления.

С этой целью в Эксперименте 2 голуби, использовавшиеся в предыдущем эксперименте, были подвергнуты двум условиям. В обоих условиях использовалась матрица, в которой действовало условие вариативности Lag 1. Условие «вариативность + ограничение» было аналогично условию в Эксперименте 1, за следующими исключениями: интервала между реакциями не было, подкрепление состояло из 4 сек. доступа к пище и интервала между испытаниями 0.5 сек. Условие «вариативность» было аналогично условию «вариативность + ограничение» в Эксперименте 2, за следующими исключениями: не было ограничения на четыре нажатия на кнопку, поэтому испытание заканчивалось только после восьмого клевка; и если на одной из кнопок был происходил пятый клевой, свет двигался в противоположном направлении. Например, если клевки правой кнопки перемещали свет вниз, то пятый клевок перемещал свет вверх. При такой процедуре испытания с последовательностями, приводящими к подкреплению, необязательно завершались светом в правом нижнем углу матрицы, как это происходило в процедуре Шварца.

Результаты и обсуждение

Результаты, полученные в Эксперименте 2, повторяют результаты эксперимента 1. То есть без ограничения в четыре клевка на кнопку голуби получали подкрепление в более чем 80% испытаний; с этим ограничением, однако, процент подкреплений уменьшился, так что только 40% испытаний были подкреплены. Также было замечено, что в условиях «вариативность + ограничение» голуби демонстрировали бо́льший процент различных последовательностей, чем в условии «вариативность». Однако более вариативная реакция в условии «вариативность + ограничение» не сопровождалась большим количеством получаемых подкреплений. Это объясняется тем, что более 53% продемонстрированных последовательностей включали пятый клевок на одной из кнопок и, в связи с ограничением на четыре клевка, считались ошибками.

В Экспериментах 1 и 2 вариативность в выдаче последовательностей в условии «вариативность + ограничение» была выше, чем в исследованиях Шварца, что Пейдж и Нойрингер объясняют историей эксперимента. В исследованиях Шварца голубей сначала обучали условиям, не требующим вариативности, и наблюдали за появлением доминирующей последовательности. Только после этого обучения было введено условие «вариативность + ограничение». В Экспериментах 1 и 2 Пейдж и Нойрингера, напротив, голуби сначала учились демонстрировать вариативные последовательности (условие «вариативность» в Эксперименте 1), а затем вводилось условие «вариативность + ограничение». Кроме того, Шварц подвергал своих голубей бо́льшему количеству сессий в разных условиях, что также могло повлиять на снижение вариативности.

Таким образом, Эксперименты 1 и 2 доказывают, что стереотипность поведения, наблюдаемая Шварцем, даже при наличии требования вариативности (Lag 1), была вызвана артефактом процедуры (т.е. ограничением в четыре клевка на каждую кнопку). Эти результаты опровергли идею о том, что стереотипное реагирование является необходимым следствием подкрепления, как это было предложено Шварцем, и, таким образом, стимулировали разработку процедур, систематически демонстрирующих оперантный контроль над вариативностью.

Увеличение требований к вариативности

Цели и метод

В Экспериментах 1 и 2 было замечено, что когда требование вариативности осуществлялось в отсутствие ограничений на распределение ответов между кнопками, реакции чаще приводили в подкреплениям, даже когда действовало условие Lag 5. В Эксперименте 3 Пейдж и Нойрингер параметрически манипулировали величиной Lag. Их целью было оценить, приведет ли увеличение требования в вариативности к соответствующему увеличению уровню вариативности при демонстрации последовательностей голубями.

Для этого четырём голубям, двум экспериментально наивным и двум с экспериментальной историей, нужно было демонстрировать последовательности из восьми реакций, которые можно было свободно распределять между двумя кнопками. Последовательности получали подкрепление, если соответствовали критерию Lag n; в противном случае наступал тайм-аут. Величину Lag изменяли между экспериментальными условиями (5, 10, 15, 25 и 50). Как и в условии «вариативность» в Эксперименте 1, интервал между реакциями составлял 0.5 сек., подкрепление и тайм-аут длились 3.5 сек., каждая сессия состояла из 50 испытаний, а переход между условиями происходил только тогда, когда процент подкреплений оставался стабильным в течение пяти последовательных сессий. В этом и последующих экспериментах реакции в последовательности могли быть распределены между двумя кнопками любым образом. Компьютерная симуляция также проводилось для каждого значения Lag.

Результаты и обсуждение

Более 85% последовательностей, продемонстрированных голубями, приводили к подкреплению в условиях Lag от 5 до 25. Однако в условиях Lag 50 подкрепление получили не более 67% последовательностей. Аналогичное влияние величины Lag было получено в симуляции, хотя значения процента подкреплений были выше. Процент различных последовательностей увеличился с 66 до 87% между условиями Lag 5 и Lag 25, и снизился до 81% в условии Lag 50. И, как и следовало ожидать при случайном воспроизведении последовательностей, в симуляции был получен высокий и одинаковый процент различных последовательностей во всех условиях (чуть более 90%).

Авторы проанализировали дополнительную меру вариативности в демонстрируемых последовательностях. Эта мера, названная U-значением, учитывает не только количество различных событий (как в случае с оценкой процента различных последовательностей), но и частоту каждого из этих событий. Таким образом, U-значение основано на относительной частоте всех возможных событий (т.е. последовательностей, в данном случае). Значение U колеблется от 0 до 1: значение U, равное 0, означает, что произошло одно событие (минимальная неопределенность, повторяемость); значение U, равное 1, означает, что все возможные события произошли с равной вероятностью (максимальная неопределенность, вариативность). Таким образом, чем выше значение U, тем больше вариативность. Пейдж и Нойрингер показали, что U-значение для отдельных реакций на левой и правой кнопке (E и D) — U1; для пар реакций (EE, ED, DD, DE) — U2; а для троек реакций (EEE, EED, EDE, EDD, DDD, DDE, DED и DEE) — U3. Если бы ответы E и D были одинаково вероятны, значение U1 было бы равно 1; аналогично, значения U2 и U3 были бы равны 1, если бы все пары и все тройки реакций были одинаково вероятны, соответственно. Для голубей увеличение критерия Lag сопровождалось увеличением значений U1, U2 и U3, так что в условии Lag 25 эти три значения приблизились к 1. В условии Lag 50 наблюдалось небольшое снижение значений U1, U2 и U3, как и в случае с процентом различных последовательностей. Значения U1, U2 и U3 в симуляции были равны 1 во всех условиях.

Значение U является более точным показателем вариативности, чем процентное соотношение различных последовательностей. Рассмотрим, например, 50 возможных последовательностей, и 25 из них выдаются по два раза в течение эксперимента, создавая в общей сложности 50 последовательностей. В этом случае процент различных последовательностей будет равен 50%. Если 24 из 50 возможных последовательностей демонстрируются по одному разу, а определенная последовательность демонстрируется 26 раз, процент различных последовательностей по-прежнему будет равен 50 процентам, но значение U будет ниже, чем в первом случае, из-за повторного произнесения одной из последовательностей. Это говорит о том, что, в отличие от процента различных последовательностей, значение U дает информацию о степени равновероятности частоты последовательностей: чем больше равновероятность, тем больше вариативность.

Увеличение вариативности в результате увеличения критерия Lag предполагает, что различные уровни поведенческой вариативности могут по-разному подкрепляться, т.е. что поведенческая вариативность чувствительна к последствиям. Голуби могут успешно получать подкрепления, несмотря на высокий уровень вариативности, требуемый действующим значением Lag. Однако, как показали результаты компьютерной симуляции, когда требование вариативности становится слишком строгим (например, Lag 50), происходит снижение частоты подкрепления, даже если последовательности очень вариабельны. Этот эффект наблюдался и у голубей. Вероятно, это связано с тем, что большая вариативность не обязательно подразумевает эффективность. Когда вариабельность характеризуется случайной реакцией (например, случайная демонстрация n возможных последовательностей), подкрепление может быть менее частым, чем при систематических реакциях (например, демонстрация n возможных последовательностей в одном и том же порядке; разница между этими двумя стратегиями будет более подробно рассмотрена в описании Эксперимента 4, ниже). Это объясняется тем, что при случайной реакции все последовательности имеют равную вероятность появления в каждом испытании, что может привести к нежелательным повторениям. Хотя оба типа вариативности возможны при любом значении Lag, случайная демонстрация последовательностей может стать более вероятным при увеличении величины Lag, поскольку запомнить содержание 50 последовательностей (в случае критерия Lag 50) сложнее, чем 10 последовательностей (в случае критерия Lag 10).

Хотя Эксперимент 3 продемонстрировал, что голуби могут добиваться высокого процента подкреплений даже при строгих условиях вариативности, механизмы, задействованные в демонстрации различных последовательностей, оставались неясными.

Количество реакций в последовательности

Цели и метод

В этом эксперименте Пейдж и Нейрингер исследовали механизмы, участвующие в вариативности. В предыдущих экспериментах сходство между результатами симуляции и результатами, полученными на голубях, указывает на различные модели вариативности, то есть на случайную (или, по крайней мере, полуслучайную) и систематическую. Чтобы более четко разграничить эти модели, рассмотрим ситуацию с четырьмя возможными последовательностями (от 1 до 4). Выдача 1, 4, 3, 3, 4, 2, 1, 2, 4, 1, 3, 2 характеризует случайную (или полуслучайную) работу, поскольку исходя из ранее выданных последовательностей невозможно предсказать следующую. С другой стороны, последовательность 1, 4, 3, 2, 1, 4, 3, 2, 1, 4, 3, 2 указывает на систематичность реакции и предполагает наличие дискриминативного контроля последовательности (реакция 1 вызывает 4, которая вызывает 3 и т. д.).

Чтобы выяснить, какая стратегия (случайное/полуслучайное или систематическое реагирование) стимулируется режимом подкрепления Lag, Пейдж и Нейрингер манипулировали количеством реакций в последовательности. По мнению авторов, увеличение количества реакций в последовательности привело бы к увеличению шансов на получение подкрепления, но только в том случае, если используется случайная стратегия. Увеличение числа реакций в последовательности подразумевает увеличение числа возможных последовательностей; чем больше пространство возможных последовательностей, тем меньше вероятность повторения последовательностей и, следовательно, больше шансов получить подкрепление в условиях Lag.

Рассмотрим задачу извлечения с заменой шариков из контейнера, содержащего шарики разных цветов. Если в контейнере только два шарика, то вероятность того, что индивид вытащит тот же самый шарик, который был выбран в предыдущем испытании, составляет 50%; эта вероятность уменьшается до 25% или 12.5%, если в контейнере четыре или восемь шариков, соответственно. Чем больше предметов, тем меньше вероятность повторения. С другой стороны, при использовании систематической стратегии увеличение количества реакций на последовательность затрудняет установление дискриминативного контроля за последовательностью, которая возникла ранее, и, следовательно, снижает шансы на получение подкрепления. Другими словами, легче запомнить последовательность из четырех реакций, чем последовательность из восьми.

Голубей в Эксперименте 4 подвергали воздействию последовательности Lag 5 в во всех экспериментальных условиях, при этом между фазами менялось требуемое количество реакций в последовательности. Использовался реверсивный дизайн ABCB. В условиях A, B и C голуби должны были продемонстрировать последовательности из шести, восьми и четырёх реакций, соответственно. Время подкрепления и тайм-аута составляло 5.83 сек. Эти условия также были симулированы на компьютере.

Результаты и обсуждение

Как в случае с голубями, так и при компьютерной симуляции наблюдалась прямая зависимость между процентом подкреплений и количеством реакций в последовательности, т.е. чем больше реакций в последовательности, тем выше процент подкреплений. Что касается вариативности последовательностей, то для голубей значения U1, U2 и U3 были выше 0.86 и не изменялись систематически с увеличением количества реакций в последовательности. В симуляции значения U1, U2 и U3 были равны 1 во всех условиях.

Результаты голубей оказались схожи с симуляцией. Это сходство, а также тот факт, что более длинные последовательности или, наоборот, более широкие вероятностные пространства последовательностей приводили к более высокой частоте подкреплений, обеспечили поддержку гипотезы случайной стратегии (т.е. случайных последовательностей). Однако важно подчеркнуть, что эти результаты не исключают возможности того, что при определенных условиях вариативности систематическая стратегия более эффективна, чем случайная, для получения подкреплений. Возможно, что использование систематической стратегии более вероятно при более коротких последовательностях (и меньших значениях Lag, как обсуждалось в Эксперименте 3), поскольку в таких ситуациях формирование дискриминативного контроля будет упрощено (а использование случайной стратегии приведет к повторению последовательностей).

Влияние гашения на вариативность

Цель и метод

Результаты Эксперимента 3 показали прямую зависимость между требованием вариативности и уровнем поведенческой вариативности, то есть вариативность может являться функцией условий подкрепления. Однако было замечено, что чем строже требование вариативности, тем ниже процент полученных подкреплений и, следовательно, длиннее периоды гашения. Учитывая это, можно предположить, что вариативность последовательностей была побочным продуктом действующих условий (т.е. вызвана периодами гашения), а не прямым продуктом подкрепления.

Пейдж и Нейрингер предложили изобретательную процедуру, которая позволила им отделить индуцированную вариативность от подкрепленной вариативности. Четыре голубя (два экспериментально наивных и два с экспериментальной историей) были подвергнуты воздействию режима ABAA'B. Использовались две экспериментальные камеры. На панели каждой коробки находились три кнопки, расположенные горизонтально, и кормушка, расположенная под центральной кнопкой (эта кнопка был заклена черной лентой и не использовалась). Условие Lag 50 (A) было запрограммировано аналогично условию «вариативности» в Эксперименте 1, за следующими исключениями: (a) действовало условие Lag 50; (b) продолжительность подкрепления и тайм-аута составляла 5.83 сек., а интервал между реакциями — 0.83 сек.; и (c) сессия заканчивалась после 50 подкреплений или после 100 испытаний, в зависимости от того, что наступало раньше.

В режиме подкрепления VR (с переменной пропорцией) (B) параметры некоторых событий были изменены: продолжительность подкрепления и тайм-аута составляла 3.5 сек., а интервал между реакциями — 0.5 сек. Использовался режим сопряженного VR, при которой распределение подкреплений и тайм-аутов каждого блока из шести сессий этого условия было сопряжено с распределением подкреплений и тайм-аутов последних шести сессий предыдущего условия для каждого голубя. Авторы привели пример такой связи. Если подкрепление выдавалось после 2-й, 5-й, 6-й и 8-й последовательностей во время последней сессии с условием Lag 50, то подкрепление будет выдано, независимо от того, какая последовательность была выдана, после 2-й, 5-й, 6-й и 8-й последовательностей в 6-й, 12-й, 18-й и т.д. сессиях согласно режиму сопряженного VR — иными словами, подкрепление уникальной последовательности происходило не сразу, а в последующих экспериментальных сеансах. Таким образом, количество и распределение подкреплений и тайм-аутов было одинаковым в разных условиях, но в фазе A подкрепление происходило сразу, а в фазе B — с задержкой.

В фазе B вариативность допускалась, но была не обязательной. Если вариативность вызывалась прерывистостью подкрепления (т.е. локальными периодами гашения согласно Lag 50), уровень вариативности должен был быть одинаковым между условиями «вариативный» и «сопряженный VR», поскольку распределение подкреплений между ними не отличалось. С другой стороны, если бы вариативность была вызвана непосредственно подкреплением, уровень вариативности должен был бы быть выше в условиях, требующих вариативности (т.е. «вариативность»), чем в тех, которые не требуют вариативности (сопряженный VR).

Затем животных повторно подвергали воздействию условия Lag 50 (A). После достижения стабильных результатов условие Lag 50 сохранялось (A'), но длительность интервала между реакциями, подкрепления и тайм-аута принимала значения, идентичные тем, которые использовались в сопряженном VR (B). Это было сделано потому, что в экспериментах 1–4 из-за ошибки программирования для каждого из этих событий иногда использовались два вышеупомянутых значения. Поэтому в данном эксперименте авторы проверили, сравнивая условия A и A', оказывают ли эти значения различное влияние на вариативность. Наконец, голубей повторно подвергали воздействию сопряженного VR. Фазы переключались только тогда, когда реакции стабилизировались.

Результаты и обсуждение

Процент различных последовательностей был выше в условиях Lag 50 (более 75%), чем в условиях сопряженного VR (менее 20%). Более того, сравнение между вторым и третьим условиями Lag 50 (A и A') показало, что разная длительность интервала между реакциями, подкреплением и тайм-аутом не влияла на процент вариабельности различных последовательностей.

В этом эксперименте авторы использовали дополнительную меру вариативности — процент модальной последовательности (количество повторений модальной последовательности в сессии, деленное на общее количество испытаний). Чем выше количество повторений модальной последовательности, тем ниже вариативность. В последних пяти сессиях каждого условия модальная последовательность встречалась не более чем в 5% испытаний в условиях Lag 50 и более чем в 45% испытаний в условиях сопряженного VR.

Наконец, значения U1, U2 и U3 были выше в условиях Lag 50 (близки к 1), чем в условиях сопряженного VR (в большинстве случаев от 0.35 до 0.5). Результаты симуляции показали значения U, равные 1 на протяжении всего эксперимента.

В заключение следует отметить, что Эксперимент 5 предоставляет более убедительные, чем Эксперимент 3, свидетельства того, что вариативность поддается контролю со стороны последствий. Это объясняется тем, что при наличии подкрепления наблюдался более высокий уровень вариативности, чем при отсутствии этого условия, несмотря на то, что усредненная частота подкрепления в этих условиях была одинаковой.

В последнем эксперименте Пейдж и Нойрингера, описанном ниже, акцент был сделан на контроле со стороны антецедентов.

Стимульный контроль вариативности

Цели и метод

Для того чтобы вариативность можно было считать характеристикой оперантного поведения, необходимо продемонстрировать не только контроль последствий, но и контроль антецедентов. В предыдущих экспериментах оценивался первый тип контроля; в последнем эксперименте из работы 1985 года изучался второй. Авторы выясняли, будут ли животные по-разному реагировать на определенные стимулы в результате дифференцированного подкрепления. Для этого они использовали множественный режим с двумя компонентами. В этом режиме два или более различных условий подкрепления, сигнализируемых специфическими стимулами, предъявляются попеременно или полуслучайно в течение экспериментальной сессии.

Эксперимент проводился с четырьмя экспериментально наивными голубями с использованием тех же оперантных камер, которые были описаны в Эксперименте 5. Во всех экспериментальных условиях использовалась множественный режим VR. В компоненте «вариативность», обозначенном синей подсветкой кнопки, подкрепление зависело от вариативности демонстрируемых последовательностей в соответствии с условием Lag; в компоненте «стереотипность», обозначенном красной подсветкой, подкрепление давалось только за одну последовательность.

В условии 1 во время компонента «вариативность» последовательности из восьми реакций подкреплялись в соответствии с условием Lag 5; в компоненте «стереотипность» подкрепление зависело от выдачи одной последовательности из трёх кнопок (EDD), а тайм-аут наступал сразу после неправильной последовательности (в компоненте «вариативность» тайм-аут наступал только в конце последовательности). В обоих компонентах интервал между реакциями составлял 0.83 сек., а длительность доступа к подкреплению — 5 сек. для трех голубей и 4.2 сек. для четвертого голубя. Чтобы повысить различимость последствий, во время тайм-аута в коробке мигал свет. Компоненты чередовались каждые 10 подкреплений, а сессия заканчивалась после 60 подкреплений или 120 испытаний, в зависимости от того, что наступало раньше.

Во второй фазе авторы уменьшили разницу между количеством реакций в разных компонентах, чтобы предотвратить слишком высокий или слишком низкий процент подкреплений. В ней последовательности из шести реакций подкреплялись в соответствии с условием Lag 10 в компоненте «вариативность», а в компоненте «стереотипность» подкреплялась реакция из пяти реакций (EDDEE). Продолжительность подкрепления и тайм-аута была изменена на 3 сек.

В третьй фазе последовательности стали содержать пять реакций в компоненте «вариативность», таким образом, количество реакций на последовательность было уравнено между компонентами. Кроме того, цвета кнопок были инвертированы между компонентами, что позволило оценить стимульный контроль. Другими словами, если поменять правила и подкреплять вариативность в контексте синей подсветки и стереотипность — в контексте красной, то можно увидеть, действительно ли поведение контролируется цветом подсветки кнопок. Однако нельзя исключить вклад последствий (подкрепления и тайм-аута) в этот дифференцированный ответ. Таким образом, более убедительным доказательством стимульного контроля было бы наблюдение за тем, что происходит с реакцией сразу после изменения стимула. Например, когда цвет кнопок, соответствующих условию «вариативность», меняется с синего на красный, а цвет кнопок, соответствующих условию «стереотивность», меняется с красного на синий, сохранение вариативной реакции на синий цвет и повторяющейся реакции на красный цвет (что приводит к уменьшению процента подкреплений в обоих компонентах) в начале реверсии более убедительно показывает контроль реакции со стороны цвета кнопок.

Результаты и обсуждение

Авторы представили результаты только по одному голубю, но сообщили, что эти результаты являются репрезентативными для результатов, полученных с другими голубями. Процент подкреплений в конце первой фазы был одинаковым между компонентами и составлял более 80%. Когда количество реакций в последовательности между компонентами было уравнено (вторая фаза), от 50 до 70% испытаний приводили к подкреплению. В третьей фазы, наблюдалось первоначальное снижение процента подкреплений в обоих компонентах (у которых поменялись цвета), но к концу фазы голубь вышел на уровень подкрепления от 40 до 60%. Что касается уровня вариативности в каждом компоненте, то было замечено, что значения U1, U2 и U3 в компоненте «вариативность» были выше, чем в компоненте «стереотипность» во всех трёх условиях. Резюмируя, результаты Эксперимента 6 свидетельствуют, что вариативность поддается стимульному контролю.

Дальнейшее развитие

Исследование Пейджа и Нойрингера стало классическим в данной области не только из-за эмпирической и теоретической значимости полученных результатов, которые с тех пор систематически воспроизводились, но и из-за использованного ими метода, который стал стандартом в данной области. Они продемонстрировали, что вариативность чувствительна к влиянию предшествующих (антецедентов) и последующих (подкреплений) стимулов, как и в случае с другими свойствами поведения (например, силой, латентностью, продолжительностью, топографией). В теоретическом плане результаты исследования показывают, что: (а) стереотипность не является необходимым следствием подкрепления, как предполагал Шварц; (б) подкрепление может отбирать не только стереотипные реакции, но и вариативность реакций, в зависимости от условий подкрепления.

Сила, латентность, продолжительность, топография и т.д. — это свойства поведенческой единицы (т.е. экземпляра поведения), в то время как вариативность — это свойство совокупности поведенческих единиц.

Но как определить вариативность? Хотя Пейдж и Нейрингер не дают определения, меры, используемые для анализа данных, позволяют предположить, что вариативность связана с распределением последовательностей и равномерностью этого распределения. Распределение показывает количество различных последовательностей среди всех возможных последовательностей. Чем больше различных последовательностей, тем выше вариативность. Эту информацию даёт показатель процентного соотношения различных последовательностей. Равномерность распределения, в свою очередь, указывает на то, насколько равна частота последовательностей среди всех возможных. Чем выше равномерность, тем выше вариативность, на которую указывает значение U.

Руководствуясь этим определением, дальнейшие исследования продемонстрировали, что на вариативность могут влиять вероятность, задержка и величина подкрепления; история подкрепления и топография реакции; помимо этого были работы по контролю вариативности с помощью вербальных стимулов.

Поведенческая вариативность изучалась и в других исследовательских контекстах. Например, было показано, что вариативность более устойчива к изменениям, чем повторение. А также, что на выбор между повторением и варьированием (или между разными уровнями варьирования) влияет требование ко степени варьирования: то есть чем строже требования к варьированию, тем более вероятен выбор в пользу связи с менее строгим требованиям. Как и в случае с другими примерами самоконтроля, как показали Жуниа Морейра и Хоселе Абреу-Родригес, возможность продолжить реагировать во время задержки подкрепления способствует выбору самоконтроля. Совсем недавно Анн Галицио с соавторам продемонстрировала восстановление и повторное появление вариативности.

Поведенческая вариативность изучалась в основном в контексте фундаментальных исследований, как на людях, так и на других животных. Прикладных исследований не так много, учитывая значимость вариативности для различных поведенческих процессов (например, решение проблем, творчество, успеваемость, социальное взаимодействие). Одно из таких исследований было проведено Элизабет Гетц и Дональдом Баером. Из работ других авторов известно, что в обучении математическим навыкам важна игра с кубиками (т.е. использование кубиков для создания фигур), поэтому они попробовали подкреплять создание уникальных фигур, то есть таких, которые ранее на занятии не создавались. Что согласуется с изначальной работой Пейдж и Нойрингера, количество различных фигур было больше, если подкреплялась вариативность (и меньше, если подкреплялась повторяемость решения задачи). Кэрри Суза и Генри Шлингер продемонстрировали, что условия Lag 1, 2 и 3 стимулируют развитие разнообразного вербального поведения у аутичных детей. В других работах документировали положительный эффект режима подкрепления Lag на вариативность движений в боевых искусствах.

Адаптироваться к изменениям окружающей среды проще, если поведенческий репертуар полон альтернатив. Как показали исследования вариативности оперантного поведения, уровень вариативности можно контролировать, как и прочие характеристики поведения. Работа Пейдж и Нойрингера лишний раз напоминает, что оперантное поведение — это активный процесс, и нам необязательно знать конкретное решение, к которому индивиду нужно прийти в процессе работы над задачей. Если задать рамки, что просто нужно попробовать что-то новое, то варианты найдутся сами.

Переводил Артем Ефремов, редактировал Иван Чистяков, иллюстрации Вероники Романовой. Подписывайтесь на не.психологию, чтобы не пропустить новые материалы!