Опровержение зефирного эксперимента
Стэнфордский зефирный эксперимент — серия исследований отсроченного удовольствия, проведённая в конце 1960-х и начале 1970-х годов под руководством психолога Уолтера Мишела, ставшего позднее профессором Стэнфордского ун-та. В этих тестах детям предлагали выбор между одним небольшим вознаграждением, предоставляемым немедленно, и увеличением награды вдвое, если они смогут терпеливо ждать её в течение короткого периода (примерно 15 минут) во время которого экспериментатор покинул комнату, чтобы вернуться после ожидания. В качестве вознаграждения использовался зефир, печенье или сухарик (подробности об эксперименте —
Не так давно была опубликована статья с описанием репликации (повторения) зефирного теста:
Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes.
Tyler W. Watts, Greg J. Duncan, Haonan Quan
https://doi.org/10.1177/0956797618761661
Авторы репликации эксперимента пишут,что способность высидеть в зефирном тесте коррелирует с “успехами” в жизни, но только у некоторых детей, и в любом случае зефирный тест не имеет прогностической ценности в отношении дальнейших успехов в жизни.
В этой работе ученые под руководством Хаонана Квана (Haonan Quan) из Калифорнийского университета провели зефирный эксперимент на группе детей, чьи матери на момент их рождения не имели высшего образования. Социоэкономический статус родителей может во многом повлиять на дальнейшие успехи ребенка, именно поэтому в том случае, если образование родителей не учитывается, установить взаимосвязь между желанием немедленного вознаграждения и дальнейшими успехами может быть сложно.
Всего в эксперименте приняли участие 918 детей, матери 552 из которых не имели высшего образования (остальные дети были контрольной группой). Первая часть исследования — зефирный эксперимент — проводился, когда участникам было по четыре года. Эксперимент проводили по классическому сценарию, но время ожидания было укорочено до семи минут. Поведение и школьные успехи детей затем оценивали в возрасте пятнадцати лет.
Ученые выяснили, что дети необразованных матерей в среднем на 1,37 минуты раньше соглашаются на получение небольшого вознаграждения, чем те дети, у матерей которых степень бакалавра или выше. В целом, авторам удалось найти корреляцию между временем ожидания и дальнейшими учебными успехами ребенка, но после учета побочных переменных (информации о родителях, ранних когнитивных способностях) авторы получили коэффициент корреляции 0,28, что почти вдвое меньше ранее описанного коэффициента 0,57 — коэффициент в новой работе был значительно (p < 0,001) ниже, чем в оригинальном эксперименте. Взаимосвязи между результатами эксперимента и показателями поведения в подростковом возрасте обнаружено не было.
С критикой результатов авторов этой репликации выступила биолог, популяризатор науки Ирина Якутенко — читайте её заметку по ссылке https://bit.ly/2rujUau
В свою очередь, публикацию Ирины Якутенко подверг критике химик, популяризатор рационального мышления Сергей Белков.
Ирину Якутенко мы знаем как прекрасного популяризатора, но из статьи Сергея выходит что она в данном случае не права…
Читайте статью Белкова:
«…Звезда научпопа Ирина Якутенко выступила с опровержением опровержения знаменитого эксперимента Мишела. Сделала она это в классической научно-популярной манере: процитировав удобные ей места и закопав в песок неудобные. Это опровержение опровержения тут же набрало перепосты рейтинги в рядах любителей “правильной” популяризации и мы не собираемся никого разочаровывать и писать опровержение опровержения опровержения.
Мы лишь продемонстрируем, что Якутенко сама сделала именно это и ничего опровергать уже и не надо.
Часть 1. Новый метод критики.
Метод этот не совсем новый. Но я впервые столкнулся с такой интенсивностью нахрапа.
Для того, чтобы указать на проблемные места работы она не стала включать мыслительную часть своего мозга (о которой так много пишет в своей книжке) и прибегла к совсем базовой демагогии. Открыла статью с опровержением и просто переписала все недостатки, которые были замечены авторами же. Затем поставила уже от своего имени вопросы, аккуратно проигнорив все имеющиеся в статье ответы. И, на всякий случай, забыла поставить ссылку на то самое опровержение, которое она опровергает.
Как минимум, это нечестно.
Но перейдем к занудству.
Следствие зефирного теста оказалось в том, что дети, которые в свое время удержались и не съели зефирку, в целом оказываются более успешны по жизни. И именно этот вывод решили опровергнуть авторы новой статьи. Но сделали они это, мягко говоря, странно. Мишел работал с детьми учащихся и сотрудников Стэнфорда — то есть когортой, относящейся к среднему классу. Авторы новой работы взяли детей всех ступеней общественной иерархии, но почему-то «сфокусировались на детях, чьи матери не имеют высшего образования». Ооокей.
Ооокей.
Авторы новой работы взяли детей всех ступеней общественной иерархии по одной простой причине. Они знают и пишут, что Мишел работал с детьми “среднего класса”, но обобщил свои выводы на всех остальных детей. То есть, вообще то, это был Мишел, кто сделал все достаточно странно. Ибо подобная генерализация в психологии очень часто приводит к ошибочным выводам. Работа же “опровергателей” направлена не на опровержение выводов Мишела как таковых, но на проверку того, насколько эти выводы могут быть генерализованы.
Не могут, как должно было оказаться и как оказалось.
Почему же фокус именно на “матерях без образования”. В данном случае ответ очень простой: таких матерей больше. Доступных данных по детям, мамы которых имеют высшее образование, оказалось слишком мало, чтобы извлечь из них какую-то понятную и адекватную информацию. Да, речь идет именно о статистической мощности. Спасибо надо сказать таким исследователям, которые не стали искать сигнал в шуме, а просто сказали, что это шум.
Якутенко, впрочем, считает это проблемой.
Дальше. В оригинальном тесте время ожидания составляло от 15 до 20 минут. Это много. Способность 4,5-летнего ребенка ждать 20 минут — довольно-таки выдающееся качество, и именно поэтому оно является таким мощным предиктором жизненного успеха. В новой работе авторы ограничились интервалом в 7 минут. Семь, Карл! При том, что у Мишела среднее время ожидания для всех детей составляло 8,5 минут! То есть даже средний малыш с невыдающейся силой воли способен продержаться дольше выбранного «опровергателями» потолка. В этом контексте особенно смешно удивление авторов статьи, сколько, оказывается, детей способны прождать весь отрезок времени до конца. И их скромное признание в выводах, что из-за того, что так много детей, особенно в группе с высоким СЭС, легко пробивают потолок в 7 минут, все выводы об этой группе следует считать нерелевантными.
Авторы опровергаемого опровержения не сами проводили эксперимент и использовали данные из другого масштабного исследования. Они не могли никак влиять на эксперимент, который был произведен пару десятилетий назад и не был направлен на изучение “воли и самоконтроля”. То исследование было направлено на изучение того, как разные факторы в раннем детстве влияют на развитие ребенка через годы.
При этом в качестве одного из измеряемых показателей “в раннем детстве” бы включен некий упрощенный аналог зефирного теста. Это упрощенность, да. Она накладывает на нас ограничения. Но совсем не такого рода, как описывает Якутенко. Но она не лишает нас возможности делать в этих условиях ограниченные выводы.
Никаких объяснений выбору сокращенного интервала ожидания авторы новой статьи не приводят — думаю, тем, кто проводил опыты (а они выполнялись в рамках масштабного наблюдения за детьми в США) просто лениво было столько сидеть в лаборатории, на каждого ребенка по 20 минут — это ж во сколько домой уйдешь. Собственно, на этом месте можно было бы и остановиться.
Отсечка в 7 минут действительно может показаться странной, если не считать, что это именно отсечка. Она примерно пополам делят деток-участников эксперимента на “терпеливых” и “не терпеливых”. Это достаточно простая двоичная модель, в которой точкой перелома взято некое среднее значение.
И таких моделей в любой науке масса. Ожирение или не ожирение на континууме индекса массы тела. Диабет или не диабет на континууме показателей глюкозы в крови. Старше 35 лет или младше — вообще странный параметр. Но все везде постоянно дуализируют в “да” и “нет”, в “0” или “1” для удобства описания в моделях любые параметры.
Эти модели не идеальны и не предназначены для изучения (соответственно) физиологии ожирения, биологии диабета или выпадения зубов при старении. Но экономичны и удобны в общих случаях. Например когда вы измеряете одновременно 1300 деток по 100 параметрам. В рамках поставленной (тогда) экспериментаторами задачи этого было достаточно, и вряд ли авторов, анализирующих имеющиеся данные, можно обвинить в том, что они честно взяли имеющиеся данные.
Указали на это и даже ничего к ним не додумали.
Но в статье еще много удивительных методических решений — например, выбор в качестве контроля детей, которые не в силах прождать даже 20 секунд. Это явно выдающаяся импульсивность — и вполне может быть, что и не импульсивность вовсе, а то само недоверие экспериментатору. На это указывает, например, то, что в группе с низким СЭС таких детей вдвое больше. Но неоднородность этого показателя никак не останавливает авторов от того, чтобы выбрать его в качестве контроля для всех групп детей. Ну-ну.
20 секунд как контроль?
Не очень понятно, о каком контроле говорит Якутенко. В данной работе вообще не было как таковой контрольной группы. Она не предполагается в данной методологии. Здесь просто берут массу людей, измеряют их на старте и на финише, и смотрят что получилось. Похоже автор не совсем понимает, что происходит.
А происходит вот что.
Авторы анализа построили модель: зависимость оценок по тестам в школе от того, сколько минут ребенок усидел в зефирном тесте. На основании доступных данных разбили детей на 4 подгруппы: до 20 секунд, 20 сек-2 минуты, 2 минуты -7 минут и более 7 минут. Обнаружили, что если скорректировать успехи ребенка на такие переменные, как доход семьи и социальный статус и чего-нибудь еще, то никакой корреляции не возникает. Дети, которые схватили зефирку после минуты достигают таких успехов, как отсидевшие весь свой срок. Дети сдаются в школе по-разному, но успехи в зефирном тесте мало что объясняют.
При этом, одна подгруппа (наиболее импульсивные дети, хватающие зефирку сразу) таки немного отстает в оценках от других детей.
Но это, как и говорилось, одна незначительная подгруппа “самых импульсивных”.
Кстати, про недоверие к экспериментатору.
Ирине, возможно, не приходит в голову мысль, что склонность ребенка высидеть до конца зефирный тест и социально-экономический статус — вещи вполне связанные. Ребенок из богатой семьи может гораздо легче дождаться второй зефирки, просто потому что нафиг ему не нужна ваша зефирка, он и так каждый день икру кушает. А ребенок из бедной предпочитает не откладывать на завтра то, что можно съесть сегодня. И это вполне рациональное решение, не имеющее отношения к самоконтролю. Может просто в группе “бедных” больше рационалистов, не привыкших отказываться от подарков сейчас и не готовых играть в “МММ” с исследователями.
Но самое поразительное, что в выводах авторы приходят к тому же заключению, что и Мишел. «Неспособность ждать отложенного удовольствия, действительно коррелирует с успехами позже в жизни» пишут они, повторяя выводы исходного продолжения зефирного теста. Различия наблюдаются у авторов «опровержения» только в группах, где они вводят неадекватный контроль или используют явно заниженный временной промежуток (для детей с высоким СЭС, 70% которых ждут дольше).
На самом деле авторы говорят не так.
Они говорят, что возможно способность высидеть в зефирном тесте коррелирует с “успехами” в жизни, но только у определенных подгрупп детей. Что бы ни измерял зефирный тест, он не может являться предиктором дальнейших успехов в жизни. А результаты Мишела — не могут быть генерализованы.
Так что «опровержение» зефирного теста в очередной раз не состоялось. Да, в эксперименте Мишела есть, о чем поспорить, но все спорные моменты известны давно и не отменяют главного вывода: способность контролировать свои импульсивные порывы — важнейший предиктор жизненного успеха. А желание сорвать куш (и бабок на дальнейшие исследования) на хайпе не чуждо даже ученым. Так что be careful и не верьте всему, что пишут в газетах и интернетах. Особенно если вам сообщают, что это сенсация.
Действительно, надо быть осторожнее. И это еще одна вещь, о которой пишут авторы и что предпочла не заметить Якутенко. Которой тоже верить не рекомендую.
These results suggest that the marshmallow test may capture something rather distinct from self-control. Indeed, Duckworth and colleagues (2013) also investigated the relations among delay of gratification, selfcontrol, and intelligence using the data employed here, and they found that both self-control and intelligence mediated the relation between early delay ability and later outcomes. Our results further suggest that simply viewing delay of gratification as a component of selfcontrol may oversimplify how it operates in young children.
Осторожно переведу главную мысль: все немного сложнее, чем кажется.
Результаты подсказывают, что “зефирный эксперимент” на самом деле описывает что-то отличное, от “самоконтроля”. Наши результаты предполагают, что считать способность “откладывать вознаграждение” составляющей “самоконтроля” является чрезмерным упрощением механизма его работы у деток
Часть 2. Искусство выбирать данные
Есть еще одна простая проблема с оригинальной работой Мишела, которая позволяет навесить на нее скепсиса.
Главное открытие, к которому привел знаменитый эксперимент, было сделано через 20 лет, когда участники опытов в стэнфордском садике выросли. Мишел отыскал повзрослевших малышей и разузнал, как сложилась их жизнь. Выяснилось, что те 33 %, кто смог удержаться от искушения, куда более успешны, чем две трети поддавшихся ему. Стойкие дети лучше учились в школе и университете, умели долго работать, не отвлекаясь, и набирали больше баллов в многочисленных тестах, которыми изобилует западная система образования
В оригинальных тестах Мишела было задействовано в сумме 653 ребенка. Напомню, деток он брал у сотрудников из детского сада в Стэнфорде. Я не уверен, что это не одни и те же дети, что они не повторялись раз от раза, я даже не уверен что в детском саду Стэнфорда было столько детей сотрудников. В работе, о которой идет речь у Якутенко (цитата выше) и которую “перепроверяли”, было отслежено 35 детей.
35 из 653.
Можно ли доверять этим данным?
Если мы дальше будем делать науку такими способами, то мы обязательно придем к выводу, что выпускники 1995 года Сосенской средней школы №2 стали флейвористами. Ну а что, как минимум 5% стали же. У меня есть пруф.
(наше примечание примечание: химик-флейворист Сергей Белков намекает на самого себя, выпускника Сосенской средней школы).
Часть 3. Опровержения самоей себя.
И это самая интересная часть.
Становится понятно и из опровержения, и из “критического” разбора Якутенко что ситуация с выводами Мишела совсем не простая. И опровергатели, и Ирина согласны между собой, что способность ребенка выдерживать “зефирный тест” не всегда коррелирует с будущими жизненными успехами у человека (но очень сильно определеяется социально-экономическим статусом), а выводы Мишела лишь ограничены применимы лишь к детям “среднего класса”.
Но при это именно Якутенко в своей книге не делает никаких подобных оговорок. Наоборот, спокойно обобщает на всех сразу.
Из опровержения опровержения:
Тот факт, что социоэкономический статус (СЭС), включающий, в том числе, количество лет обучения, — один из мощнейших предикторов успеха в жизни, известен уже несколько десятилетий. И да, он способен влиять на успех независимо от силы воли — это как бы тоже не новость. Богатого раздолбая папочка и мамочка все раавно устроят в лучшую школу, вытащат из детской комнаты милиции и помогут с работой. А различия в результатах зефирного теста связаны хотя бы с тем, что дети из семей с низким СЭС меньше доверяют взрослым и чаще съедают зефирку просто потому, что сомневаются, что этот странный дядька в принципе вернется, да еще и со второй зефириной. Это известное ограничение зефирного теста, которое было показано давно и в переоткрывании не нуждается.
А вот из книги, которую Ирина недавно обубликовала:
Эти данные вызвали большой переполох среди коллег Мишела. Дело в том, что ученые очень давно ищут критерий, который мог бы предсказать, насколько успешным в жизни будет тот или иной человек. Пихологи перебрали массу вариантов, начиная от интеллекта и заканчивая внешностью, но ни один из них достоверно не коррелировал с тем, как многого добьется конкретный мальчик или девочка (информация к размышлению для тех, кто кичится своим IQ или недоволен отражением в зеркале). Работа Мишела дала ученым новую надежду: самоконтроль, он же сила воли, выглядел многообещающим кандидатом на роль того самого критерия.
В 2010 году большой коллектив исследователей из разных стран представил итоги 32-летнего наблюдения за тысячью детей, из которого следовал все тот же неутешительный вывод: люди, которые не в состоянии контролировать свои порывы, в целом куда хуже справляются с этой жизнью. Подростками они чаще вылетают из школы, начинают курить и беременеют. Став взрослыми, “рабы зефира” влезают в долги и берут ненужные кредиты вместо того, чтобы откладывать деньги или инвестировать их в акции и недвижимость, чаще цепляют половые инфекции, не следят за состоянием зубов и набирают лишние килограммы
Как можно заметить, никакой рефлексии по поводу ограничений нет, а попытка обобщения есть. Будет ли теперь Якутенко в свете своего собтсвенного опровержения корректировать книгу, чтобы привести в соответствие свои собственные слова в одном месте и свои собственные слова в другом?
Источник: блог Сергея Белкова в «Медиуме»