PISA: как работает международный тест
Вводная. Лучшая в мире школьная система образования.
Доброго времени суток. Написать меня эту статью и предложить её в группу сподвиг один материал из «Спички» за октябрь 2021 года, посвященный новостям финского образования. Претензий к общему посылу статьи автор данных строк не имел и не имеет, но там всплыл тезис, который, надо признаться, сильно режет глаза. Звучит он примерно так:
«Финское школьное образование лучшее в мире!»
Возможно, это и не самый известный в интернете мем, но мне, как человеку с образованием связанным, он подарил немало веселых минут.
Строго говоря, этот тезис в том или ином виде я слышал в личном общении неоднократно, но, чтобы не быть голословным, приведу примеры ссылок, которые я получил в Google при запросе «финское школьное образование - лучшее в мире?»
И так далее, особенно по высоте слога доставляет третий пример, прямо ссылающийся на результаты PISA. Памятуя о просьбе не превращать статьи в цитатник я постараюсь не делать так впредь, но думаю, читателю будет интересно понять общий настрой таких статей, если он вдруг ещё не слышал «о самом лучшем финском образовании». Позволю процитировать себе целиком понравившийся отрывок, который явно написала наша бывшая соотечественница, переехавшая в Финляндию на ПМЖ:
«Однажды я заглянула в учебник финского школьника, сидящего рядом со мной в поезде. Мальчик, которому на вид было 11-12 лет, решал неравенство с таблицей умножения. Я удивилась: такие примеры российские ученики решают на два года раньше. Позже, глядя на финских детей, создалось впечатление, что они учатся играючи. В то время как мои московские племянники ежедневно тратят 3-4 часа на выполнение домашнего задания, финские ученики делают его за час. Казалось, российское образование основательнее и академичнее. Но когда я узнала результаты исследования PISA, моему изумлению не было предела: Суоми блистала в группе лидеров, а Россия была в аутсайдерах. Финское школьное образование оказалось одним из самых качественных в мире».
Или вот еще, пишет нам другая наша соотечественница (или уже нет?), описывая отрывок из условно-документального фильма Майкла Мура «Куда бы ещё вторгнуться»:
«Действительно, эта страна много лет подряд в топе рейтингов образования. Однако финны рассказали Майклу Муру что-то странное. У них не принято большое домашнее задание, в школе дети проводят всего 4 часа в день (и это с учетом обеда).
Как они при такой системе хоть что-нибудь успевают? Но рейтинги PISA показывают, что финские дети значительно опережают российских школьников по начитанности, по математической подготовке и естественным наукам».
Собственно, можете посмотреть и сам фильм американца Майкла Мура, он не только об образовании, но он тоже ничего. Данный фильм, кстати подтверждает, что мем о финском образовании это не какой-то местечковый цугундер финнов и россиян, а реально международный феномен. Особенно в этом фильме меня порадовала таблица стран с бесплатным высшим образованием, вас она тоже наверняка обрадует.
Однако вернемся к нашим талантливым соседям. Настолько хорошо финское образование, что можно прочитать даже такое:
«Мы живем в Финляндии около пяти лет. Это страна с человеколюбивым образованием. Мне хотелось, чтобы дети получили образование в этой стране. И это был один из главных факторов переезда»
Должен отметить, что именно исследования PISA, по-видимому, и дали нам медийный феномен «лучшего в мире финского образования». Как правило, если авторы таких заявлений и ссылаются на что-то конкретное, то они ссылаются именно на них. Краеугольным камнем, отличающим финскую систему образования от нашей, называют общедоступность и, то, что:
«В Финляндии образовательная система задумана так, что в школе учат и готовят к жизни»
В исходной статье «Cпички» финский товарищ, правда, этот тезис немного портит, отмечая, что вообще-то по результатам PISA лидируют разнообразные юго-восточные азиаты, а родная Суоми уже не то, чтобы стронг. От себя добавлю, что ни в каких-таких аутсайдерах Россия там также не прописана, хотя конечно её результаты на фоне финских не впечатляют.
Не буду говорить от себя – и не будем верить финнам – посмотрим результаты ближайшего 2018 года. PISA проводится раз в три года, и в 2021 году с этим была некоторая напряженка. А теперь этой вашей ПиСы в России вообще не будет, лол. Для этого возьмём данные вот с этого документа отечественного эксперта (экспертов?), в котором помимо результатов приводится разбор полетов отечественной образовательной машины (максимально обтекаемый) и дается информация о том, как кто себя показал в разных дисциплинах. К сожалению, конкретный автор (авторы?) не указан, но нам это и не важно.
Там, в частности, в самом начале есть вот такая Таблица 2, с рейтингом стран по читательской грамотности. Обращает внимание то, что с переездом в Финляндию за школьным образованием кое-кто явно поспешил. Судя по результатам PISA, рабочий стратегией являлся-таки переезд в Москву, а финский ВНЖ надо отправить в топку. Похвалим ловкость нашего эксперта за выделение Москвы в отдельное государство, уделал-таки клятых чухонцев. Если же честно, Сингапур, Макао и Гонконг, между которыми примостилась Белокаменная, примерно сопоставимы по своей сути, а потому логику авторов таблицы понять можно. Собственно, четыре провинции Китая, финишировавшие в забеге первыми, – тоже наверняка не Тибет, Юньнань, СУАР и Внешняя Монголия.
Однако в целом, как видно, Россия в аутсайдерах!!! В самом низу таблицы. Фокус заключается правда в том, что там в документе есть еще нижняя половина таблицы, и стран в ней всего 77. В вырезанной части таблицы есть такая чудесная страна аутсайдер как «Среднее по PISA», в этой чудесной стране все ещё хуже, чем на Руси-матушке. Второй фокус заключается… впрочем ладно, самое смешное надо приберечь на потом, а то так не интересно.
Собственно, я бы мог привести таблицы по естественным наукам и по математике, но там все примерно также, к тому же время ещё будет. Думаю, с вводной и описанием предмета исследования можно заканчивать. Самое время разобрать главный аргумент свидетелей лучшего в мире финского образования.
Давайте рассмотрим повнимательнее, а что это, собственно, за PISA.
Часть первая. PISA против читательской грамотности
По идее, тут надо грузануть читателя историей создания самого теста PISA, расшифровкой названия, и вообще цели всего этого мероприятия, но делать этого я, конечно, не буду, а то саспенс рухнет, и статья станет очень скучной и неинтересной. Вместо этого ограничимся ссылкой на официальный русскоязычный сайт PISA
Есть собственно самый официальный сайт, на языках стран вероятного противника
https://www.oecd.org/pisa/test/
Отмечу только, что рейтинг стран обычно подводят по трем дисциплинам: читательская грамотность, математическая грамотность, естественно-научная грамотность.
Примеры заданий лежат вот тут. Мы рассмотрим в качестве примера задачу на читательскую грамотность, а именно, КОРОВЬЕ МОЛОКО. Прежде чем делать какие-то далеко идущие выводы о качествах образования по результатам PISA, надо-таки посмотреть что это за тесты такие.
В документе отечественного эксперта от образования, на который я ссылаюсь выше, разбиралось задание Рапануи, и оно, прямо скажем, по структуре и сложности полностью идентично тому что разберем сейчас мы. Забегая вперед - и экранная форма там также обрезается прямо под конец.
Ну что, готовы пройти вместе со мной это суровое испытание? Не посрамим Русь-матушку!
Итак, начинаем задание – нам дают вводную. Я специально приведу ПОЛНЫЕ скрины задания, потому что это важно.
Начало, согласитесь, уже интригует, и мне уже не терпится узнать, в чем там дело. Кто-то в мире, все ещё кипятит, то есть простите, пьёт коровье молоко. Что же там найдут наши передовые детишки?
Итак, первым они находят вот это. Наши школьники настолько передовые, что в 2018 году они нашли html страницу из интернета web 1.0. Должен сознаться, в искусстве поиска я уступаю школьникам из США, и такого бы в интернете найти сам не смог, но тем не менее, советую честно и до конца почитать как текст самого задания, так и текст справа, дочитав до самого низа.
Так вот, обращает на себя внимание следующее – на странице нашего web 1.0 было жестко фиксировано разрешение экрана и размер страницы. И русский язык, конечно, велик и могуч, но подстава в том, что корректный перевод текста с английского, представьте себе, может занять чуть большее место на странице ввиду большего числа символов и длины слов в русском языке в целом. И где-то там внизу я вижу обрубки текста, который явно содержит, как минимум, автора цитаты. А может другую важную информацию. Но в конце концов, зачем она сиволапым отечественным оболтусам, все равно они жертвы ЕГЭ и будут тыкать наугад. Пролистать как-то страницу вниз и проверить, есть ли там еще какой-то текст, не представляется никакой возможности. Это, если что, официальные задания русскоязычной PISA, по крайней мере примеры.
Если сравнить с оригиналом по-английски, то там ниже вообще-то под цитатой, приводится, собственно, автор цитаты и дата: International Dairy Foods Association, September 27, 2007.
И как бы вроде не важная информация, но вот нюанс. Нас спрашивают какова ситуация со слов организации IDFA (та самая, авторство цитаты которой нам обрезало), но строго говоря уверенности в том, что эта цитата принадлежит именно этой ассоциации у меня не было, и при определенных условиях такой тупой баг реально мог сыграть не в пользу российских школьников. Вот в задании Рапануи, разбираемом экспертом, спрашивается, например, и дата, когда то или иное утверждение было сказано. Так что в каком-то смысле, нам просто повезло, что в этом задании таких вопросов не было – потому что текст так и будет предоставлен в обрезанном варианте. Смотрим, например, задание 2.
Задание 2, в каком-то смысле, идентично одному из последних заданий тестовой части ЕГЭ по русскому языку, в котором просят определить главную мысль текста, однако есть небольшой нюанс – тут скорее задают вопрос «кому выгодно?», потому что спрашивают про цель текста, а не про мысль, которую он отстаивает. Согласитесь, разница может быть существенна. Например, в том самом 2018 году что мы в последний раз писали PISA, помню я читал тексты, чья основная мысль была в том, что работать в 70 на производстве полезно для здоровья. Была ли в этом главная цель появления данных текстов, вопрос, как говорится, открытый.
В этом задании, короче, всё по Ленину, про поиск классового интереса в любом утверждении. Приводить цитату в оригинале, я, конечно, не буду. Во-первых, хозяева группы просили воздержаться, а во-вторых, перенимаю передовой опыт отечественных ответственных за PISA.
Итак, движемся дальше – сейчас будет жара!
Так как дальше там есть текст, который нужно скролить (и в этот раз скроллинг таки есть), я приведу полный текст частями.
Прежде чем вы отойдёте от прострации, я должен кое-что пояснить. Ведущую роль в составлении заданий PISA и в определении того каким он должен быть, играют организации из США, поэтому натягивание совы текста на наши реалии может вызвать ступор. В данном тексте явно делаются намеки на реальную ситуацию в США. А именно, где-то в 1930 годах при Франклине Рузвельте в США решили поддержать отечественного производителя, и обязали переработчиков выкупать молоко по специально рассчитываемым ценам, которые гарантировали бы молочным фермам норму прибыли для стабильного развития. Стоит ли пояснять, что в долгосрочной перспективе такая политика (применяемая и до сих пор) привела в капитализме с американской спецификой к жесткому перепроизводству молока? Думаю нет. Поэтому вышеупомянутая в тексте International Dairy Foods Association и многие другие организации включили маркетинговую машину на полную катушку и начали продвигать как прямое употребление молока, так и употребление его производных/связанных с ним продуктов. Отсюда молочники во многих фильмах США про субурбию, отсюда же безумная страсть к хлопьям, которые отвадят вашего отпрыска от греха онанизма, и конечно же, безумная привычка пихать сыр куда надо и куда не надо.
Беглое гугление по памяти дало мне вот эту статью, в которой коротко описывается текущая ситуация (в комплементарном ключе), но за историей вопроса я бы отослал вас к книге Майкла Мооса «Соль, Сахар и Жир», к той части, которая про Жир. Там все несколько более взвешенно в том числе, как ни странно, затрагиваются и вопросы политэкономии, хоть и косвенно.
Короче говоря, шутки шутками, но тема выбрана авторами реально актуальная, не поспоришь.
Правда, текст против молока на мой взгляд какой-то жиденький, и ситуацию толком не поясняет, но для выполнения задания PISA это не нужно.
А вот что для этого нужно, так это финальная часть текста, в которой автор делает выводы. Это, знаете ли, действительно может пригодиться в ответе на вопрос что же являлось целью данной статьи. Потому что, судя по названию, её цель – сказать водке, простите, молоку, нет. Однако в самом тексте категоричных оценочных суждений вообще-то не делается. Да, ценность молока под сомнение ставится, но вот прямо совета чтобы вы вообще прекратили его пить вроде бы нет, так что вопрос во второй строчке реально сложный.
Ну, если вы выполняете задание на русском языке, потому что самый край текста, до которого я дочитал, выглядит так:
«Тем не менее, появляется всё больше доказательств того, что употребление коровьего молока не столь полезно для нашего здоровья, как предполагалось ранее. Если эти заявления станут неоспоримыми фактами, то, возможно, настанет время…»
А далее, как говорится, «перо нечеткое», потому что меня опять настигает проблема с разрешением экрана. Будем наедятся, что она не настигла школьников на реальном тестировании. А между тем, в этой оконцовке вообще-то и подводится к тому, что походу молоку таки настанет пора сказать нет, но мне остается только гадать. Потому что на английском языке долистать текст до конца тоже нет никакой возможности – он тоже был рассчитан на другое разрешение экрана. Видимо, 800 на 600.
Ну, задание 4 по факту выполняется нажатием нескольких хоткеев. Сначала мы тыкаем Ctrl+F, потом копируем слово «поразить», ищем нужное место в тексте и далее копируем любое предложение из следующего абзаца. Я не к тому, что так и надо было делать, я к тому, что это задание по силам осилить даже роботу, который читать вообще не умеет. Если вдруг кто не заметил, мы пересекли экватор этого могучего теста, победа уже не за горами.
На задании номер 5, если кто не заметил, происходит существенное усложнение задачи. Для ответа на вопрос нужно воспользоваться двумя текстами (они переключаются по очень заметным вкладкам наверху в правой половине страницы. Тексты всё те же. Второе усложнение в том, что мы должны отделить зерна от плевел. Наши школьники, как сетует эксперт, такие задание решают похуже на фоне других. В чем же на его взгляд, дело?
Здесь просят выбрать не истинные или ложные факты с опорой на текст как на верный источник, как это обычно делается у нас в школе. Более того, так обычно делается и в языковых тестах типа IELTS, Delle, HSK и так далее. Тут же требуют совсем иного – требует определить, что из предложенного является фактом, а что – мнением.
Так вот, на скрине я пометил те ответы, которые должны быть по идее правильными исходя из моего опыта решения таких тестов и общего настроя всего теста. Исходя из этого, все что говорит о вреде или бесполезности молока – это стопудово факт, ведь в тексте «скажи молоку нет» ссылаются на научные исследования и конкретных специалистов. А вот текст в пользу молока выглядит как вшивая рекламная агитка от IDFA (чьи подлые поползновения мы уже разоблачили в задании за номером два), поэтому все рассказы о пользе молока – это стопудово мнение (читай – ничем не обоснованная чушь). Собственно, шах и мат, аметисты, морок потребления молока повержен.
Единственное, что меня смущает, так это то, что если б мне в реальной жизни попробовали рассказать что «исследования показали что потребление молока отрицательно влияет на здоровье» я бы в лучшем случае подумал, что у авторов исследования руки растут не из плеч, или что ученый опять изнасиловал журналиста. А в худшем случае, я бы подумал, что автор второго текста такой же лоббист, как и авторы первого текста, просто первый топит за сбыт молока, которого ему девать уже некуда, а второй – за употребление соевого молока, веганство и борьбу за сокращение парниковых газов (коровки пукают метаном) путем сокращения населения (люди тоже им пукают).
А ещё, кстати, не знаю как вас, меня Панчин с Водовозовым учили, что, если какой-то доктор непонятной специальности и непонятно какой редакции (да и вообще, автор второго текста – репортер) что-то там задвигает, первым делом надо проверить, что у этого доктора за специальность. И что даже если ссылаются на приличную статью в приличном журнале (BMJ именно такой, 4 по импакт-фактору среди медицинских журналов), то надо все-таки проверить, была ли эта статья вообще, и была ли она о том, о чем говорит цитирующий. Согласитесь, ковидная пандемия показала, что эта проверка лишней не будет, будь это хоть статья в Science. А ну как это были letters, которые не проходят слепого тройного рецензирования перед публикацией?
И вот с этим то у нас начнутся проблемы. В тексте не указывают ни ссылки, ни имени авторов статьи (шведы какие-то, все они на одно лицо), ни даже её названия – найти её обычным методом не представляется возможным. То есть, строго говоря, это с точки зрения джентельменского набора для даже научпоп статьи сразу бан. Тем не менее, ссылаются на октябрьский номер журнала за 2014 год, и вроде бы как я статью нашел. Для того я забил в поисковике Google Academia запрос “british medical journal milk” и ограничил выдачу 2014 годом. Искомая статья выпадет нам первой.
Вкратце, её результаты таковы – в исследовании шведами шведов было получено, что на каждый лишний потребляемый стакан молока в день, у мужчин никакой связи не с частотой переломов выявлено не было, а вот у женщин таки была – ажно на 9% повышение риска перелома шейки бедра (или просто бедра, тут не уверен) за каждый стакан молока в день. При этом во всех группах нашли повышенный риск смертности.
Отмечу, что детальный разбор статьи подразумевает, что нужно проанализировать, как подбиралась выборка и сколько там вообще людей и какой их социальный состав. А ну как в выборку усиленных потребителей молока затесались люди с проблемами усвоения кальция, беременные и кормящие матери (там, отмечу, речь была про женщин). И много молока они пили, потому что им это молоко прописали ввиду наличия проблем? А была ли там контрольная группа людей, которые молока и его производных вообще не пьют? Не получали ли они кальций тупо из других источников (его и в таблетках можно есть, получать из сыра и т.д.)? Всё это по идее должно спросить рецензенты журнала, да и сами авторы должны были их себе задать, но есть нюанс – они работают за спасибо, и по своему опыту я знаю, что все необходимые вопросы они задают не всегда, хотя эти я думаю они все же задали. Почему? Во-первых, потому что все эти вопросы в статье упоминаются, и, например, про экономико-социальное положение исследуемых авторы не забыли, но сами подозревают, что могли учесть все не до конца, также они упоминают и проблемы с материнским статусом. А во-вторых, потому что выводы искомой статьи заканчиваются вот этим предложением:
«Given the observational study designs with the inherent possibility of residual confounding and reverse causation phenomena, a cautious interpretation of the results is recommended».
Или же, по-русски:
«Учитывая дизайн исследований с присущей ему возможностью остаточного смещения (читай, систематической ошибки) и обратной причинно-следственной связи (то есть, как раз таки, что люди с проблемами в костях чаще пьют молоко как не в себя, что и упоминается в обсуждении результатов в тексте статьи), рекомендуется осторожная интерпретация результатов».
За таковую «осторожную интерпретацию результатов», видимо, надо счесть заметку с заголовком «Просто скажите «Нет» коровьему молоку»…
У читателя в этот момент наверняка остался ещё один не отвеченный немой вопрос – а сколько таки нужно пить молока, чтобы повысить риск смертности? Результаты, граждане, поражают. Поражают тем, что в Швеции вообще нашлась репрезентативная выборка людей, которая пьёт столько молока. Потому что в статье есть график:
И он, как видите, идёт аж до значения 6 (!!!) стаканов молока в день! Особое внимание обращаю внимание на палочки внизу графиков – они показывают какая доля на какую категорию пришлась. Я не знаю как вы дорогие читатели, а я вот чистого молока в день пью явно меньше даже одного. Более того, если речь идёт о людях которые пьют хотя б по два стакана молока в день, а то и три, мне даже кажется что эти либо немного чокнуты, либо оказались в сложной экономической ситуации. И судя по исследованию, мне-таки не грозит ни крепость марвелловского Россомахи, ни повышенный риск какой-либо смертности. И кажись говорить «нет» молоку пока рановато. Заметьте – я опираюсь на ту же статью, которую авторы теста выдали как статью против потребление молока.
Собственно, на этом моменте уже следует задуматься, а можно ли бездумно натягивать статью про шведов огульно на весь мир? Не стоит – об этом говорят сами авторы исследования: «Our results might not apply to people of other ethnic origins, such as those with a high prevalence of lactose intolerance, or to children and adolescents». То есть, по-русски, «наши результаты могут быть неприменимы к людям другого этнического происхождения, в таких где превалирует непереносимость лактозы, или же к детям и подросткам». А ещё, от себя добавлю – не стоит применять к тем странам, где молока в чистом виде люди потребляют меньше, потому что там не было безумного протекционизма молочной промышленности с безумным маркетингом (рекомендующего пить молоко литрами). Потому что там нужна несколько большая детальность гистограммы, чем категория от 0 до 1 стакана молока в день.
Но, в конце концов, в тесте в целом обсуждается ситуация в США, правда ведь? Надо, наверное, тогда посмотреть исследования по США, а не по шведам? И о чудо, такое исследование есть, как раз 2018 года, когда проводился этот самый тест. И что самое смешное – прямо в синопсисе статьи указывается, что авторов сподвигли на исследование весьма странные результаты шведов. И о чудо – даже для людей, потребляющих молоко как не в себя, риск поломать кости в США почему-то не растёт, а для мужчин даже-таки падает. А ещё там обсуждаются и другие молочные продукты – не только молоко. И о чудо, сыр, (я вот, например, ем его куда чаще) таки понижает вероятность переломов для женщин. К слову, внутри текста статьи шведов молочные производные тоже упоминаются, и там упоминается, что таки у них положительный эффект на здоровье в целом. От чего, собственно, они и призывали, видимо, с осторожностью отнестись к результатам о молоке.
К слову сказать, статью американцев и другие статьи по теме я нашел просто – ткнул в Google Academia кнопку «похожие статьи» под статьёй шведов. И если кратко посмотреть их основные тезисы и выводы, то становится ясно, что ничерта не ясно – кто-то показывает положительные эффекты от молока, кто-то отрицательные, а мета-анализ 2011 года вообще показал, что никакой связи нет. Короче говоря, научного консенсуса тут не видать.
Напомню, как мы провалились в эту бездну – мы должны были понять, что в перечисленных четырёх предложениях – мнение или факт.
Это я все веду к тому, что реально не то, что школьник 15 лет, взрослый человек, увидав такое чудо в задании, по совести, должен был бы ткнуть что там все в лучшем случае – чьё-то мнение. Потому что даже коллектив взрослых шведских ученых удивился своему результату и выдал ворох возможных нюансов, исказивших результаты, а другой коллектив взрослых ученых из США потратил еще 4 года, чтобы хоть что-то ответить на результат их исследований.
Даже при условии, что школьник делает над собой нетривиальную операцию и притворяется что он не знает об окружающем мире ничего, кроме двух предложенных текстов (а он, кстати, по задумке тестирования, именно так и должен сделать), все равно, правильный ответ – доказательств мало, фактами исходя из изложенной информации не является. В исходных заметках даже нет корректных ссылок на научные статьи! И я что-то сомневаюсь, что такой ответ в этом случае будет зачтен системой как полностью верный. Если вы сомневаетесь во вреде молока – скорее всего, вы просто не умеете читать! Вот поэтому тест на чтение и не прошли.
Тут я уже плавно срываюсь к выводам, но этого делать пока рано, впереди ещё два задания.
Шестое задание достаточно проходное – надо установить, по какому вопросу расходятся мнения авторов двух текстов. С учетом того, что во всех вариантах кроме правильного предлагаются вещи, которые в тексте в принципе не обсуждались, выбор не сложен.
Есть, однако, и тут мелкий нюанс. Секрет хорошего теста – правильно подобранные варианты неправильных ответов. Обычно, они должны быть такие, чтобы школьник мог к ним прийти, сделав какую-то характерную типичную ошибку. Это, кстати, помогает в более детальной диагностике проблем при определенных ситуациях. И, кстати, во многих заданиях PISA они таки соответствовали таким критериям. Тут же, однако, в неправильных ответах какая-то некогерентная чушь, например вопрос употребления других молочных продуктов вообще не упоминаемый в рассматриваемых двух исходных текстах, вариант с которым выбрать ошибочно при всем желании не получится.
И у меня есть гипотеза, как это произошло – авторы ведь явно шерстили релевантную научную литературу и при подборе тех, на которые они сошлются, прочитали чуть их больше, чем одну. Во многих из них обсуждалось и влияние молочных продуктов, а не только молока, в том числе и в той статье исследователей из США. И так как эти исследования такой кучерявой картины не давали, то их упоминания из финальной редактуры задания выкинули. А вот специально подобранные неправильные ответы – нет. Хотя, это только гипотеза, на 100% уверенным быть нельзя
Самым интересным с точки зрения именно педагогики является последнее задание:
Интересно оно тем, что тут делается грубая подмена заявленной цели тестирования. Заявленная цель – проверка навыков чтения школьника. А проверяют – умение отстаивать свое мнение с опорой на выделенный фрагмент текста. Свое мнение надо выбрать строго из трёх предложенных вариантов, Полиграф Полиграфычи, несогласные с обоими, идут лесом.
Для тех, кто все ещё не понял, в чем проблема, поясняю. Да, действительно, задание, где вы в относительно свободной форме высказываете своё мнение на предложенную тему и дискутируете или соглашаетесь с автором исходного текста встречаться сплошь и рядом. Только проверяют там не навыки вашего чтения, а ваши навыки владения языком в его письменной литературной форме. Либо родного (ну или государственного) как в случае с сочинением на ЕГЭ по русскому языку, либо неродного, как во writing на IELTS или других языковых тестах, составляемые ведущими филологическими институтами странами (типа Delle по испанскому или HSK по китайскому).
В этих письменных частях этих тестов вы можете написать хоть оду Адольфу Гитлеру, если это будет связанно с исходно завяленной темой в тексте, и вы под это подведете хоть какие-то аргументы. Из отечественных произведений школьной программы в случае ЕГЭ, или просто откуда хотите в случае теста для иностранцев (но надежнее тоже, конечно, из литературы на том языке, на котором сдаете экзамен).
Тут вам типа тоже дают три мнения, и я вот мог бы выбрать мнение Сэма, потому что таки приведенной информации для каких-то далеко идущих выводов недостаточно. Но вот засада – если я хочу успешно пройти экзамен, эта стратегия не выглядит надежной. Это на ЕГЭ по русскому или на IELTS я бы мог сослаться на книгу Мооса и привести свои соображения общенаучного характера, (зайти в Гугл-Академию я бы вряд ли смог, хотя вообще-то по уму должен бы был). Тут же у меня на руках только два куцых текста, и я должен привести примеры за свою (ну, «свою») позицию из этих же текстов. До такого трэша не доходил ни один известный мне экзамен, и даже Басманный суд. И с этих позиций выбор за Сэма выглядит гиблым номером – за его позицию тут только обрывок предложения, который придется вырывать из контекста «Это серьёзные заявления, и для того, чтобы подтвердить эти данные, понадобятся дополнительные исследования». И то, буквально в следующем предложении текста «скажи нет коровьему молоку», эта позиция по факту дезавуируется.
Как ни крути, а выбрать позицию Анны и скопировать любое предложение из текста номер два просто проще, потому что выбор богаче. Да и вообще, за позицию Сэма и Кристофера у нас мнения (как нам прозрачно намекнули в прошлом задании), а за позицию Анны – голые факты. Шах и мат, аметисты, выкиньте молоко из вашего холодильника (авось просрочилось ещё).
Забавный (и очень важный) факт состоит в том, что это задание школьниками разных стран делается на родных языках, и проверка выполняется местными же методистами. С учетом того, что PISA используется этими самыми методистами для оправдания ситуации с образованием в стране и в качестве пиара некоторыми политиками (помимо финнов, например, Собяниным), есть все основания подозревать, что тут может произойти что угодно. Особенно если на сайте PISA нет никаких прописанных механизмов по независимой проверке. Да и как устроить независимую массовую проверку эстонских и финских школьников, не прибегая к специалистам этих стран?
А за это последние задание, если что, баллов дают побольше чем за остальные.
На это, впрочем, у авторов PISA есть вполне резонный ответ, и его я приберегу под конец.
Другой же момент умолчания статей, ссылающихся на PISA, который я вам обещал раскрыть, в том, что максимальный балл в тесте PISA — 1000 баллов. И, скажем аутсайдерская Россия из середины таблицы от Финляндии отстала на 40 баллов. Т.е. 4% от общего числа. Строго говоря, у Финляндии по чтению 52 балла из 100, а у России – 48 баллов. Говоря по-школьному, у обеих наших красавиц по чтению твердая три. Ну так для справки – PISA пишут строго пятнадцатилетние дети. И как бы даже со всеми подводными камнями и багами, которые мы обсудили, от лидеров ожидалось бы баллов этак по 800 из 1000 в среднем. Тогда как реально в среднем лидеры не сильно то и лидеры (даже китайцы из 4 провинций и мегаполисов), и у всех стран есть широкий спектр 15-летних лбов, которые не могут выбить на этом тесте больше половины баллов (их даже больше половины по выборке почти во всех странах).
В связи с этим я считаю, России срочно нужно перенять передовой опыт соседей, отменить все домашние задания, нацеливать систему на личность педагога, а систему образования – на практичность. Заради заветных 40 баллов из 1000 отделяющих нас от проклятых чухонцев можно пойти и на радикальные меры.
Итоговые выводы по тесту на читательскую грамотность.
Главный вывод – этот тест, как и любой другой тест PISA, не является тестом, по которому можно и нужно сравнивать страны между собой. В нем нет никакой защиты от недобросовестной проверки специалистами тех стран, которые должны его проверять, при том, что задания, проверяемые человеком, там есть. В этом тесте нет никакой защиты по выборке тестируемых учеников – тестировать могут как в нескольких школах столицы, так и по всей стране.
С учетом того, что многие страны и политики таки используют результаты этого теста в своей пропаганде, такую добросовестность никто не обещает. Более того, регулярно такая недобросовестность подозревается участниками. Вот американцы опять воюют с Вьетнамом на почве PISA, и поясняют, что вьетнамцы показали себя в чтении лучше, потому что у них в школы берут 65% детей, а в США 90.
При этом сами США с 90% грамотностью умудряются идти по чтению вровень с Японией, где грамотность 99%. Ну серьезно, посмотрите таблицу в начале статьи со список стран по результатам. Верю, что все школьники из негритянских кварталов с постоянно недофинансируемыми школами участвовали в PISA наравне с жителями Беверли-Хиллз, не иначе.
Китайцы вот вообще на серьезных щах пускают на тест только 4 свои провинции, и вряд ли тест по чтению на путунхуа в Китае поголовно писали школьники, у кого родным был какой-нибудь язык У или чаошаньский диалект, а то и вообще язык народности мяо.
При том, что сам анализ теста показал, что при его переносе на разные языки и страны могут быть как технические проблемы (проблема с тем что текст тупо не читается до конца на некоторых языках), так и проблемы культурно-социоэкономического характера, при которых школьнику из страны А будет проще протыкать галочки в задании не потому что он правильно все прочитал, а потому что ему все его информационные источники вместе с Гретой Тунберг велели отказаться от коровьего молока, тогда как школьнику из страны Б с массовой непереносимостью лактозы еще придется вникать, о чем вообще талдычат эти непонятные бледнолицые.
Как вишенка на торте фоном идет явное составления заданий так, чтобы навязать испытуемому свою точку зрения, вместо того чтобы проверять его навыки чтения. Если вам кажется, что я специально выбрал какое-то трэшовое задание, поверьте, нет, там таких заданий до черта, вы можете зайти на сайт PISA и проверить сами. И это еще не задания на глобальную грамотность, о которой надо как-нибудь поговорить в следующей части.
Сами задания, что характерно, не сказать, что совсем для дебилов, но явно обладают, кхм, весьма низкой разрешающей способностью. Между лидером и серединой таблицы разница в 40-60 баллов из 1000, при то что среднее чуть больше половины. Идея сравнивать между собой образовательные системы стран по этому тесту – весьма спорная.
Причем, что характерно, по задумке самых авторов PISA, этот тест и не предназначен для сравнивания стран между собой!!! Он предназначен для отслеживания прогресса внутри одной страны в течении времени. То есть сравнивать нужно не Россию и Финляндию друг с другом, а Россию и Финляндию 2018 года с Россией и Финляндией 2015 года соответственно. О чем большинство людей, ссылающиеся на результаты PISA, на полном серьезе предпочитают не вспоминать, занимаясь вместо того какой-то позорной спец-Олимпиадой, с подтасовкой выборки, манипуляцией заданиями и дешевой пропагандой в СМИ, выясняя у кого читательская грамотность длиннее.
Читатель может спросить, а какой же вывод можно сделать из результатов PISA? А вывод, товарищи, очень прост и нелицеприятен - школьники даже не то что передовых стран, а передовых индустриальных городов, героически набирают ажно целую половину баллов на тесте по чтению из 7 заданий, подобранных для десятилетних детей, тогда как страны мировой периферии на этих тестах еле-еле набирают треть.
