Результаты опроса экспертов о спорных случаях проверки.

Со второго по шестое июня Независимая лаборатория образования проводила опрос членов региональных предметных комиссий по обществознанию. Нашей целью было выяснить, как эксперты реально поступают в распространённых сложных случаях, как их решение зависит от региона. Мы до последнего оттягивали данное исследование - ждали, пока закончится обучение экспертов, пока комиссии проведут собрания и согласуют свои действия. К сожалению, даже на 6 июня это произошло не везде.

В анкетировании принял участие 41 эксперт из как минимум 20 регионов России. Подавляющая часть специалистов либо очень заняты подготовкой своих учеников к ЕГЭ, либо боятся идти на контакт. Поэтому результаты не вполне репрезентативны: если в «горячие» предэкзаменационные дни человек смог уделить исследованию 20-25 минут, значит а) ему не безразличны качество проверки и судьба участников ЕГЭ, б) он достаточно решителен, чтобы иметь и выражать мнение. Чтобы нивелировать этот эффект, мы просили экспертов отвечать не так, как считают нужным они сами, а как принято оценивать в их предметной комиссии.

Наши вопросы касались проверки заданий 18, 21, 23, 24 и 25. За редким исключением на них можно было дать ответ лишь «да» (поставлю балл) или «нет» (поставлю 0). Только в конце анкеты экспертам была дана возможность оставить свободный комментарий.

Теперь посмотрим на результаты.

В задании 18.1 1 балл выставляется, если как минимум 1 или 2 признака совпадают с теми, которые указываются в критериях, а признаки, которые не совпали, являются корректными. Можно ли считать корректным НЕ отличительный признак? Две трети экспертов считают, что можно. А не зачтут такой ответ в Башкирии, Хакассии, Челябинской, Ростовской и Смоленской областях. Мнения экспертов из Москвы, Московской области и Санкт-Петербурга разделились.

Задание 21 считается лёгким, но у выпускников бывает много вопросов к его оформлению. Мы задали эти вопросы экспертам.

Везде, кроме Самарской и Ростовской областей готовы засчитывать самый краткий ответ на первую часть вопроса. Но участником экзамена мы всё равно советуем писать целиком: «равновесная цена снизилась».

Большинство экспертов готовы засчитывать «нестандартные» факторы спроса и предложения.

Также почти 90% специалистов не имеют ничего против лаконичных ответов на вторую часть. Лишь бы была очевидной связь с конкретным рынком. А самые строгие в этом плане комиссии находятся в Якутии, в Смоленске и в Ставрополе.

Всем участникам экзамена безусловно рекомендуется выделять фактор спроса перед объяснением и прописывать в ответе слова «спрос/предложение». Но что будет с теми, кто пренебрёг данным правилом? Мы видим, что эксперты готовы пойти навстречу ребятам и принимать их ответ «по смыслу».

85% экспертов готовы принять краткий ответ на третью часть задания. Но если вы сдаёте экзамен в Саратовской, Челябинской, Новосибирской, Самарской, Ростовской областях или в Башкирии - не жалейте букв!

Кстати, самые лютые формалисты проживают в Ростовской области. Там ответили «нет» на все три вопроса, приведённых выше.

Задание 23. Здесь также возникают регулярные споры о допустимом или недопустимом оформлении. Так, в Ставрополе, в Якутии, в Челябинской и Вологодской области эксперты отказываются принимать ответ без подписи вроде «Согласно Конституции РФ».

Вопрос про перечисление типов субъектов РФ неоднократно задавали Татьяне Лисковой. Она отвечала, что следует писать либо все 6 типов регионов, либо ставить «и т.д.», либо не перечислять регионы вообще.

В Ставрополе и в Смоленской области примут только ответ с полным перечислением регионов. В Ярославской зачтут краткий ответ, но их не устроит «и т.д.».

По словам экспертов, буквально в эти дни для членов комиссий был проведён установочный семинар, в котором еще раз подтвердили мягкий критерий зачёта. Главное, чтобы в ответе были слова «равноправные субъекты».

Российская Федерация состоит из республик, краёв, областей, городов федерального значения, автономной области, автономных округов – равноправных субъектов Российской Федерации. ДА

Российская Федерация состоит из республик, краёв, областей и т.д. – равноправных субъектов Российской Федерации. ДА

Российская Федерация состоит из равноправных субъектов Российской Федерации. ДА

Российская Федерация состоит из республик, краёв, областей – равноправных субъектов Российской Федерации. НЕТ

Видимо, на момент опроса НезЛО эту информацию довели ещё не до всех комиссий. будем надеяться, что хотя бы по данному пункты проверка окажется одинаковой.

Больше всего недоумений традиционно вызывают оценки по заданию 24. В прошлом году мы составили официальное обращение в Рособрнадзор, в котором смоделировали и попросили уточнить правила оценки десяти спорных ситуаций. Вот ссылка на содержательный ответ.

Теперь мы предложили те же модели экспертам. Мнение большинства в каждом случае совпало с указаниями из государственного органа, но количество расхождений всё равно пугает и заставляет задуматься: действительно ли «единый» у нас экзамен.

Начнём с самого острого вопроса: пресловутого И Т.Д.

Эксперты из Смоленской, Вологодской, Саратовской, Новосибирской областей, из Пермского края и Керчи, большинство опрошенных из Москвы, половина опрошенных из Московской области вопреки ежегодным семинарам и методическим рекомендациям всё ещё требуют «и т.д.» в плане.

ОТВЕТ РОСОБРНАДЗОРА: НЕТ, ЭТО НЕ ОШИБКА

ОТВЕТ РОСОБРНАДЗОРА: НЕТ

Далее экспертам предлагалось оценить ответы, опираясь на фрагмент - обязательный пункт из критериев к демоверсии ЕГЭ от ФИПИ.

Даны критерии, в которых обязательный пункт раскрывается следующим образом:

Классификации политических партий:

1) по идеологическому признаку (либеральные, консервативные, социалистические и т.п.);

2) по организационному признаку (массовые, кадровые);

3) по отношению к проводимой политике (правящие, оппозиционные);

4) по отношению к закону (легальные, нелегальные).

ОТВЕТ РОСОБРНАДЗОРА: ДА

ОТВЕТ РОСОБРНАДЗОРА: ДА

ОТВЕТ РОСОБРНАДЗОРА: ДА

ОТВЕТ РОСОБРНАДЗОРА: ДА

ОТВЕТ РОСОБРНАДЗОРА: ДА

Правила проверки задания 25 еще не устоялись. Эксперты замечают, что на курсах они разбирают неполные, ошибочные ответы, а образцов идеально выполненного задания до них просто не довели. А так как выработка «веера ответов» целиком отдана на откуп региональным предметным комиссиям, оценки в субъектах федерации разнятся. Поэтому результаты нашего исследования особенно интересны с практической точки зрения.

80% экспертов вполне устроит ответ, в котором обозначены 2 или больше связи. (…что приводит к… что позволяет увеличить…, поэтому…, следовательно…, играет роль…, выполняет функцию… и т.д.).

Суровый эксперт из Челябинской области готов дать высший балл только за 4 и более связи. В Новосибирской, Саратовской, Вологодской и Ростовской областях желают видеть не меньше трёх связей.

Вопрос 25.1 требует обосновать нечто в «нескольких распространённых предложениях». «Несколько» - это сколько? В Ростовской и Саратовской областях - 4, в Челябинской, Новосибирской, Брянской, Московской областях - 3. В остальных регионах, чьи эксперты приняли участие в опросе, несколько=2. Любопытно, что число необходимых предложений в ответах одного и того же эксперта обычно не соотносится с количеством необходимых «связей».

Согласно правилам грамматики сложное предложение состоит из нескольких простых. Каждое простое предложение может быть развёрнутым. Но большинство экспертов согласны считать «развёрнутым предложением» только те фразы, которые заканчиваются точкой. Поэтому мы можем дать одинаковый совет для всех регионов: не используйте на экзаменах сложные грамматические конструкции, эту красоту никто не оценит ни в прямом, ни в переносном смысле этого слова.

Затем мы спросили, какое минимальное количество «обоснований» должно быть в правильном ответе на первую часть задания 25. Как можно заключить из сравнения этого графика с предыдущими «обоснование» - не то же самое, что «предложение» или «связь».

Почти 76% экспертов готовы засчитать ответ с одним обоснованием, лишь бы их устроило количество предложений. Для 24% нужно не менее двух обоснований (во первых…. во вторых…).

Наконец, рассмотрим спорные случаи проверки «примеров».

Эксперты из Саратовской и Новосибирской областей, а также один из опрошенных москвичей не будут принимать «модели» социальных ситуаций в задании 25 вообще ни под каким соусом.

22% экспертов (представители уральских регионов, часть москвичей и ленинградцев) ждут только примеры с максимальной степенью конкретизации.

Этот пункт родился после обсуждения одного из прошлогодних вопросов, в котором требовалось назвать и проиллюстрировать возможные меры российского правительства (с маленькой буквы) по преодолению инфляции. Составитель задания мог понимать под «правительством» конкретный орган - Правительство РФ, а мог и общую совокупность высших органов власти. Подавляющее большинство экспертов готовы согласиться только с первым толкованием.

1. Мы отметили все случаи, когда участник опроса оставался в меньшинстве. выяснилось, что самые «оригинальные» эксперты живут в Смоленской, Челябинской, Саратовской и Ростовской областях. Наиболее лояльно оценивают в Крыму, в Липецкой области и в Санкт-Петербурге.
2. В едином экзамене одинаковые вопросы, но ФИПИ до сих пор не смог полностью унифицировать проверку ответов. Опрос показывает, что критерии понимаются экспертами не одинаково.
3. Хотя большинство опрошенных экспертов дают ответы, соответствующие здравому смыслу и рекомендациям ФИПИ, очень многое зависит от конкретного региона. Если, к примеру, в Пермском крае эксперты штрафуют за отсутствие в плане «и т.д.», а в Екатеринбурге - нет, то пермского выпускника это не спасёт: все два или три раза его работа будет проверяться именно в Перми.
4. Значительная (от 10 до 40%) доля ответов, которые противоречат методическим рекомендациям и семинарам ФИПИ, комментариям Рособрнадзора свидетельствует о том, что обучение и методическая поддержка экспертов ЕГЭ по обществознанию поставлена в России не достаточно хорошо. Процитируем один из комментариев:

«Я вообще не понимаю, почему до сих пор не выпустили краткие руководства по проверке заданий, почему это такая супер-пупер тайна. Почему не делают специальную инфографику для экспертов и не раздают на проверке, почему не предоставляют необходимой литературы для проверяющих».

4. Критерии оценивания нуждаются в доработке, так как не они покрывают много достаточно распространённых ситуаций.
5. Несогласованность подходов к проверке между разными комиссиями негативно влияет на имидж ЕГЭ, создаёт у выпускников ощущение предвзятости и несправедливости, демотивирует талантливых ребят.

Результаты опроса показали, что методичка от НезЛО, подготовленная к досрочному этапу ЕГЭ, остаётся актуальной. Например, мы признаём, что выпускник не обязан каждый раз писать «Согласно Конституции РФ» в задании 23, но всё равно советуем делать это, чтобы удовлетворить меньшую часть экспертов.

Если время не поджимает, будет разумно написать третий пункт в ответе на задание 21 максимально развёрнуто.

Ситуация с «и т.д.» другая, так как неуместное использование этой приписки может быть сочтено за ошибку. Используйте её только в тех случаях, когда твёрдо уверены, что список можно продолжить. Во всех спорных случаях надёжнее не писать ничего.

Вообще всячески избегайте любых пограничных ситуаций, любых ответов, которые можно истолковать иначе. В заданиях 18 указывайте только отличительные, исключительные признаки - тогда не придётся доказывать, что существующий, но не отличительный признак не является ошибкой.

Если эксперты вашего региона пошли против рекомендаций ФИПИ и выявленного в данном опросе мнения большинства, подавайте апелляцию. Ссылайтесь на методические рекомендации, упомянутый ответ Рособрнадзора. При необходимости апеллируйте на федеральном уровне.

Активнее участвуйте в обсуждении и уточнении правил проверки, обменивайтесь информацией со своими коллегами из других регионов.

Внимательно изучайте методические материалы ФИПИ.

Перепроверьте знания о проверке, которые кажутся вам очевидными. Следует допустить, что ваш поход мог устареть.

Не бойтесь отстаивать свою точку зрения перед другими членами комиссии.

1. До 9 июня любым доступным образом ещё раз донести до экспертов мысль о недопустимости снятия баллов за отсутствие в плане «и т.д.» и оснований классификации, за краткий ответ в вопросе 23.3 и в прочих спорных случаях, перечисленным выше.
2. Разработать и широко опубликовать доходчивый комплекс материалов по проверке ОГЭ и ЕГЭ.
3. Выпускать регулярные публичные разъяснения по спорным вопросам проверки.
4. Реформировать проверку ЕГЭ, сформировав единую российскую предметную комиссию, в которой каждую работу оценят эксперты не из одного, а из разных регионов.

//\\//\\//\\//\\//\\//\\//

P.S. Мы повторим этот опрос после 17 июня чтобы узнать, исходя из каких принципов был проверен прошедший экзамен, узнать, как изменились установки экспертов.