О ЕГЭ по обществознанию и о проверке работ

В.Г.: Всех приветствую. С вами подкаст «Эксперт ЕГЭ», надеюсь, что все предыдущие вы уже послушали. А если не послушали, то обязательно переходите по ссылкам (в группе в ВК) в описании и в гостях у нас Иван Борисович Микиртумов.

Мы уже говорили на актуальные вопросы ЕГЭ и Иван Борисович специально для нас развеял, не все правда, мифы о ЕГЭ, но, поскольку у нас есть такая возможность с ним поговорить ещё раз, сегодня мы пообщаемся еще и на технические вопросы. Ведь Иван Борисович возглавляет предметную комиссию ЕГЭ по обществознанию в Санкт-Петербурге, и, пользуясь случаем, я бы хотел немного Ивана Борисовича помучить. И позадавать вопросы относительно проверки экзамена и апелляции.  
Ну, скажем так, для тех ребят, которые будут сдавать экзамен в этом году, это будет любопытная информация. Для тех, кто в ЕГЭ уже давно, эта информация не будет каким-то открытием, не будет чем-то новеньким. Иван Борисович, сразу с ходу вопрос.

И.Б.: Я бы хотел сначала поздороваться. Здравствуйте, дорогой Виктор Геннадиевич. Здравствуйте, дорогие дети.

В.Г.: Иван Борисович, как проверяется ЕГЭ? Вот ребенок написал ЕГЭ по обществознанию, его, отсканировали, положили в конверт, запечатали, отправили. А дальше что? Что происходит дальше?

И.Б.: Дальше, в день проведения экзамена, собираются наиболее квалифицированные эксперты и осматривают сначала те задания, которые детям выдавались. Для чего мы это делаем? Надо посмотреть какие возможно будут типичные ответы, типичные ошибки, нет ли случайно в заданиях каких-нибудь двусмысленностей, вещей, которые детям будет трудно понять. Для того, чтобы экспертов комиссии, а их около 200 человек, как-то снабдить дополнительными инструкциями на эту тему. Потому что из Москвы мы получаем из ФИПИ критерии проверки, но что это такое, вы все знаете. Вы решаете сборники тренировочных заданий к ЕГЭ, и там в конце есть ответы, вот примерно так выглядят и критерии проверки. Вы видите, что там нет жесткости иногда, и эксперт может рассматривать ваше задания и так, и эдак, потому что он ориентируется на этот критерий. Допустим, дайте определение инфляции в 25 задании. Эта инфляция определена в одном учебника как общее повышение уровня цен на товары и услуги, не связанного с изменением их качества, а в другом учебнике сказано иначе, что это обесценивание денег, а в третьем сказано по-третьему, а в четвертом по-четвертому. Когда мы сидим, мы выписываем разные определения и говорим нашим экспертам, вставляем в инструкцию, что и это засчитывать можно и это засчитывать можно и это тоже правильно. Или, наоборот, какая-то позиция, социальная стратификация, там ключевое слово в определении — это неравенство или неравный доступ к объемам социальных благ и прочее. И вот подчеркиваю без слова «неравенство» нельзя засчитывать за правильное определение, ну и так далее. Вот, значит надо помочь нашим коллегам, которые будут это проверять, потому что проверяется в день каждым экспертом 40 работ в среднем. Это большая работа, надо вчитываться. Потом, вы же, товарищи, пишите разными почерками всё это, криво-косо…

В.Г.: Да. Кто-то руками, кто-то ногами. 

И.Б.: Да. Кто-то руками, кто-то ногами, кто-то еще слезу прольет поверх чернил. Вот поэтому надо чтобы эксперту какая-то была помощь, ориентация, и чтобы все примерно единообразно проверяли все работы. Поэтому это интересный этап работы, когда мы смотрим. Обычно, кстати, получается, что мы предсказывали те проблемы, которые потом возникают. Да, потому что предугадать, что в голове у наших детей невозможно, поэтому на следующий день, когда всё начинается, мы проверяем процентов 10 работ и потом надо смотреть, что вызывает наибольшие расхождения, разночтения. Опять всё это анализируем, опять даем рекомендации. Вот так мы всё время как бы следим, за тем, как идёт проверка. Насколько эксперты должны оценивать то или иное задание, чтобы приблизиться к максимальной объективности и единообразию в этом в этом деле. 
Как вы знаете, проверяется каждая работа в обязательном порядке двумя экспертами, если по какому-то заданию, расхождение между ними два и больше баллов, то потом это всё поступает на перепроверку к третьему эксперту, еще более квалифицированному. Дальше вы смотрите свою работу, вас консультирует ваш учитель, или ваш репетитор, или преподаватели с ваших курсов, или академики Академии наук, и они говорят: вот тут, понимаете, вам не додали баллов в этом задании, вы можете подать апелляцию. Тогда начинается очень интересная процедура – апелляция, которую я рассматриваю как вообще такую важную работу над ошибками для всех: и для комиссии, и для обучающихся, сдающих экзамен, 

В.Г.: Если можно, про апелляцию чуть-чуть попозже, вот буквально две минутки. Я бы хотел конкретизировать, потому что нас наверняка слушают ребята, которые не совсем понимают технологический процесс. Скажите, Иван Борисович, эксперты, когда проверяют работы, они знают каких детей работы они проверяют? То есть можно ли каким-то образом опознать работу или определить ребёнка, который эту работу написал?

И.Б.: Естественно, это сделать нельзя, потому что работа анонимизирована, мы получаем распечатанные системой работы под номерами и всё. А если кто-то из вас там очень умный, напишет в своем эссе, что зовут меня так-то, обучаюсь так-то, поставьте мне, пожалуйста, хороший балл, потому что я хороший мальчик или хороша девочка, такая работа аннулируется. Увы-увы. 
Значит вы взяли и сами себя идентифицировали - это недопустимая ситуация, поэтому, такая работа отмечается, и мы её отправляем в Москву, в ФИПИ и они решают, что с вами делать.

В.Г.: Еще Вы сказали, что работа проверяется двумя экспертами. Знают ли эксперты, что они проверяют одну и ту же работу? Или они как-то разводятся, эти работы?

И.Б.: Конечно нет, информационная система распределяет работы так, что, естественно, они попадают разным людям всегда и никто не может установить, кто что проверяет. Ну в среднем, у нас в Питере, обычно 11000 участников экзамена, это значит 22000 первых проверок первыми двумя экспертами. Это большой объем, компьютерная система еще так раскидывает, что концов не найти. Вот так.

В.Г.: Хорошо. Вопрос: допустим, я – эксперт. Я проверяю ЕГЭ по обществознанию. Я читаю работу ребёнка, и я не понимаю, правильно ребёнок ответил или неправильно. Ну я считаю, что, например, моей квалификации недостаточно, чтобы оценить правильность написанного ребёнком. Во-первых, возможна ли такая ситуация, а во-вторых, если такая ситуация возможна, что эксперт будет делать в таком случае?

И.Б.: Такая ситуация возможна и чаще всего это имеет место быть, когда ответы непонятно правильные или неправильные, вот такая формулировка у ребёнка, вот вы не помните определение чего-либо из учебника, какие-нибудь там социальные роли, и вы сочиняете что-то такое на ходу. И, действительно, трудно бывает понять, вы правильно схватили суть дела или всё-таки это ерунда и думаешь, что тут такое написано. Нам не нравятся такие работы, мы называем их кривыми, потому что ответить "правильно-неправильно" невозможно. Надо идти к коллегам совещаться. Для этого существуют эксперты-консультанты, они присутствуют в специальном помещении, туда можно подойти и с ними обсудить. Естественно, в распоряжении есть и учебная литература, учебники разные, и можно залезть в интернет в этом кабинете. 

В.Г.: Кстати, тоже у меня тоже вопрос был: могут ли эксперты в проверке работ пользоваться интернетом? Потому что мобильные телефоны эксперты брать с собой не могут, чтобы нельзя было копировать выносить материалы, критерии или работы. Но, при этом, могут ли они пользоваться интернетом, чтобы проверить те или иные положения или, например, те или иные примеры, о которых говорят и пишут дети?

И.Б.: Ну на каждом этаже, где проходит проверка, есть кабинет консультантов. Там стоит компьютер с доступом в интернет и народ садится смотрит, что там происходит 

В.Г.: То есть взять и надурить эксперта, выдумав что-то вряд ли получится?

И.Б.: Вот давайте так, мы слово «выдумал» дифференцируем. Примеры можно приводить, как мы знаем, скажем так, схематически. Вот если мы пишем что-нибудь про экономику, то один пример там берем в мини-сочинение, один, например, обязательно, у нас. Например, такие - из разных источниковф факты о современной жизни общественной, здесь необязательно ссылаться на источник. Если, например, мы все знаем, что в Венесуэле в последние годы была очень высокая инфляция, можно найти миллион источников это подтверждающих, но поскольку мы все это знаем, то зачем об этом специально ссылаться на источник. Или что сейчас в России карантин и государство рассматривает разные варианты оказания помощи гражданам и бизнесу - это тоже общеизвестный факт, т.е. если вы ссылаетесь на известный факт, который все знают, то можно не заморачиваться с описанием источника. Редкие факты, которые могут не знать, вот тут надо сослаться, что я прочитал об этом в газете или журнале, но только вы имеете в виду, что должен быть факт, соответствующий действительности . Вот пусть знаете его только вы,  если он правдоподобный, эксперт не пойдет перепроверять, скажет: «ладно, похоже на правду». Если он уж больно экзотический, например, артист Джонни Депп содержит ферму из морских свинок и количество морских свинок у него достигает 100000 штук. Он из них шерсть добывает и шубу шьет. Очень странное обстоятельство, мы пойдем проверять, так ли это. Выяснится, что нет и что таким предпринимательством он не занимается. Этого не надо, но вы можете такого рода пример подать схематически.

В.Г.: Например?

И.Б.: Гражданин Н. проживающий за полярным кругом, у него там были проблемы с заработком, и он решил начать выращивать у себя на участке каких-то меховых этих зверей и вот развел Морских свинок, ну и так далее. Это типическая ситуация, она засчитывается за случай из собственного жизненного опыта, поэтому это нормально. Значит, один пример точно такой, что мы знаем, что это так, эксперт не будет проверять, а второй пример вот схематический годится. Что такое «схематический»? Это пример правдоподобный, то что бывает. Вот какой-то был текст у нас про коррупцию, и кто-то пишет: «В правоохранительных органах работают сотрудники, берущие взятки». Был такой пример, но там не было сказано кто конкретно и какую взятку взял и за что, не было ссылки на статистику Верховного суда или МВД, или чего-то еще. Но, поскольку, мы все, в принципе, знаем, что такое бывает, то никто не будет с этим примером спорить. Это так. Вот это хороший пример, вот он и есть схематичный. Типовая ситуация, нормально.
То есть примеры должны быть, мы помним, все время из разных источников. И надо вот это все просто выучить - характеристику мини-сочинения, требования, какие должны быть разные примеры, а дальше просто дифференцировать. Пытаться нас надурить не надо, лучше не пользоваться литературой. Когда кто-то ссылается на литературное произведение, в котором какая-то ситуация, причём это было эссе, там человек не показывает, что за ситуация. Предполагается, что тот должен знать эту ситуацию. Вот такой-то герой, в таком-то в произведении так же поступил и вот это было хорошо или плохо. Ну тут эксперты пошли изучать, что это вы прочитали. А было прочитано произведение какой-то интернет-литературы, даже на бумаге никогда не публиковалось. То есть, пока нашли это сочинение, пока искали этого героя, потратили чуть ли не час времени на уточнение этого примера.
Выяснилось, что да, примеры адекватны. Но ругались все страшно, конечно. 

В.Г.: Не удивительно.

И.Б.: Два человека сидели и всё искали, где этот роман, что там. А роман длинный вообще-то. Т.е. пока не нашли то, что там написано в этом эссе…

В.Г.: Ну я про интернет-то вспомнил по одной простой причине: на апелляции в 2019 году был ребёнок, который апеллировал к примеру в эссе, который был не просто выдуман, а который как раз-таки, простите за выражение, «на дурака» был написан. И на моё резонное замечание, что это не засчитали, потому что это явная выдумка и не соответствует действительности. Мне был задан вопрос: «А откуда вы знаете?» Я ответил: «Ну как откуда, подошёл к компьютеру, посмотрел в интернете.» И там у ребёнка округлились глаза и ребёнок: «Вы же не имеете права пользоваться интернетом». Это, конечно, очень забавно. 
 Кстати, по поводу апелляции, Иван Борисович, расскажите буквально в двух словах, что это такое: стоит или не стоит подавать эту самую апелляцию? И пару слов о статистике изменения баллов: добавляют, снижают, что вообще происходит на этой самой апелляции? 

И.Б.: Да, это очень интересная процедура. Вот получили вы баллы свои, вот видите свою работу, и вы решаете, что вам недодали баллов, обделили. Ну тогда отправляйтесь подавать апелляцию, и апелляция распространяется на всю работу целиком. Комиссия собирается и все работы, которые были проапеллированы, перепроверяет. Причем перепроверяют опять два эксперта каждую работу и смотрят, что там. Потом перепроверяется ещё..Вот вам не понравилось как оценили ваше определение инфляции, а проверяться будет вся работа целиком. Это означает, что может выяснится, вам тут недодали, а в другом месте передали. Поэтому тут повысят, а там снимут. Хочу подчеркнуть, у нас никаких намеренных планов по вашему поводу нет. Каждый год у нас примерно 300 апелляций и из них мы удовлетворяем больше чем половину, т.е. меняем баллы и в большем количестве случаев баллы повышаем, потому что недодать ребёнку баллы – это грешно. Но при этом и понижения тоже бывают, но не так часто, и часто бывает зарабатывают и повышение, и понижение. 

В.Г.: Ну,то есть, грубо говоря, чаще всего, то на то и выходит. 

И.Б.: Бывает и так. По-моему, всё-таки мы почти 40% апелляций закончили повышением.

В.Г.: Повышением?

И.Б.: Повышением, да.

В.Г.: Из той половины, которой баллы были изменены?

И.Б.: Да, по-моему, так. Т.е. у нас нет такой задачи ничего не додать никому. Бывали случаи, вот в этом году не было, но в прошлом году были, повышение больше, чем на два балла, по-моему, две штуки или три. В этом году как-то обошлось, т.е эксперты получше. Почему нам приходится повышать: какой-то эксперт, вот что-то у него голова заболела, разозлился и стал жёстко проверять, не очень адекватно, заваливал правильный ответ – это нехорошо. Но что же делать? В этом году спокойно было, получше. Больше чем на 2 балла, мы, по-моему, никому не повышали. А в прошлом году были. Был случай, несколько лет назад, года три, тогда на шесть баллов повысили.

В.Г.: Я помню этот случай. Там, по-моему, с мини-сочинением вот вышла петрушка

И.Б.: Там много чего было, и Москва. Потому что там где повышение больше чем на 2 балла, нужно ещё в Москву послать на согласование. В итоге Москва согласилась на это повышение, такое бывает, но очень редко, это экстренный случай.
В процессе апелляции, мы видим как работают эксперты или как работает комиссия, а потом, да, интересный диалог всегда происходит с детьми. Часто приводят с собой репетиторов, учителей, адвокатов, родителей, бабушек, дедушек. Бывают даже представители учёного сообщества, академиков не было, профессора были. И они тоже отстаивают какие-то свои позиции. Некоторые шумят, кричат, ругаются. Год-два назад вызывали даже наряд милиции.

В.Г.: Ой, я помню, я присутствовал при этом. Приходили такие бравые ребята в обмундировании ОМОНа,  с шлемами, с забралами и в бронежилетах, всё как нужно. По-моему, какого-то буяна забирали.

И.Б.: Там папа буянил. Ребенок сидел себе тихо. Папа буянил из-за эссе. Там, собственно, дискуссия шла об одном балле. Эссе было посвящено каким-то социальным конфликтам и потрясениям. А пример был про гражданскую войну и значение имел прямо противоположное. У нас в мышлении есть свои формальности, свои законы. Вот ты хочешь привести пример на «а» какой-то, а в голове вертится на не «а». Вот логический переход, от возбуждения к отрицанию. И он хотел привести пример, показывающий, я вот уже не помню детали, но что-то там был про социальную стабильность и устойчивость, что если конфликты какие-то разрешаются, то потом всё только становится лучше. А при этом в голове у тебя гражданская война, а там всё наоборот, пример проиллюстрировал как раз обратный ход вещей. И вот папа этого никак не мог понять. Ребёнок-то сразу понял, что он немножко сел в лужу. Но, поскольку, папа, видимо, страстный, то ребенок боялся, что ему «всыпят» и сидел себе тихо, не подавал виду. А папа буянил, стучал кулаком по столу и чего-то ещё. И в итоге без милиции не обошлось. 

В.Г.: Да уж.

И.Б.: Но они его, кстати, вывели просто в коридор, объяснили, чтобы не буянил, и уехали. После чего и он ушел.

В.Г.: Но, с другой стороны, если бы мне два сотрудника правоохранительных органов в таком обмундировании объяснили, что чего-то делать не должен, наверное, я что-то делать не буду. Впрочем, да. Достаточно любопытная история. 
Иван Борисович, последний вопрос Вам задам, относительно апелляции. Мы пытались дискутировать на этот счёт еще до того, как сели за микрофон, что-то вот смешное, какие-то смешные случаи на апелляции. Ну и, в общем, чего-то такого вот смешного,  так, бы чтобы не нарушало чьи-то права на конфиденциальность,вспомнить у нас не получилось. В связи с этим, задам такой вопрос: скажите, пожалуйста, апелляция - это вообще страшно или не страшно? Часто учителя говорят: «не иди, ни в коем случае, тебя могут понизить». Или, например: «ты придёшь начнёшь дискутировать с экспертом, тебя там возьмут в кавычках «размажут, только настроение попортишь и время чужое потратишь». Вообще, стоит или не стоит апелляцию-то подавать?

И.Б.: Надо подумать. Есть, конечно, риск того, что тебя «размажут», покажут, что ты ошибаешься. С другой стороны, это интеллектуальное соревнование, некоторые участники экзамена охотно идут до апелляции именно чтобы выяснить: кто прав, кто неправ. Тоже вариант. Просто надо посмотреть всю работу с грамотным коллегой, с учителем. Стоит ли? Потому что в одном месте можно выиграть, а в другом проиграть. Хорошо, вот ты дал какое-нибудь определение социальной роли, правильное, но только своими словами, а эксперт тебе недодал тебе балл за него. А потом смотришь, где-то в другом месте и эксперты что-то пропустили и поставили больше, чем надо. Поэтому, в итоге , можно не суетиться.
Сильно пострадать от апелляции нельзя, это только в крайнем случае. Вот чтобы чистое понижение - это редко бывает. В основном, приходишь, садишься, дискуссия идёт, минут 15 на нее выделяется стандартно, бывает продолжение до часу, бывает и больше. Бывает приходят люди очень хорошо подготовленные с огромными списками какой-то литературы, цитатами и так далее, и бьёмся друг с другом. Если у них сильные аргументы, мы отступаем. Если у нас аргументы – они отступают. Неплохо, кстати, это неплохо 

В.Г.:То есть трения какие-то есть?

И.Б.: Не то слово, но мы же не можем на голубом глазу сказать человеку, что он неправ, если он прав. 

В.Г.: Нет, безусловно. Мы просто не имеем права. 

И.Б.: Это неприлично и да, мы не имеем права. Если он нас убедил, то убедил. Главное психологически вести себя верно, то есть не кидаться в агрессивную атаку. Потому что вы же уже знаете, вы же в школе учитесь, что значит агрессивно атаковать учителя. Школа - место не самое такое нежное.

В.Г.: Школа - это не место для дискуссий.

И.Б.: Да, там, действительно, вопросы статуса, власти, поведения - это всё существенно. Учителя отвечают на вашу агрессию известным образом - они сами взводятся, вздыбливаются как бы, и дальше диалог идет известным образом. Я не раз сталкивался с тем, что какой-нибудь ребёнок придет и начнет ругаться именно на учителей: «вот сейчас я вам докажу», те звереют в ответ, тоже начинают ругаться.. Я как бы в роли вратаря сижу, ко мне приходят разъярённые люди, которые вот готовы просто на части порвать из-за какой-то ерунды, типа одного балла.
Ну и вот, надо ждать пока немножко успокоятся, или этих вообще прогнать, чтобы они там остыли, потому что невозможно обсуждать что-либо по содержанию на счет этой инфляции, и что она из себя представляет, в такой нервной обстановке. Главное, что никто не настроен ни на какой конструктив, когда все так ругаются. Ругаться не надо, пришли вот так, по-деловому, методично отбивать свои баллы - это святое дело. Никто вас не осуждает, за то, что вы приходите отбивать свои баллы. Это вызывает уважение, что вы за себя бьетесь.

В.Г.: Но при этом баллы отбиваются редко 

И.Б.: Чаще, чем можно было бы подумать. Нет, всё-таки больше половины мы повышаем.

В.Г.: Тем не менее, это такой момент, скажем так, индивидуальный. То есть каждый случай индивидуальный.

И.Б.: Да, системы здесь нет. Больше половины приходящих на апелляцию, всё-таки приходят почему-то с какой-то ерундой. Они пытаются поднять себе баллы за то, за что ничего не положено поднимать. Почему так происходит? Зачем они это делают – мне непонятно. Они ни с кем не консультируются вовсе или не смогли, не дают себе труда посмотреть на свои собственные работы объективно. Посмотришь когда объективно сам, то поймешь, что тебе там ничего не даст никто. У нас принцип такой: мы действуем в пользу ребёнка, но какого ребенка? Того ребенка, который дал правильный ответ. Если имеются 10 ответов, один из них, два из них – правильные. А восемь наполовину правильные, то в пользу ребенка означает что вот этим двум нужно поставить максимальный балл, а оставшимся - не максимальный, какой-то другой. Иначе всё это теряет смысл, всем повышать просто так или баллы раздавать направо налево, которые ничем не обоснованы. Какой тогда смысл в самом экзамене будет? Никакого. 

В.Г.: Абсолютно точно.

И.Б.: Чего ради мы тогда упражняемся весь год, тренируемся, проверяем эти работы, критерии. Поэтому тут все к объективности должны стремиться.

В.Г.:  Именно поэтому работу не может проверять один эксперт.

И.Б.: Конечно. Ну и вообще, осмысленность этой работы в том, что всё это как-то объективно идёт. Иначе пустая трата времени и на вопрос: «что ты там столько времени делал, товарищ Эксперт?» - спрашивают дети собственные, он говорит: «ерундой занимался». «Так зачем, пап или мам, ты это делал? Может, лучше бы редис посадил, не знаю, что-нибудь такое, заборы починил». Непонятно. 

В.Г.: Слушайте, про редис и заборы мы как-нибудь отдельно подкаст запишем, Иван Борисович. Большое спасибо, что нашли время и пришли к нам. Информативно и содержательно. По отзывам ребят обратную связь я до вас донесу, если у них будут какие-то вопросы, в том числе, можно попробовать организовать либо какую-то прямую линию, либо какой-то скайп, либо, как сейчас модно, какой-нибудь Зум. И мы тогда этот диалог продолжим.

И.Б.: Да, спасибо, Виктор Геннадьевич, давайте так и сделаем, как вы говорите. А всем детям – успехов.

В.Г.: Да, спасибо, Иван Борисович и вам, ребята. До скорых встреч.