О проверке работ профильного ЕГЭ — 2
Рассмотрим особенности проверки задания № 15 — неравенства.
Для начала приведём пример оценивания задания из работы МЦКО (имеющей тот же формат и критерии оценивания, что и ЕГЭ).
И вот ответ от экспертов конфликтной комиссии на апелляции:
Не будем придираться к тому, что эксперт перепутал знаки у корней неравенства (ему простительно — ведь не он же сдаёт экзамен). Но к содержательной части и к форме изложения есть вопросы. Само квадратное неравенство есть функция из множества вещественных чисел в булево: выполняется или нет. Как можно догадаться, картинка с числовой прямой прочитана экспертом не как критерий отсева корней, но как замкнутая формула. На этом основании он делает вывод о неравносильности неравенства (предиката) и картинки, а отсюда — о невозможности помещения картинки и неравенства под знак системы (пересечения условий). Помещение нескольких картинок под знак системы можно найти, например, в известном пособии А.Х. Шахмейстера, но соединение картинки и неравенства в систему является, очевидно, в данном случае изобретением ученика (или его учителя) — и оно никак не противоречит никаким математическим правилам.
Интерпретация же эксперта является очень оригинальной и совершенно не типичной для математиков (скорее, такой подход ближе программистам). И уж совсем непонятно, какое отношение это имеет к школьникам. Вот должен ли выпускник школы разбираться в таких нюансах и что он может понять из такого объяснения, когда подал апелляцию?
Камнем преткновения для многих выпускников становится выписывание ОДЗ. Решение логарифмического неравенства содержит два основных момента: переход к рациональному неравенству на основании свойств логарифмов и учёт области допустимых значений переменной. При переходе к равносильной системе (что, к сожалению, делается лишь относительно небольшим количеством выпускников) оба перечисленных условия — рациональное неравенство и ОДЗ — являются равноправными составными частями решения. Но на проверке ЕГЭ это не так! За любую ошибку в ОДЗ сразу ставят 0 баллов, в то время как арифметическая ошибка в решении рационального неравенства или включение/исключение в записи его решения пограничной точки приводит к снижению на 1 балл (из двух).
В сообществе экспертов ЕГЭ действует договорённость: если ребёнок выписывает ОДЗ и при этом в системе указывает не все ограничения, задающие область допустимых значений неравенства, то работа сразу оценивается в ноль баллов, даже если в самом решении все преобразования были равносильны и был обоснованно получен верный ответ. Сложившуюся практику следует признать довольно странной. Сама ОДЗ является лишь необходимым условием, которое имеет право (но не обязан!) подмечать решающий. Обязательное выписывание ОДЗ при решении уравнений или неравенств является довольно сомнительной традицией, и не вина ученика в том, что он к ней оказался приучен. Поэтому нет никакого смысла так акцентировать внимание на полноте её записи, тем более что правильно выписанная ОДЗ не всегда свидетельствует о понимании равносильности совершённых переходов.
Приведён пример решения неравенства, оцениваемого экспертами ЕГЭ в 0 баллов.
Входя в когорту ЕГЭ-экспертов, я был вынужден подчиняться общей установке, но до сих пор полагаю, что оценивание такого решения в ноль баллов является излишне жёстким.
В методических рекомендациях для членов предметных комиссий 2024 г. приведён такой пример оценивания:
Совершенно очевидно, что потеря фигурной скобки в последней совокупности является опиской, а потому не должна оцениваться так строго. Но, как вам объяснят члены конфликтных комиссий, «в критериях нет понятия описки — есть только ошибки». А, может быть, смысл проводить апелляцию в том и состоит, чтобы была возможность отделить торопливость и невнимательность от незнания и непонимания? Ведь даже для профессиональных корректоров существуют нормативы по допустимому количеству опечаток.
Крайне спорными являются требования, выдвигаемые экспертной комиссией, по записи ОДЗ при решении неравенств. Такая многолетняя порочная практика проверки ЕГЭ привела к тому, что в угоду проверяющим выработалась целая культура записи ОДЗ без аббревиатуры «ОДЗ» — вместо неё теперь пишут «Ограничения» или ставят знак «*». Но и это не помогает! Вот пример решения неравенства с последнего экзамена, оценённый в 0 баллов:
Оценка снижена за то, что, написав ограничения, ученик не прописал очевидное условие неравенства нулю знаменателя. Причём о том, что знаменатель положителен на области определения, он говорит ниже, но это не помогает, в том числе и на апелляции. Мой личный опыт экспертизы полутора сотен работ на городской проверке и просмотра сканов полусотни работ моих выпускников в прошлом году свидетельствует о том, что большинство учеников сочли факт положительной определённости знаменателя тривиальным. Именно по этой причине они не стали его явным образом прописывать, иногда лишь пытаясь сделать словесный комментарий. И с ними трудно не согласиться любому проверяющему, не ангажированному в коллегию экспертов. Позиция руководства экспертного совета снимать баллы за отсутствие явного прописывания столь очевидных условий как должна быть квалифицирована?
Вот ещё один пример неадекватного оценивания работы, все переходы в которой являются равносильными. Вердикт на апелляции: «Нет ОДЗ, нет ограничений». Ощущение, будто апелляция происходит не с экспертом конфликтной комиссии, а с машинно-обученным чат-ботом.
Основная трудность измерения знаний учащихся на ЕГЭ заключается в том, что каждое задание оценивается очень малым числом первичных баллов, и фактически проверяющий поставлен перед бинарным выбором — зачесть или не зачесть данное решение. Поэтому вынужденно принимается резолюция игнорировать какие-то типичные недочёты в решении, а какие-то, наоборот, не прощать, возводя в ранг грубых ошибок. Ситуация вряд ли поправима, если не изменить критерии проверки и не увеличить количество первичных баллов за задание.
Можно было бы ещё привести немало примеров сложного бинарного выбора, стоящего перед экспертом, оценки решения задач по критериям, предельно общим и грубым. Ясно, что общность и грубость этих критериев призваны обеспечить единство подходов к оцениванию работ. Но в то же время, они и ведут к рассогласованию со здравым смыслом и потому вызывают разногласия оценок разных экспертов. Разные эксперты часто по-разному проверяют и оценивают одну работу не из-за необученности или невнимательности, но потому, что загнаны в условия жёсткого выбора оценки критериями.
Критерии проверки требуют доработки. В математике главная теорема — теорема существования. Вот и при проверке работ главная задача — ответить на вопрос, есть ли решение (с какими-то огрехами, недоработками, погрешностями оформления) или же решения нет. Пользуясь терминологией матбоёв, за все «дыры» в решении должны сниматься баллы, пропорциональные относительному размеру «дыры». Наказывать можно и должно за всякую «грязь» в решении, но размер наказания должен быть соразмерен провинности.
Принципиально есть два подхода к оцениванию — суммирующий и вычитающий. При первом подходе находим отношение суммы правильно выполненных заданий к общему числу заданий (например, в тесте или контрольной работе). При втором подходе находим отношение количества сделанных ошибок к их допустимому числу (например, в диктанте). Разумное оценивание работ на экзамене должно, вероятно, сочетать оба этих подхода. Нужно суммировать количество правильно выполненных заданий — можно взять за основу уже разработанную систему их оценивания. И добавить к ней систему вычитания баллов за различные провинности. Наверное, будет удобно измерять цену разных провинностей в десятых долях балла. Скажем, неверно записан ответ или не подписаны корни на единичной окружности при отборе корней — минус 0,1 балла; перепутаны знаки объединения и пересечения множеств или не указано при решении тригонометрического уравнения множество, которому принадлежит целочисленный параметр, — минус 0,2 балла; сделана арифметическая ошибка во второй части задания — минус 0,3 балла и т.п. (Ясно, что сейчас речь идёт о принципе усовершенствования имеющейся системы оценивания, а не о конкретных числовых значениях.)
Почти все возможные в решении «ляпы» известны и могут быть оценены заранее. Их отдельное рассмотрение позволит, во-первых, не закрывать глаза при проверке на многие математические ошибки, делаемые в работах (например, использование знака системы вместо совокупности), во-вторых, не наказывать чрезмерно строго за всякую «грязь» (типа описки при записи ответа). Дробный первичный балл позволит более точно измерять знания учащихся и даст более плавный пересчёт на вторичный балл. И разногласий в проверках экспертов станет гораздо меньше.