Лекция 17. Единый государственный экзамен, его компоненты, технология проведения, шкалирование и интерпретация результатов.

 

1.      Цели и задачи эксперимента по введению ЕГЭ.

2.      Контрольно-измерительные материалы (КИМы).

3.      Технология разработки КИМов, организации и проведения ЕГЭ.

4.      Шкалирование результатов ЕГЭ и использование их в управлении качеством образования.

5.      ЕГЭ и Общероссийская система оценки качества образования.

 

 

1. Цели и задачи эксперимента по введению Единого государственного экзамена.

1. Цели эксперимента по введению Единого государ­ственного экзамена. Эксперимент по введению ЕГЭ, начатый в 2001 г., Открывает новую страницу в развитии отечественной системы образования и имеет инновационный характер не толь­ко по замыслу, но и по форме проведения, по масштабам и отсутствию жесткой регламентации со стороны органов власти. Впервые в истории отечественного образования предпринята по­пытка не директивным, а экспериментальным путем определить целесообразность фундаментальной перестройки деятельности учебных заведений и системы управления качеством образова­ния.

Эксперимент имеет две цели: повышение доступности высшего образования и качества среднего школьного образования, реа­лизация которых достигается одновременно за счет совмещения в одной процедуре школьного выпускного экзамена и вступитель­ного экзамена в высшие учебные заведения [9; 10]. По результатам ЕГЭ выпускники школ получают две оценки, одна из которых выставляется в школьной пятибалльной шкале, а другая — в ст­обалльной шкале для предоставления приемным комиссиям вузов и ссузов.

Задачи, решаемые с помощью ЕГЭ. К числу основных задач, решаемых в ЕГЭ, относятся:

- объективизация оценки качества образования на основе со­здания механизма внешнего оценивания и использования педаго­гических измерений;

- повышение доступности профессионального образования, в первую очередь для молодежи из малообеспеченных семей и из отдаленных от вузовских центров мест проживания;

- объективизация требований к' общеобразовательной подго­товке абитуриентов учебных заведений в системе профессиональ­ного образования;

- снижение психологической нагрузки на выпускников обще­образовательных учреждений за счет уменьшения числа экзаме­нов; - развитие преемственности общего и профессионального об­разования, обеспечивающей готовность выпускников» школ про­должить образование;                                            

-  совершенствование системы.государственного контроля и управления качеством образования на основе независимой оцен­ки качества подготовки выпускников.

Решение последней задачи, в частности, позволяет говорить о существенном вкладе ЕГЭ в становление и развитие Общероссий­ской системы оценки качества образования (ОСОКО), создание которой происходит сейчас в России. Выполняя свои основные задачи, ЕГЭ является важным структурным элементом ОСОКО и одним из центральных звеньев в развитии и совершенствовании системы управления качеством образования.

Решение перечисленных задач обеспечивается выполнением ра­бот по ряду направлений, к которым относятся: формирование нормативно-правовой базы эксперимента; создание КИМ; разра­ботка технологии проведения ЕГЭ; обеспечение информацион­ной безопасности процедур, материалов и результатов экзамена; формирование информационных систем сопровождения экспери­мента и использования его данных в образовании; подготовка спе­циалистов для кадрового обеспечения эксперимента; мониторинг ЕГЭ; анализ и интерпретация данных мониторинга в целях повы­шения качества образования.

Схемы участия регионов в ЕГЭ и развитие эксперимента. После принятия решения об участии в ЕГЭ регион на добровольной ос­нове выбирает одну из возможных схем проведения экзамена, которая может отличаться от других количеством и составом пред­метов, добровольностью или обязательностью аттестации выпускников школ в форме ЕГЭ долей компьютерного тестирования и другими специфическими особенностями, обусловленными фи­нансовыми возможностями региона, его материальной базой, уровнем развития коммуникаций, числом вузов, их готовностью к участию в эксперименте и т.д.              

В соответствии с основной линией на отсутствие жесткой директивности со стороны федеральных органов управления обра­зованием в ЕГЭ сохраняется максимально возможная вариатив­ность схем проведения, которые нередко меняют сами регионы в процессе развития эксперимента.

Несмотря на существующую нормативную базу, определяю­щую перечень обязательных предметов при итоговой аттестации выпускников школ, многие регионы в рамках работ по совершенствованию схемы проведения ЕГЭ отказываются от обязательных предметов и предоставляют выпускникам право самостоятельно­го выбора числа экзаменов и самого участия в ЕГЭ. Показательно, что по мере расширения сферы действия принципов вариативно­сти и добровольности число участников эксперимента неуклонно растет вместе с проявлением позитивного отношения общества к эксперименту.

Анализ данных мониторинга ЕГЭ убедительно свидетельствует о резком увеличении числа регионов, участвующих в эксперименте, и повышении доверия к ЕГЭ со стороны органов управления обра­зованием, профессионального сообщества вузов и школ, учащихся и их родителей. В частности число регионов — участников экспери­мента — изменилось с 6 в 2001 г. до 78 в 2005 г.,- а количество выпускников этих регионов, сдававших в 2005 г. экзамены в форме ЕГЭ по математике и русскому языку, превысило 50 % [41]. Значи­тельно расширился список вузов и ссузов, принимающих абитури­ентов по результатам ЕГЭ. В 2005 г. в эксперименте приняли участие 1543 вуза (включая филиалы) и 1765 ссузов, тогда как в 2001 г. в нем участвовали лишь 16 вузов. Резко увеличилось общее количе­ство предметов, выносимых на ЕГЭ в регионах. Согласно данным мониторинга и региональной статистики, за годы эксперимента существенно возросло число выпускников из сельских районов, поступивших в вузы по результатам ЕГЭ. В целом тенденции экспе­римента говорят о том, что связываемые с ЕГЭ надежды на расши­рение доступности высшего образования для жителей сельских и отдаленных районов России полностью оправдываются. Это нахо­дит свое подтверждение в данных мониторинга ЕГЭ.

Участие учителей в проведении ЕГЭ. Учителя нередко выступа­ют организаторами проведения ЕГЭ в школах, однако они рабо­тают только с теми выпускниками, которые не являлись ранее их учениками. В этом случае педагоги принимают участие в подготов­ке к проведению экзамена, организуют саму процедуру тестиро­вания, обеспечивают сбор и отправку материалов экзамена.

При подготовке к тестированию учителя получают все необхо­димые материалы, включающие комплекты КИМ с запасными материалами на случай опечатки, списки выпускников, формы протоколов проведения тестирования, в которых отмечаются все отклонения от требований стандартизации» и руководство по про­ведению тестирования, включающее описание всех требований к проведению ЕГЭ.

После завершения экзамена организаторы собирают материа­лы: использованные и неиспользованные тесты, заполненный протокол проведения тестирования и прилагают списки учащих­ся. Эти материалы передаются в специальные центры для провер­ки и дальнейшей обработки, получившие в системе ЕГЭ название региональные центры обработки информации (РЦОИ). Задания с выбором ответов подвергаются автоматизированной проверке на местах или в Москве, а для проверки заданий с развернутыми ответами приглашаются эксперты, работа которых организуется по месту проведения экзамена в условиях полной информацион­ной безопасности и независимости экспертных суждений.

 

2. Контрольные измерительные материалы

 

Структура КИМ. В структуре КИМ выделяют три части (А, В, С), имеющие различное число заданий в зависимости от предме­та. Например, заданий по биологии и истории может быть 50, а по русскому языку— 40,

В части А по всем предметам содержатся только задания с выбором ответов. Задания части В значительно варьируют по форме и предполагают возможность краткого регламентированного от­вета, установления соответствия между элементами двух множеств и правильной последовательности различных процессов, явлений, объектов. Часть С предназначается для свободного конструирова­ния ответа. Например, при тестировании по русскому языку да­ется задание написать небольшую письменную работу (сочине­ние), по математике — дать развёрнутые решения заданий и т.д.

Содержание КИМ. Результаты ЕГЭ используются при итоговой аттестации учащихся и отборе абитуриентов. Содержание КИМ предназначено для получения персонифицированной информа­ции о достижении выпускниками школ базового и повышенно­го уровней подготовки по предметам. Поскольку при аттестации требуется проверить освоение- выпускниками большинства эле­ментов предметной подготовки, а время экзамена ограничено, для повышения репрезентативности охвата содержания образо­вания приходится варьировать спецификации КИМ ЕГЭ незна­чительно внутри одного года и более существенно по годам. Бла­годаря специальному планированию, осуществляемому предмет­ными комиссиями по разработке КИМ, за 2—3 года удается ох­ватить все необходимые содержательные элементы. Из-за вариа­ции спецификаций КИМ снижается сопоставимость результатов выпускников, но расширяются возможности использования ре­зультатов ЕГЭ на федеральном и региональном уровнях в монито­ринге качества образования. Таким образом, на основе анализа результатов по отдельным годам ЕГЭ удается получить обоснован­ную информацию о тенденциях в изменении общеобразователь­ной подготовки выпускников школ России.

В целом содержание КИМ отбирается на основе специфика­ций, которые ежегодно обновляются в Интернете и включают обобщенные планы экзаменационных работ со ссылками на соот­ветствующие позиции кодификаторов (пронумерованных переч­ней содержательных элементов по предметам). В содержании КИМ отображаются только предметные знания и умения, которым обу­чают в школе, хотя это противоречит современным воззрениям на приоритеты в обучении, принятым во многих, странах. Вслед­ствие этого российские учащиеся показывают невысокие резуль­таты в международных сравнительных исследованиях качества об­разования. Они не умеют выполнять задания, требующие приме нения знаний в ситуациях, имитирующих жизненные, или меж­дисциплинарных умений.

Анализ результатов выполнения КИМ в контексте содержа­тельной интерпретации дает важную информацию для совершен­ствования требований ГОС и повышения качества образования. Согласно результатам анализа, проведенного предметными ко­миссиями по разработке КИМ и опубликованного в 2006 г. в аналитическом докладе [41], задания базового уровня трудности выполняют в основном выпускники, получившие по ЕГЭ хоро­шие и отличные оценки. Процент учащихся этой группы, спра­вившихся со всеми заданиями базового уровня, несколько выше по математике и русскому языку (более 90 %) и ниже по осталь­ным предметам (не более 85 %). Около половины выпускников, получивших по результатам ЕГЭ «два» и «три», не осваивают и половины планируемого к изучению материала. Этот результат помогает выявить проблемы, связанные с завышенными требо­ваниями ГОС и излишним объемом содержания школьного об­разования.

 

3. Технология разработки контрольно-измерительных

материалов, организации и проведения

Единого государственного экзамена

 

Структуры, участвующие в организации и проведении ЕГЭ. К числу структур, осуществляющих организационно-управленческую и научно-методическую поддержку при реализации технологии ЕГЭ, относятся федеральные и региональные органы управления обра­зованием, Федеральный центр тестирования (ФЦТ), Федераль­ный институт педагогических измерений (ФИПИ), компания «КРОК», региональные центры обработки информации и различ­ные организации (вузы и другие образовательные структуры), выполняющие на конкурсной основе исследовательские проекты для формирования научно-методических основ технологии про­ведения ЕГЭ и совершенствования КИМ.

Технология разработки КИМ. Технологический ежегодный цикл разработки КИМ по предмету начинается с пересмотра кодифи­катора элементов содержания, подлежащих проверке, а также с создания спецификации и демонстрационного варианта КИМ. Обычно по 13 Предметам, заявленным в ЕГЭ, ежегодно разраба­тывается не менее 10 тысяч новых заданий. Помимо целевого за­каза на задания для пополнения банка ЕГЭ объявляется конкурс, в котором принимают участие все желающие авторы тестовых за­даний из различных регионов России. Материалы, представлен­ные на конкурс, проходят экспертизу, по результатам которой осуществляется отбор и покупка тестовых заданий для банка ЕГЭ. Специалисты ФИЛИ, используя банк, формируют варианты КИМ. Затем проводится экспертиза качества содержания вариан­тов, анализ их параллельности и соответствие заданий требовани­ям тестовой формы. После коррекции, основанной на результатах экспертизы, КИМ передаются на апробацию, проводимую на репрезентативных выборках учащихся_: школ России. Обработка данных апробации и их анализ позволяют выполнить очередную коррекцию, после завершения которой получаются эквивалент­ные варианты КИМ с комплектами сопроводительной докумен­тации для проведения ЕГЭ, созданные в условиях высокого уровня информационной 'безопасности и хранящиеся в специальных помещениях до начала ЕГЭ.

После проведения экзамена и обработки данных специалисты ФИПИ готовят аналитический отчет, содержащий рекомендации по совершенствованию КИМ, которые учитываются при выпол­нении очередного ежегодного технологического цикла.

Технология проведения ЕГЭ. При проведении ЕГЭ основной технологией является бланочная, предполагающая выдачу зада­ний выпускникам на бумаге. Реализация бланочной технологии зависит от организации, занимающейся ее осуществлением. Так, ФЦТ все материалы печатает в Москве, а затем перед началом экзамена передает пакеты с КИМ и бланками ответов в регионы, КРОК поддерживает технологию, при которой бланки ответов распечатываются по месту применения в регионах.

При использовании, компьютерного тестирования, в ЕГЭ тех­нология носит смешанный характер, поскольку задания части С с развернутыми ответами выполняются на бумажных бланках. Еди­ная технология проведения ЕГЭ пока еще не сложилась. Каждый из вариантов проведения эксперимента имеет свои достоинства и недостатки, выявить которые в полной мере можно лишь по его окончанию.

 

4. Шкалирование результатов Единого государственного

экзамена и использование их в управлении

качеством образования

 

Виды используемых шкал в ЕГЭ. В соответствии с заявленными целями и решаемыми задачами по данным ЕГЭ выставляются две оценки — в сто- и пятибалльной школьной шкале. Первую получают специалисты ФЦТ путем шкалирования первичных данных ЕГЭ, преобразования их в стандартную шкалу логитов на основе современной теории тестов. Вторая, школьная, выбирается спе­циалистами группы по шкалированию, организуемой Рособрнадзором во время экзаменов и состоящей из тестологов, представи­телей предметных комиссий ФИПИ и сотрудников ФЦТ. Для выбора границ интервалов стобалльной шкалы и установ­ления их соответствия оценкам четырехбалльной шкалы резуль­таты ЕГЭ по каждому предмету и всем регионам подвергаются многоаспектному анализу, включающему проблемы содержатель­ной: валидности школьных баллов и сопоставимости оценок по предмету в ЕГЭ разных лет.

Сопоставимость результатов ЕГЭ разных лет. Для обеспечения содержательной сопоставимости результатов тестирования мно­гие страны, в которых есть национальные экзамены в форме тес­тов или другие виды массового тестирования, вводят стандарти­зованные уровневые шкалы (см. раздел 13.5), позволяющие про­следить связь между содержанием тестов по годам. Важное пре­имущество уровневых шкал заключается в расширении возмож­ности интерпретации результатов экзаменов, поскольку тестовый балл можно дополнять содержательным описанием подготовки вьь пускников школ в терминах, освоенных и не освоенных темати­ческих элементов предмета.

Для введения содержательной интерпретации в практику ЕГЭ необходимо, прежде всего, провести цикл работ по совершен­ствованию структуры ГОС на основе идей уровневой дифферен­циации [66] и содержательно описать различные уровни общеоб­разовательной подготовки по всем школьным предметам. Затем на репрезентативной выборке выпускников школ России следует построить устойчивую шкалу стандартных тестовых баллов и вы­делить диапазоны шкалы путем соотнесения их с содержанием заданий, выполненных на каждом уровне.

В терминах теории педагогических измерений сопоставимость означает возможность переноса результатов тестирования различ­ных лет на единую шкалу. Сопоставимость обеспечивает выпуск­нику возможность однократной сдачи ЕГЭ и использования своих результатов при неудачном поступлении в вуз в последующие годы, а управленцам — возможность проведения сравнительных иссле­дований качества образования.

Традиционный подход к решению проблемы сопоставимости основан на определении норм так называемого якорного теста для составления таблиц эквивалентности баллов по разным тес­там. В качестве якорного выбирается тест, который стандартизует­ся на национальной  репрезентативной выборке испытуемых, тща­тельно сформированной из генеральной совокупности в масшта­бах всей страны.

На основе якорного теста определяются репрезентативные об­щенациональные нормы по различным предметам. Данные, со­бранные на национальной выборке по якорному тесту, служат для построения шкалы единых показателей. Каждый новый тест, разрабатываемый в последующие годы, калибруется относитель­но якорного теста, в результате чего можно установить, какой результат испытуемого в последующие годы эквивалентен пока­зателю в якорном тесте.                                          

Для построения таблиц перевода в общем случае на одной и той же выборке испытуемых обычно используют метод равных перцентилей, согласно которому показатели считаются эквива­лентными, если они имеют равные перцентилей и получены на нормальной группе сравнения по параллельным вариантам тестов. К недостаткам метода можно отнести высокую стоимость, неиз­бежную коррекцию и совершенствование содержания тестов, из­менение содержания образования и приоритетов в учебных дог стяжениях, а к достоинствам — стабильность и высокую точность, поскольку результаты по всем последующим версиям тестов срав­ниваются с одним якорным тестом.

В связи с появлением теории IRT стали использовать более эффективные технологии, обеспечивающие сопоставимость ре­зультатов тестирования по различным годам. Эта технология ос­нована на включении в тесты различных лет групп якорных (об­щих) заданий, связывающих цепочкой результаты по более по­здним и более ранним версиям теста. Отсчет ведется от шкалы, построенной на эталонной группе сравнения. Тем самым каж­дый вариант очередной версии теста благодаря блоку общих за­даний связывается с предыдущим и последующим вариантами батареи тестов.

Для пользователей тестов обычно разрабатываются необходи­мые разъяснительные материалы, обеспечивающие перевод сы­рых баллов в производные показатели, сопоставимые с результа­тами эталонной шкалы. Дополнительные меры по повышению со­поставимости результатов тестирования обеспечиваются специ­альной теорией выравнивания тестов. Аналогичные современные методы планируется использовать в ЕГЭ.

 

5. Единый государственный экзамен и Общероссийская система оценки качества образования

 

Что понимают под Общероссийской системой оценки качества образования. Под Общероссийской системой оценки качества об­разования понимается совокупность организационных и функци­ональных структур, которая обеспечивает основанную на единой концептуально-методологической базе оценку образовательных до­стижений граждан, а также выявление факторов, влияющих на образовательные результаты [10; 11].

Основная цель создания ОСОКО заключается в повышении объективности и обоснованности информационной основы си­стемы управления качеством образования в России, а также обеспечении всех участников образовательного процесса и общества в целом достоверной информацией о качестве образова­ния в стране.

В соответствии с поставленной целью к основным задачам ОСОКО можно отнести:

- оценку качества учебных достижений обучаемых и выпускни­ков учебных заведений на различных образовательных ступенях;

-  разработку научно-методического обеспечения процедур и инструментария для оценки качества образования;

- создание структур, обеспечивающих качество инструмента­рия и технологий педагогических измерений (центров сертифика­ции);

- создание центров статистической обработки и анализа дан­ных о качестве образования, организацию системы подготовки и переподготовки педагогических кадров и т.д.

Процесс создания ОСОКО в России пока не завершен, поэто­му число основных задач по мере ее становления может меняться.

Построение ОСОКО предполагает широкое использование су­ществующих организационных структур, механизмов и процедур: ЕГЭ, центров сертификации, аттестации и аккредитации, цент­ров качества образования и мониторинга, работающих на единой научно-методической основе в рамках стратегии развития обще­российской системы оценки качества образования.

ЕГЭ в ОСОКО. ЕГЭ является неотъемлемым структурным эле­ментом ОСОКО и обеспечивает объективную информацию о ре­альном состоянии качества школьного образования. Данные ЕГЭ позволяют получить оценки состояния образовательных достиже­ний выпускников школ, выявить тенденции и динамику измене­ния системы среднего образования, сформировать совокупность основных факторов, влияющих на качество образования в раз­личных регионах, и оценить меру их влияния.

ЕГЭ не является единственным информационным источником ОСОКО. Несомненно, что помимо собранной в процессе экзаме­на информации о предметных знаниях и умениях выпускников школ необходимы дополнительные данные, характеризующие со­стояние качества образования на различных ступенях (оценки уме­ний применять знания, собранные с помощью портфолио и дру­гих средств аутентичного оценивания; оценки междисциплинар­ных, общеучебных и коммуникативных умений; данные об уров­не воспитанности обучаемых и результативности воспитательных воздействий; результаты участия учащихся в олимпиадах и твор­ческих конкурсах и т.д.).

Важным требованием, обеспечивающим корректность исполь­зования данных ЕГЭ в ОСОКО, является учет различных факто­ров при интерпретации результатов экзамена, лежащих зачастую за пределами влияния школы, но существенно влияющих на ка­чество образования.