Лекция 15. Подготовка к тестированию, проведение тестирования и интерпретация результатов.
1. Подготовка к тестированию. 2. Инструкции по тестированию и процедура его проведения. 3. Подготовка учащихся, ее влияние на изменение результатов тестирования. 4. Этические и социальные проблемы тестирования. 5. Интерпретация результатов педагогических тестов, использование результатов на различных уровнях управления качеством образования.
1. Подготовка к тестированию Стандартизация условий и материалов. При тестировании не должны возникать непредвиденные обстоятельства, снижающие надежность результатов выполнения тестов. Поэтому на этапе подготовки следует максимально стандартизовать те условия, обеспечивающие единообразие процедуры тестирования, а также те, в которых выполняются тесты. Стандартизация процедуры тестирования требует разработки правильных инструкций для всех участников, выбора оптимального времени дня для проведения тестирования, создания подходящей окружающей обстановки и планирования размещения испытуемых для предотвращения списывания в процессе выполнения теста [1; 20; 28; 35; 60]. Важно продумать, как скомпоновать тестовые материалы для выдачи учащимся, заготовить специальные запасные материалы: бланки ответов, ручки или карандаши и т.д., чтобы не отвлекать учащихся от работы над тестом. При проведении апробации теста необходимо предусмотреть формирование репрезентативной выборки испытуемых и обеспечить равномерную ротацию вариантов по различным стратам выборки. Для стратификации нужна предварительная информация об учащихся, которую нередко собирают с помощью анкетирования. До начала тестирования желательно провести репетиционное занятие, ознакомив учащихся с формами заданий и действиями по заполнению бланков ответов, особенно если учащиеся никогда ранее не выполняли тесты. Требования к бланкам для ответов на задания теста. Бланк должен быть разработан таким образом, чтобы сделать его максимально понятным испытуемым и свести к минимуму время, затрачиваемое на Поиск места для ответов. В заданиях с выбором ответа обязательно должен быть предложен символ, с. помощью которого отмечается правильный ответ. Необходимо также определить возможные исправления, которые имеют право сделать учащиеся на бланке в случае изменения ответа. Если регистрационная форма не прилагается отдельно, то в начале бланка ответов следует оставить место для данных учащегося. В массовом тестировании, когда результаты учащихся используются для принятия административно-управленческих решений, бланк ответов должен быть зашифрован, а данные для идентификации учащегося должны указываться на отдельном регистрационном листе, как, например, при проведении ЕГЭ. Условия, в которых должно проводиться тестирование. Предварительная подготовка к тестированию касается не только используемых материалов, но и окружающей обстановки. Необходимо заранее выбрать помещение для тестирования. Оно должно быть достаточно тихим, иметь хорошее освещение, вентиляцию и удобные рабочие места. При тестировании больших групп учащихся помещение должно обеспечивать экзаменаторам свободный доступ к посадочным местам учащихся, предусматривать возможность одноместной посадки испытуемых и исключать ситуации, удобные для списывания, когда у впереди или сбоку сидящего учащегося оказывается тот же самый вариант теста. Если тестирование проводится в специализированных аудиториях (классы математики, физики и т.п.), то необходимо убрать (закрыть) стенды, плакаты и прочие материалы со справочной информацией по соответствующим дисциплинам. На двери обычно вывешиваются списки учащихся, находящихся в помещении для тестирования, и предупреждающие знаки, запрещающие входить в помещения при любых обстоятельствах, кроме чрезвычайных случаев. У дверей помещений для прекращения доступа в помещение опоздавшим учащимся после начала выполнения тестов необходимо поставить помощников. 2. Инструкции по тестированию и процедура его проведения
Требования к экзаменаторам и их помощникам. На тестировании даже в небольшой аудитории на 15 — 20 человек должно присутствовать два преподавателя. Необходимо, чтобы один из них преподавал проверяемый учебный предмет на тот случай, если в содержании тестов встретится ошибка. По сложившейся в ЕГЭ терминологии их называют организаторами по проведению тестирования, или экзаменаторами. Если в помещении для тестирования находятся примерно 50 учащихся, то экзаменаторов должно быть не менее четырех человек для поддержания дисциплины и минимизации потерь времени у испытуемых при возникновении вопросов. Важно, чтобы тестирование проводил, экзаменатор, который никогда не общался с учащимися. Экзаменатору нужно предварительно ознакомиться с текстом инструкций и усвоить специфические приемы для установления контактов с испытуемыми. Если тестируются дети младших классов, желательно расположить их к себе дружеской манерой общения, поскольку для них характерна боязнь незнакомых людей. При тестировании школьников постарше лучше выбрать нейтральную форму общения. Например, в условиях ЕГЭ желательно напомнить о правилах поведения и о том, что подсказки товарищам снижают собственные шансы на поступление в престижный вуз; обратиться к свойственному выпускникам школ духу соревновательности, а в дальнейшем лишь поддерживать дисциплину и никак не вмешиваться в работу. В целом экзаменатору необходимо помнить о том, что малейшее отступление от требований стандартизации в поведении на тестировании повлечет за собой снижение объективности результатов выполнения теста. Экзаменатора, проводящего тестирование, следует отличать от педагога, использующего результаты учащихся по тесту. Экзаменатор должен владеть правилами поведения на тестировании, психологическими приемами установления контакта с испытуемыми, хотя он сам может ничего не знать о тестировании. Хорошо подготовленный педагог-пользователь выбирает тесты, которые подходят для поставленных целей контроля. Он знаком с научной литературой по тестовой проблематике, способен оценить такие характеристики, как надежность и валидность теста. Педагог делает выводы и дает рекомендации только связав тестовые результаты с другой имеющей отношение к цели тестирования информацией об испытуемом, что позволяет избежать ошибочных заключений. Инструкция для экзаменатора. Разработка корректных инструкций для педагога, руководящего процессом применения теста, и для учеников, выполняющих тест, имеет большое значение для повышения надежности измерений [1; 20; 60]. В инструкции для экзаменатора содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные, обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной пропет дуре предъявления теста, перечень вопросов, на которые учащимся можно давать ответы. Инструкции для учащихся. Для подготовки группы учащихся к тестированию обычно разрабатывают две инструкции, одна из которых — развернутая, зачитываемая педагогом на репетиционном тестировании или раздаваемая заблаговременно, задолго до начала экзамена, а другая — краткая, выдаваемая вместе с тестом или непосредственно перед началом тестирования и лежащая на столе у каждого ученика. В инструктировании перед тестированием, которое можно проводить за 2—3 дня или накануне экзамена, педагогу, необходимо: 1) объяснить учащимся, зачем нужен тест, сообщить, как будут использованы его результаты; 2) объяснить, почему испытуемые должны приложить максимум усилий для выполнения теста, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив; 3) медленно, четким голосом прочесть инструкцию к тесту с примерами, если последние имеются; 4) дать возможность испытуемым потренироваться, решить самостоятельно одну или более задач-образцов. Проверить, правильно ли понята инструкция, проанализировав прямо на консультации результаты выполнения примеров заданий; 5) сообщить о временном ресурсе выполнения теста на экзамене, о правилах исправления допущенных ошибок, рассказать о том, к кому обращаться в случае возникновения вопросов, объяснить, на какие вопросы не следует ждать ответов. В целом инструкции для предварительной подготовки к тестированию бывают довольно длинными и подробными, особенно в тех случаях, когда они предназначены для самостоятельной работы с тестом дома. Например, в инструкции к тесту для самоконтроля можно рассказать о целях работы над тестом, детально описать его содержание, дать краткий обзор процесса развития теста, объяснить стратегию выполнения заданий и правило подсчета баллов, привести таблицу для самооценки и сравнения результата учащегося с результатами, других учеников. Краткая инструкция для испытуемого, выдаваемая перед началом экзамена вместе с тестом, должна содержать в основном правила по заполнению регистрационного бланка и бланка для ответов. Она может иметь различный вид, который зависит от цели тестирования и формы заданий, содержащихся в тесте. Например, в ЕГЭ такая инструкция по выполнению КИМ, включающих три части — А, В, С — с заданиями различной формы, объясняет правила заполнения бланков ответов.
3. Подготовка учащихся, ее влияние на изменение результатов тестирования
Нужно ли готовить учащихся к тестированию? Ответ на этот вопрос можно получить с различных позиций: с позиции педагога, психолога и специалиста по теории педагогических измерений [1]. Часть учителей, мало знающих о возможностях тестов, скорее всего, будут возражать против подготовки к тестированию, поскольку обычно подготовка ассоциируется у них с «натаскиванием». На самом деле такая точка зрения характерна для сторонников традиционного контроля, в, котором при рассекречивании содержания предстоящей контрольной работы, состоящей из 5—7 заданий, нельзя говорить о достоверности результатов проверки. Иначе складывается ситуация при подготовке к выполнению тестов, длина которых обычно колеблется от 30 заданий (в математике и физике) до 50—60 заданий в гуманитарных предметах. Очевидно, что учащиеся, выполнившие в процессе подготовки к тестированию 100—150 заданий, подобных тем, которые будут в тесте, вполне заслуживают высоких оценок, поскольку при таком объеме усвоенного учебного материала речь уже должна идти не о натаскивании, а о хороших знаниях по предмету. Влияние подготовки на результаты выполнения теста. В целом исследования специалистов показали, что степень улучшения результатов тестирования зависит от способностей и знаний учащихся, количества и вида предварительных занятий и особенностей тестов. Наиболее полезной подготовка к тестированию оказалась для слабых учащихся, в то время как на результаты сильных учеников, обладающих достаточными знаниями для выполнения теста, она повлияла незначительно. Понятно, что степень положительного влияния предварительной подготовки на изменение результатов тестирования находится в прямой зависимости от тесноты связи между содержанием тренировочных заданий и содержанием теста. Ограничивается ли улучшение только результатами по конкретным заданиям, которые использовались при подготовке, или позитивное влияние предварительного тестирования распространяется на качество подготовки учащихся в целом, пока не известно ни педагогам-теоретикам, ни педагогам-практикам. Конечно, не каждое содержание заданий теста может быть отражено в тренировочных заданиях. Когда речь идет о проверке алгоритмических навыков или репродуктивных умений, то нет ничего плохого в том, что учащийся повторит перед тестированием изученный материал и выполнит предварительно совокупность заданий, похожих на задания теста. Другое дело, когда в тесте предлагаются творческие задания, требующие от испытуемых смекалки и нестандартных решений. Тогда любая тренировка перед тестированием рассекретит содержание теста и сведет на нет все элементы творчества при его выполнении. Психологи положительно относятся к тренировочному тестированию, поскольку установлено, что предварительная подготовка снижает тревожность в поведении испытуемых во время тестирования и мотивирует к выполнению теста. Слабые учащиеся наиболее подвержены фактору тревожности, который не мотивирует их как сильных испытуемых, а, наоборот, заставляет забыть то немногое, что было выучено при подготовке к экзамену. Поэтому точка зрения психологов во многом совпадает с мнением, педагогов: тренировка перед тестированием приносит наибольшую пользу учащимся с недостаточным запасом знаний, она заставляет их поверить в свои силы и мобилизует к выполнению теста. Специалисты по педагогическим измерениям также считают необходимым; проводить тренировки перед тестированием, но их интересует не подготовка к содержанию контролируемых вопросов, а обучение учащихся работе с различными формами тестовых заданий, минимизация потерь времени'при занесении ответов в бланки, умения исправить случайные описки в бланках, не обращаясь к экзаменатору, и т.д. У тестологов, как всегда, на первом плане находится проблема оценки истинного балла каждого испытуемого, поэтому репетиционное тестирование рассматривается ими с позиций минимизации ошибок измерения. Таким образом, небольшая ориентировка по содержанию тестов и несколько практических занятий по выполнению различных форм заданий и заполнению бланков ответов просто необходимы, если вы хотите повысить объективность результатов выполнения тестов.
4. Этические и социальные проблемы тестирования
Этические нормы и принципы тестирования. Этические нормы и принципы тестирования в образовании продиктованы кодексом профессиональной этики педагога [1]. Они являются частью совокупности общечеловеческих норм, регламентирующих поведение учителя на тестировании в соответствии с требованиями долга, профессиональной честности, принципами гуманизма и т.д. Деятельность учителя, выступающего в качестве тестолога, предъявляет ряд специфических требований, вытекающих из особенностей его профессиональных функций в роли специалиста по педагогическим измерениям. В отличие от психолога учитель не является исследователем человеческой личности, в сферу его интересов не попадают скрытые стороны духовной жизни человека. Поэтому требования к этике поведения тестолога в образовании не такие серьезные, как в психодиагностике, где постоянно приходится думать о Профессиональной этике в работе с обследуемыми. Однако и в образовании несоблюдение норм специальной этики при проведении тестирования и интерпретации его результатов может привести к нежеланию учащихся выполнять тесты, к непониманию и отсутствию поддержки тестирования со стороны коллег, особенно если результаты тестирования кажутся им необоснованными, затрагивающими их компетентность в преподавании. Важное требование к деятельности тестолога в образовании — соблюдение принципа конфиденциальности, предполагающего неразглашение сведений о результатах тестирования без согласия ученика, поскольку тест может выявить такие пробелы в подготовке учащихся, которые он предпочел бы скрыть от своих одноклассников. Поэтому до начала тестирования учащихся следует проинформировать относительно сферы использования его тестовых баллов, объяснить, в какой форме они будут выдаваться и кто будет иметь к ним доступ. Часто при проведении массового тестирования, например национальных экзаменов, в начале теста учащегося просят заполнить анкетные данные и сведения о родителях* которые позволяют использовать в дальнейшем результаты экзаменов при оценке качества образования. Запрос таких сведений регламентируется принципом осведомленного согласия и принципом соответствия. Сведения, которые собирают в анкетах, должны соответствовать целям тестирования, о которых следует рассказать ученикам, заверив их в неразглашении информации и объяснив уровни ее использования. При тестировании учащихся следует принимать во внимание принцип доступности, связанный с правом учащегося на получение Доступа к содержательной интерпретации тестовых результатов, анализу проблем и неудач в выполнении отдельных заданий теста. Такая же информация, но в интегрированной форме, необходима учителям в целях коррекции методов преподавания. Результаты тестирования должны быть представлены в доступном для понимания виде, они не должны содержать специальные термины и профессиональную лексику в соответствии с задачами повышения качества образования. Принцип обоснованности и динамического отражения развития учащегося предполагает систематическое обновление данных о подготовленности учащихся, полученных с помощью тестов. Информация о результатах тестирования учащихся должна накапливаться длительное время, поскольку она может оказаться полезной для правильного понимания учителем особенностей развития каждого школьника, динамики прироста его знаний и индивидуальной работы с ним. Однако наличие прежних, результатов тестирования не должно приводить к ошибочным выводам. Было бы нелепо, например, ссылаться на плохие результаты по чтению ученика в I классе, объясняя его отставание по математике в III классе.
5. Интерпретация результатов педагогических тестов, использование результатов на различных уровнях управления качеством образования
Цели интерпретации, проблема корректности при анализе данных тестирования. Интерпретация данных тестирования может иметь различные цели и проводиться разными группами лиц, заинтересованных в использовании результатов выполнения тестов. Ее осуществляют тестологи, которые анализируют данные тестирования для коррекции теста. В итоговом контроле в целях повышения качества образования и выявления тенденций в изменении качества интерпретации подвергаются шкалированные баллы учащихся. В текущем контроле педагоги анализируют результаты тестирования, для коррекции процесса обучения и диагностики причин отставания отдельных учеников и т. д. Случаи неправильной или упрощенной интерпретации данных тестирования встречаются при анализе, проводимом без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты выполнения тестов. Наблюдаемые по данным, тестирования отставания, в итоговых результатах групп учащихся отдельных школ района могут быть следствием неучтенной слабой материально-технической оснащенности учебного процесса, низкой квалификации преподавательского состава, высокого уровня безработицы среди родителей учащихся, а также ошибок при формировании выборочной совокупности учеников для проведения анализа результатов. Результаты интерпретации, получаемые путем намеренного исключения из анализа данных тестирования результатов слабых, учащихся, могут быть искусственно завышены. Некорректная интерпретация данных тестирования в целом приводит к возникновению недоверия к возможностям тестов. Особенно это относится к тем педагогам и руководителям, чья деятельность незаслуженно получает негативные оценки. Уровни интерпретации результатов тестирования. В тех случаях, когда рассматриваются результаты не тестирования в школе или отдельном классе, а национальных экзаменов типа ЕГЭ, можно выделить несколько уровней интерпретации результатов учащихся, определив права доступа каждой группы пользователей к различным видам информации. В.частности к таким группам пользователей следует отнести: - общество, учащихся и их родителей; - педагогов, директоров школ;. - руководителей и работников органов управления образованием районного уровня; - руководителей и работников органов управления образованием регионального (областного), уровня; - руководителей и работников органов управления образованием федерального уровня. Модели для анализа и интерпретации данных тестирования. Зарубежные специалисты по измерениям в образовании полагают, что корректное использование результатов тестирования и повышение справедливости управленческих оценок достигаются на основе применения динамических моделей для анализа данных в сочетании с лонгитюдными измерениями [80]. Неоднократное тестирование учащихся на протяжении определенного периода обучения, позволяющее оценивать скорость приросте учебных достижений, а затем сопоставлять школы на основе средних скоростей прироста, дает более достоверные оценки качества образования по сравнению с одноразовыми измерениями. Интерпретация данных тестирования, отражающая динамику изменения качества подготовленности учащихся, менее восприимчива к просчетам при формировании выборочных данных для анализа и косвенно принимает во внимание начальные (входные) данные учеников. Влияние репрезентативности выборки на обоснованность интерпретации результатов тестирования. Репрезентативность выборки является важнейшим фактором, влияющим на обоснованность интерпретации результатов тестирования и качество измерений. На федеральном уровне для формирования репрезентативной выборки выпускников школ регионов необходимо определить генеральную совокупность, включающую всех выпускников текущего года в средних учебных заведениях общего образования Российской Федерации. Затем следует выделить основания по стратификации выборки (например, регион, район, центр региона, город разного типа, поселок, село, школа) и построить планируемую репрезентативную выборку из генеральной совокупности учащихся России, собирая сводную статистику по отдельным стратам. Требования к использованию результатов тестирования в управлении качеством образования. Проблему использования результатов тестирования в управлении качеством образования лучше всего рассмотреть на примере ЕГЭ. В последнее время в ряде регионов предпринимаются отдельные попытки интерпретации данных ЕГЭ для анализа различных проблем, связанных с качеством образования. Корректная интерпретация результатов ЕГЭ в первую очередь зависит от правильной постановки основной цели их использования в управлении качеством образования. Процесс управления предполагает целенаправленную деятельность по повышению эффективности системы образования и всех ее компонентов. Поэтому приоритетными целями использования результатов тестирования на разных уровнях управления являются анализ, распространение и внедрение в практику функционирования образовательной системы России лучших технологий, опыта и методов работы всех субъектов системы, выявленных на основе анализа и интерпретации результатов ЕГЭ. Таким образом, данные по всем уровням анализа результатов тестирования должны оказывать позитивное воздействие на систему образования путем управленческой, методической и финансовой помощи отстающим образовательным учреждениям, а также внедрения в практику их работы лучшего опыта отечественного образования. При использовании результатов тестирования в управлении качеством образования необходимо обеспечить сопоставимость результатов выпускников школ по годам, которая требует выполнения ряда специальных требований со стороны теории педагогических измерений к содержанию тестов, их статистическим характеристикам и используемым методам шкалирования результатов учащихся. Помимо этого сопоставимость регламентирует определенные правила анализа данных тестирования для пользователей в управлении качеством образования. В частности для обеспечения сопоставимости данных по годам управленцам необходимо учитывать многие дополнительные факторы, отслеживать их изменение на протяжении анализируемого временного промежутка и их влияние на качество образования. Для каждого уровня управления и региона необходимо выявить основные показатели, быстро изменяющиеся с течением времени. Таким образом, среди показателей — характеристик качества учебного процесса, кадрового состава, форм и методов дополнительного образования, уровня образованности и обеспеченности родителей учащихся, их социального статуса, миграционных процессов среди населения России и др. — необходимо выделить главные факторы, наиболее существенно влияющие на качество образования в данном регионе. При выполнении прочих условий, предъявляемых теорией педагогических измерений, сопоставление результатов тестирования по годам на каждом уровне управления возможно лишь в ситуации равенства главных факторов. Надежность и генерализуемость данных тестирования. Для принятия эффективных управленческих решений необходима высокая объективность и обоснованность информации, базирующейся на результатах измерения. Среди управленцев и педагогов, использующих результаты тестирования, может сформироваться мнение о том, что надежность данных педагогических измерений является проблемой разработчиков тестов. Эта точка зрения верна лишь отчасти, поскольку надежность является составной частью более общей теории генерализации данных педагогических измерений. Теория генерализации обосновывает качество широкого диапазона компонентов измерений: самих тестов, шкал учебных достижений, моделей измерения, процедур проведения тестирования, методов обработки результатов, поведения экзаменаторов и экспертов и многих других компонентов процессов тестирования, влияющих на величину ошибки при принятии определенных управленческих решений [80]. Помимо этого теория генерализации обеспечивает оценку возможности распространения результатов тестирования, полученных на выборочной совокупности выпускников, на генеральную совокупность выпускников России или региона. В этой связи перед принятием административных решений на региональном и федеральном уровнях образования по данным тестирования необходимо оценить их генералиэуемость, которая характеризует возможность обобщения различных тенденций в образовании, выявленных при интерпретации результатов выполнения тестов. Последовательность работ по использованию результатов тестирования. Использование результатов тестирования для управления качеством образования должно включать определенные этапы, к которым относятся: . -выбор целей анализа и интерпретации результатов тестирования; ... - определение объектов и уровней анализа; - выбор показателей качества и переменных измерения; - построение репрезентативных групп испытуемых вероятностно-пропорциональным методом для формирования матриц эмпирических данных тестирования; . -формирование мафии эмпирических данных по испытуемым выборки; - планирование и проведение дополнительного эксперимента для сбора эмпирических данных (если есть потребность согласно задачам исследования); - выбор фасетов, формирование дизайна исследования для оценки генерализуемости эмпирических данных (на федеральном или региональном уровнях анализа); - оценка коэффициентов генерализации для данных тестирования (на федеральном или региональном уровнях анализа) и эмпирических данных дополнительного эксперимента (если они есть); - оценка надежности и валидности эмпирических данных; - применение количественных (качественных) методов или их сочетания для анализа и обработки эмпирических данных; - интерпретация результатов обработки; - подготовка выводов и рекомендаций для принятия управленческих решений в целях повышения качества образования. Среди перечисленных этапов трудно выделить менее или более важный. Все они обязательны в ситуации принятия административных управленческих выводов на муниципальном, региональном или федеральном уровнях управления качеством образования. При использовании результатов тестирования в школе, и тем более я классе, часть этапов можно опустить. В частности в школе по результатам тестирования могут быть построены радиальные диаграммы для сравнительного анализа тематической структуры усвоения содержания, учебной дисциплины отдельными учащимися (на уровне класса или всей школы). Для различных групп учащихся может быть проведено сравнение результатов со средними баллами по школе или по району, а также установлена степень затруднений или успешности обучения отдельных учашихся или целых классов, выявлены слабо усвоенные разделы предметов и причины таких отставаний и т.д. Для муниципального уровня управления качеством образования с учетом временного фактора можно проследить динамику среднего балла по районам и по различным предметам, провести рейтинг внутри районов города и другие сравнительные исследования. В целом следует отметить, что разработка методики использования результатов, тестирования для управления качеством образования - актуальная задача, поскольку в настоящий момент в условиях множества учебных программ, допущенных к использованию, и многообразия школ система управления качеством образования нуждается в проведении, различных сравнительных исследований. Различаются квалификации преподавателей, условия учебного процесса, в том числе и бытовые, комплектность школ, национальный и гендерный состав и др. Согласно международным исследованиям, все эти факторы серьезным образом сказываются на качестве подготовки выпускников учебных заведений. Поэтому принятие обоснованных управленческих решений сегодня невозможно без использования данных педагогических измерений.
|