Лекция 9. Содержание педагогического теста.

1. Целеполагание при планировании содержания педагогического теста.

2. Планирование содержания педагогического теста.

3. Экспертиза качества содержания теста.

1. Целеполагание при планировании содержания педагогического теста

Общие замечания. Содержание теста формируется путем ото­бражения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использо­вать определенную методику, включающую вопросы целеполагания, планирования и оценки качества содержания теста.

В содержании теста стараются отобразить то главное, что долж­ны усвоить ученики, поскольку все результаты обучения прове­рить невозможно. Для этого прежде всего необходимо структури­ровать цели обучения и ввести определенную их иерархию. Таксономия целей, используемая при разработке теста, должна носить предметно-ориентированный характер, поскольку каждая дисцип­лина имеет свои приоритеты. При построении таксономии иногда ограничиваются простым перечислением целей обучения, как в примере, рассмотренном в следующем разделе.

Таксономии целей обучения. В настоящее время наиболее изве­стной является таксономия целей Б.С.Блума (В. S.Bloom) [70]. Дан­ная таксономия очень технологична и с точки зрения большин­ства разработчиков педагогических тестов вполне приемлема для целей тестирования. В частности в своей классификации Б.С.Блум выделяет:

- знание названий, имен, фактов;

- знание определений и понимание их смысла;

- сравнительные, сопоставительные знания;

- классификационные знания;

- знание противоположностей, противоречий, синонимичных и антонимичных объектов;

- ассоциативные знания;

- причинные знания;

- алгоритмические и процедурные знания;

-оценочные знания и т.д.

В 90-е гг. XX в. таксономия Б.С.Блума подвергалась значитель­ной критике в связи с неполным отражением современных дос­тижений в области психологии обучения и отсутствием связи с классификацией видов познавательной деятельности учащихся. К числу ее недостатков зарубежные исследователи отнесли из­лишнюю упрощенность, не позволяющую использовать современ­ные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими мо­дели [60]. В нашей стране таксономия Б.С.Блума также неодно­кратно критиковалась в основном в связи с тем, что в ней про­изошло методологически недопустимое смешение конкретных ре­зультатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).

Новая концептуальная модель целей обучения, предложенная К.Бигсом и Д.Коллисом (С.Biggs and D.Collis), получила назва­ние СОЛО-таксономия (SOLQ – Structure of the Observed Learning Outcomes). В ней содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различ­ные ее уровни в концептуальной модели содержания теста. Спектр уровней познавательной деятельности, представленный в СОЛО-таксономии, достаточно широк: от воспроизведения фактов и про­стейших алгоритмов до разнообразных интеллектуальных и прак­тических умений, базирующихся на теории Ж.Пиаже об этапах развития познавательной деятельности. Данная таксономия имеет иерархическую структуру, поэтому ее удобно использовать как для разработки инструментария, так и при интерпретации резуль­татов педагогических измерений [28].

В основу планирования содержания тестов может быть поло­жен уровневый системный подход описания достижений учащихся, разработанный учеными отечественной педагогической школы и позволяющий сгруппировать результаты обучения в зависимости от уровней учебной деятельности. Первый уровень связан с непосредственным воспроизведением по памяти содержания изу­ченного материала и его узнаванием. Второй уровень пред­полагает понимание и применение знаний в знакомой ситуации по образцу, а также выполнение действий с четко обозначенны­ми правилами. Третий уровень включает использование зна­ний в измененной или незнакомой ситуации (И.Я.Лернер, В.П.Беспалько и др.) [7; 33]. Использование уровневого подхода будет более эффективно, если связать уровни усвоения учебного материала с характеристиками внешней деятельности учащегося, задав требования к ее проявлению (табл. 2).

Таблица 2

Требования к внешней деятельности учащегося

Целеполагание на этапе планирования содержания теста. В отли­чие от содержания традиционных средств контроля, которое фор­мируется в основном интуитивно на основании практического опыта, отбор содержания теста имеет четкую целевую направлен­ность.

При планировании содержания контроля в методической ли­тературе рассматривают систему изучаемых объектов, виды учеб­ной деятельности и характеристики качества усвоения учебного материала. Описание объектов изучения обычно дается с учетом глубины их освещения учителем и планируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была пред­ложена общепредметная схема, организующая множество объек­тов изучения в определенную структуру на основе морфологи­ческого и функционального анализа содержания предметов [32]. К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о спо­собах деятельности, методологические и оценочные знания и др.

В основу классификации и систематизации видов учебной дея­тельности можно положить структурированные умения, предложенные И.И.Кулибабой. К ним относятся:

- специальные умения, формирующиеся в процессе изучения отдельных учебных предметов;

- общие умения по организации рационального учебного тру­да, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и орга­низовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;

- интеллектуальные умения, представляющие собой ядро учеб­ной деятельности и объединяющие все учебные предметы.

Характеристики качества усвоения учебного, материала можно рассматривать на различных уровнях. Первый уровень – пла­нирование обучения, когда определенные представления о пла­нируемом качестве подготовки закладываются в образовательные программы по каждому предмету. Второй уровень обычно ассоциируется с этапом реализации образовательных программ в учебном процессе, а третий уровень связывается с оценкой качества результатов учебного процесса.

Обобщение результатов ряда отечественных научно-методичес­ких работ позволяет говорить о различии в подходах при трактов­ке качества результатов учебного процесса. В одних случаях кате­горию качества отождествляют с полнотой знаний и их глубиной. В других случаях под качеством знаний понимают степень их обоб­щенности или системности, конкретности и осознанности. Ино­гда приоритет отдают логичности изложения материала, рацио­нальности способов и приемов решения учебных задач. В практике обучения чаще всего встречается упрощенная ситуация, когда зна­ния обучаемого считают качественными, если он выполняет за­дания повышенной сложности из числа тех, что предлагаются при контроле в классе.

Возможность оценки качества подготовки как результата обу­чения в 60—80-е гг. XX в. в отечественной научной школе подвер­галась сомнению. По мнению критиков, представление о качестве подготовки должно ассоциироваться с внутренним состоянием обу­чаемого, в то время как результаты обучения проявляются во внеш­них, наблюдаемых признаках и результатах учебного процесса. Состоятельность подобных критических суждений легко опровер­гается в наши дни благодаря достижениям теории педагогических измерений и современной теории тестов IRT.

Идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений. По на­блюдаемым результатам теста с той или иной степенью точности пытаются сделать вывод о внутренних устойчивых характеристи­ках – латентных параметрах подготовленности учащихся. При конт­роле совершается обратный ход, поскольку на деле именно мно­жество этих параметров испытуемых в процессе взаимодействия с множеством заданий порождает наблюдаемые результаты выпол­нения теста. Использование математических моделей измерения теории IRT, соединяющих оба множества и устанавливающих меж­ду ними функциональную связь, позволяет решить проблему оцен­ки качества подготовки испытуемых и перейти к оценкам пара­метров учащихся путем специальной обработки результатов педа­гогических измерений.

Операционализация и конкретизация планируемых результатов обучения. Корректное планирование содержания теста затрудняют излишняя общность, расплывчатость, многообразие и неопреде­ленность формулировок образовательных целей. Поэтому для со­здания тестов необходима предварительная конкретизация и операционализация планируемых результатов обучения.

Процесс операционализаиии заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [60]. Идея операцйонализации очень близка положениям М.В.Кларина и зарубежных авторов Т.Кубисзина и Г.Борича (T.Kubiszyn, G.Borich), которые используют иной, довольно удачный термин «конкрети­зация» [27].

Конкретизация, по мнению М.В.Кларина, должна начинать­ся с описания воздействия обучения на ученика, прояснения ха­рактера воздействия и детализации его результатов. Поэтому про­цесс конкретизации требует характеристики образовательных ус­ловий, выявления внутренних параметров учащихся, их способ­ности к усвоению нового учебного материала и описания резуль­татов образовательного процесса. Повышению конкретизации опи­сания результатов учебной деятельности, по мнению М.В.Кла­рина, способствует использование ряда глаголов, непосредствен­но характеризующих действия ученика.

Для конкретизации учебных целей исследователь предлагает применять следующие глаголы: «анализировать», «вычислять», «высказывать», «демонстрировать», «знать», «интерпретировать», «использовать», «оценивать», «понимать», «преобразовывать», «применять», «создавать» и т.п.

Для конкретизации целей творческого типа – «варьировать», «видоизменять», «модифицировать», «перегруппировать», «пере­строить», «предсказать», «поставить вопрос», «синтезировать», «систематизировать» и т.п.

Для обозначения целей в области развития устной и письмен­ной речи – «выделить», «выразить в словесной форме», «запи­сать», «обозначить», «подчеркнуть» (в смысле выделить), «про­декламировать», «произнести», «прочитать», «разделить на состав­ные части», «рассказать» и т. п.

Процесс операционализаиии характеризуется рядом этапов, которые схематично изображены на рис. 16.

Рис. 16. Этапы операционализации результатов обучения

После выполнения всех этапов планируемые результаты обу­чения представляются в виде совокупности контрольных заданий теста. На этой стадии операционализация позволяет структуриро­вать, расчленять, а иногда и наоборот, укрупнять, уточнять и детализировать содержание дисциплины для его отображения в со­держании теста. Именно этот этап обеспечивает переход от теоре­тического уровня анализа целей обучения к эмпирическому и по­зволяет концептуально правильно подойти к выделению эмпирических индикаторов – заданий теста.

2. Планирование содержания теста

Модели планирования. В процессе планирования содержания теста становится понятным, что далеко не весь набор целей обу­чения по разным причинам можно отобразить в тесте. Конечно, чем глубже и полнее отображение, тем выше содержательная валидность теста, тем больше оснований доверять тестовым баллам учащихся. Однако на практике приходится думать не только о тре­бованиях тестовой технологии, но и о реальных возможностях школьников определенного возраста, которые в процессе выполнения теста не должны испытывать излишнего напряжения и ус­талости. В этой связи набор целей обучения необходимо структу­рировать и выделит самые важные цели, которые должны обяза­тельно попасть в тест.

Структуризация целей различного уровня иерархии позволяет уточнить определенные предметные области, разделы и темы, содержание которых необходимо отразить в тесте. Знание, предмет­ных областей выражается правилами измерения с перечислением элементов содержания в совокупности с желаемыми, планируе­мыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения конкретизируются. В результате воз­никает прагматическое определение знания учебной дисципли­ны, когда испытуемый должен правильно выполнить определен­ные задания теста.

Особые сложности в оценке учебных достижений вызывает выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабоалгоритмизируемы, слож­ны, неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим. Из апробированных на практике в настоящее время наибольшее применение находит трехмерная модель планирования теста, вклю­чающая содержание, технологические требования и планируемый уровень познавательной деятельности, необходимый для выпол­нения заданий теста [35].

Первая составляющая модели – содержание – обес­печивает содержательную вадидность инструментария, его соот­ветствие учебным программам. Под второй составляющей модели – технологическими требованиями – в основном по­нимается используемый тип заданий. Необходимость введения вто­рой составляющей появилась сравнительно недавно в связи с рас­ширением применяемых форм заданий теста. Помимо традицион­ных заданий с выбором ответа используются задания со свобод­ным ответом как в краткой, так и в развернутой форме, экспери­ментальные задания и др. Третьей составляющей модели является уровень осуществляемой познавательной деятельности, на оценку которого направлено измерение.

Спецификация теста. После определения целей тестирования и их конкретизации разрабатывается спецификация теста. Для этого делается примерная раскладка процентного, соотношения содер­жания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.

Раскладку начинают с подсчета планируемого исходного чис­ла заданий в тесте, которое в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число заданий по математике или физике для учащихся старших классов не превышает 20—30, а по гуманитар­ным наукам нередко доходит до 60—80. Оптимальное время тес­тирования зависит от многих факторов: целей тестирования, воз­раста учащихся, подхода к разработке теста, специфики контролируемого содержания и т.д. Как правило, в старших классах это время составляет от 1,5 до 2 часов. В ЕГЭ, например, на выполне­ние теста по математике в 2006 г, отводилось 4 астрономических часа, а на тест по русскому языку – 3.

В спецификации теста обязательно фиксируется структура, со­держание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутой форме, содержащей дополнительные сведения о тесте. Спецификация в развернутой форме включает:

1) цель создания теста, описание подхода к его созданию и возможных сфер применения теста;

2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.) и пере­чень учебников, используемых при планировании содержания теста;

3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием, подходов к их разработке;

4) число заданий различной формы с указанием ключей отве­тов и оценочных правил для заданий со свободно конструируе­мыми ответами;

5) число параллельных вариантов теста;

6) вес каждого задания, рекомендуемый автором теста, в об­щей оценке результатов выполнения теста;

7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с уче­том специфики формы;

8) соотношение заданий по различным разделам и видам учеб­ной деятельности;

9) рекомендации по контингенту учащихся для апробации те­ста;

10) характеристику полноты охвата требований ГОС (в про­центах) и перечень требований ГОС, не вошедших, в тест;

11) рекомендуемую автором стратегию расположения заданий в тесте.

Один из наиболее распространенных подходов к созданию крат­кой спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным раз­делам или содержательным линиям проверяемой дисциплины в тесте (пункт 8 развернутой спецификации). Гипотетический при­мер реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 3. В нее включен перечень знаний и умений по четырем содержательным разделам.

Таблица 3

Содержательный план теста

Примечание. А – знание понятий, определений, терминов; В – знание законов и формул; С – умение применять законы и формулы для решения задач; D – умение интерпретировать результаты на графиках и схемах; Е – умение проводить оценочные суждения.

Подобного рода перечень знаний и умений, ориентированный на конкретную дисциплину, составляется всегда при планирова­нии содержания теста. Естественно, что в приведенный перечень знаний и умений необходимо ввести некоторые пропорции сообразно тем акцентам, которые делаются преподавателем в учебном процессе.

Для заполнения таблицы было выбрано 60 заданий в качестве первоначальной длины теста. Доля каждого из разделов в процен­тах указана в табл. 3. Конечно, при заполнении таблицы в распре­делении заданий удается лишь приближенно отобразить пропор­ции разделов. К тому же числа вписываются не во все ячейки (на­пример, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком прибли­женном видении обшей раскладки заданий есть огромная польза для разработки теста. Спецификация может также содержать процентное соотношение заданий, планируемое сообразно пропорциям разделов и видам предполагаемой деятельности испытуемого в процессе выполнения теста.

Естественно, что в процессе работы над тестом первоначаль­ная раскладка заданий будет претерпевать всяческие изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования теста. Поэтому после коррекции теста необходима доработка спе­цификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

Общие принципы отбора содержания теста. Общие принципы отбора содержания теста способствуют обеспечению высокой со­держательной валидности теста [60]. Первый принцип – принцип репрезентативности – регламентирует процедуру отбора содер­жания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста.

Второй принцип – принцип значимости – предписывает вклю­чать в тест наиболее значимые элементы содержания, относящи­еся к опорным темам курса. Выделение опорных элементов требу­ет структурирования содержания предмета перед его отбором в тест.

Третий принцип – принцип системности – предполагает под­бор упорядоченных содержательных элементов, связанных между собой определенной иерархией и обшей структурой знаний. При соблюдении этого принципа тест можно использовать не только для выявления уровня учебных достижений, но и для оценки ка­чества структуры знаний учеников.

После планирования содержания теста и его отбора начинает­ся наиболее ответственный этап создания предтестовых заданий, по окончанию которого проводится экспертное оценивание со­держательной валидности теста.

3. Экспертиза качества содержания теста

Методика экспертизы. Оценка качества содержания теста дол­жна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. К экспертизе привлекаются наиболее опытные учителя, имею­щие большой стаж работы с теми учащимися, для которых в ко­нечном итоге предназначен тест.

Методика экспертизы качества содержания теста обычно вклю­чает, три раздела, которые выстраиваются сообразно трем направ­лениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, мнениями по его структуре, целями создания теста.

Направления работа экспертов. Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по этому направлению эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора (для заданий с выбором ответа) и анализируя оценочные категории, представленные автором (к заданиям со свободно конструируемым ответом). Особое внимание следует обратить на возможную неоднозначность, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.

В процессе экспертизы определяется также уровень базовости содержания каждого задания, который, в определенной степени, является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные. В том случае, когда задание проверяет степень достижения требований ГОС на минимальном уровне, достаточном для выставления оценки «удовлетворителъно», оно считается соответствующим первой группе базовых. Ко второй группе относятся задания, правильное выполнение которых позволяет выставить ученику хорошие и отличные оценки. И, наконец, в третью группу включаются задания, рассчитанные на проверку творческих аспектов подготовки школьников, выполнение которых позволяет судить не только об уров­не и о качестве подготовки.

Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения учащимся со средним, уровнем подготовленности, а также находит логически некорректные задания, нуждающиеся в коррекции. Особенно важно в процессе экспертизы выявить случаи отсутствия четкого логи­ческого выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спрашивать о чем-либо одном. Попытки проверить сразу несколько аспектов подго­товленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста.

При экспертизе также следует охарактеризовать качество формулировок заданий теста, отметить (в случае необходимости) лек­сическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий.

Второе направление работы эксперта связано с анали­зом качества содержания всего теста. При выполнении работ по этому направлению эксперт должен оценить степень отображе­ния требований, ГОС в тесте, правильность пропорций содержа­ния теста и их соответствие спецификации теста. Простой оценки полноты охвата требований недостаточно, необходима также уверенность в том, что задания теста затрагивает все важные ас­пекты предметной области и в правильной пропорции. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по кото­рым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фак­тологических знаний, и потому эти задания нередко преоблада­ют в тестах.

Третье направление работы эксперта рассчитано на под­готовку обобщающих выводов и рекомендаций по улучшению со­держания теста. В третьем разделе рецензии эксперт высказывает свое общее впечатление о содержании теста. Здесь должны быть представлены все сомнения эксперта и его рекомендации авто­рам по коррекции теста. Возможна оценка соотношения зада­ний, проверяющих знание теории предмета и его практики. Же­лательно особо отметить задания, предназначенные для проверки системы понятий, а также задания интегрального характера, по­зволяющие оценить умения учащихся обобщать знания по раз­личным разделам предмета, задания с межпредметными компо­нентами и т.д.