Лекция 6.Тестирование в психологии и в образовании.

1.      Взаимосвязь и различие педагогических и психологических измерений.

2.       Современные исследования по проблемам тестирования в образовании.

3.      Тесты и учителя.

1. Взаимосвязь психологических и педагогических измерений.

Вза­имодействие психологов и педагогов в области разработки тестов имеет свои исторические причины и научные предпосылки. В на­учном плане оно предопределено близостью методологий измере­ний в эмпирических науках и единством методик разработки тес­тов, общностью объекта исследования, тесной взаимосвязью и частичным пересечением субъектов измерения. Исторические ас­пекты этого взаимодействия обусловлены особенностями станов­ления теории педагогических измерений, сложившимися за рубе­жом в 20 — 40-е гг. XX в. В то время потребность в стандартизиро­ванных педагогических тестах постоянно увеличивалась, а сооб­щество тестологов в сфере образования практически еще не сложилось, поэтому психологи зачастую привлекались к работе над педагогическими тестами.

В наши дни область совместных работ педагогов и психологов расширяется. Во многих учебных заведениях в России и за рубе­жом работают психологи, создаются специальные службы кон­сультирования школьников и студентов. В их функции входит не только психологическая поддержка учащихся в проблемных ситу­ациях, но и участие в проведении мониторинга, анкетных опро­сов и в подготовке учебного заведения к государственной аттеста­ции. Педагоги, в свою очередь, проявляют интерес к оцениванию способностей обучающихся, когнитивных аспектов подготовлен­ности, психологических особенностей учащихся в усвоении зна­ний и нередко выполняют свои исследования на стыке психодиагностики и измерений в образовании.

Тенденция вхождения психологов в педагогические измерения в нашей стране наметилась в середине 90-х гг. XX в. В это время возрос интерес к педагогическим тестам, и отсутствие тестологов в образований ощутилось особенно остро. Образовавшийся кадро­вый вакуум в значительной степени заполнили психологи. Попут­но, сами того не желая, они привнесли в образовательную среду устойчивые представления о тестах как о наборе довольно триви­альных по содержанию заданий, носящих косвенный характер и имеющих форму с выбором ответа. Преодолению искаженного представления о тестах способствует эксперимент по введению ЕГЭ. Однако, несмотря на то что он начался еще в 2001 г., мно­гим пользователям до сих пор неизвестны широкие возможности педагогических тестов.

Различия между психологическими и педагогическими тестами.

 Несмотря на имеющиеся точки соприкосновения, между педаго­гическими и психологическими тестами есть существенные раз­личия. Подробно они представлены в книге А.Анастази [1]. В част­ности автор обращается внимание на то, что педагогические тес­ты оценивают результаты усвоения общего для всех обучаемых программного курса, а психологические – отражают индивиду­альное восприятие жизненного опыта, различающегося по социальным и экономическим условиям его приобретения.

Результаты тестирования в психологии используются в основном для прогнозирования успешности какой-либо деятельности в зависимости от оценок личностных характеристик и склонно­стей или носят рекомендательный характер при выявлении лич­ностных проблем. Педагогические тесты в итоговом контроле дают количественные оценки уровня подготовленности обучаемых, ко­торые нередко служат основой для принятия, административно-управленческих решений в образовании, поэтому к качеству ре­зультатов педагогических измерений и их сопоставимости долж­ны предъявляться повышенные требования, обеспечивающие корректность управленческих выводов и административных ре­шений.

Внешние различия между тестами в психологии и в образова­нии проявляются в формулировках заданий, которые в педагоги­ческих тестах всегда носят прямой, а в психологических тестах, чаще всего, косвенный характер. Например, в психодиагностике встречаются ситуации, когда неправильные ответы испытуемых расцениваются как положительные характеристики их личности, а правильные, наоборот, свидетельствуют о необходимости при­нятия коррекционных мер. Иногда границы между тестами стира­ются, особенно в тех случаях, когда педагогические тесты выступают в качестве предикторов успешности профессиональной дея­тельности или нацелены на проверку, логического мышления и творческих способностей учащихся. Ha существующее сходство между измерителями в психологии и в образовании обычно ука­зывает высокая корреляция, которую можно оценить по эмпирическим результатам выполнения тестов.

 2. Современные исследования по проблемам тестирования в образовании.

Исследования в России в конце XX — начале XXI в. Развитие научных исследований по проблемам педагогических измерений в России тесно связано с расширением сферы их приложения, поэтому период активизации исследований по тестовой проблематике совпал с началом эксперимента по введению ЕГЭ и повсе­местным созданием в вузах России систем менеджмента качества образования

В конце XX — начале XXI в. появились исследования по тестам и смежной проблематике В.С.Аванесова, Т.М.Балыхиной, Н.Ф.Еф­ремовой, И.И.Легостаева, А.А.Макарова, Е.А.Михайлычева, В. Г.Наводнова, В. П.Панасюка, В. Ю.Переверзева, И.Д.Рудинского, М.Б.Челышковой и др.

С конца 90-х гг. XX в. вплоть до настоящего времени из года в год растет число монографий, учебных пособий, статей и методичес­ких работ по вопросам измерений и тестирования в образовании. В целом современные исследования отечественных ученых по проблемам измерения и тестирования в образовании осуществля­ются по пяти направлениям. К ним относятся: 1) разработ­ка научных подходов к совершенствованию содержания измерителей в контексте современных трактовок качества учебных достижений; 2) разработка теоретико-методологического и 3) ме­тодического обеспечения процесса конструирования надежных и валидных тестов; 4) научное обоснование процедур применения тестов; 5) научное обоснование шкалирования данных тестирования и их интерпретация для применения результатов педагогических измерений в управлении качеством образования.

Несомненный интерес представляют также анализ и психолого-педагогическая интерпретация латентных характеристик под­готовленности выпускников, развитие моделей содержательной преемственности тестовых материалов для итогового контроля на различных ступенях обучения (предшкольное, начальное, основ­ное, среднее, высшее), необходимость разработки которых резко возросла в наше время в связи с созданием Общероссийской си­стемы оценки качества образования (ОСОКО).

К перечисленным направлениям исследований примыкает работа по формированию репрезентативных выборок учащихся для проведения мониторинговых исследований, для выравнивания шкал по параллельным вариантам тестов, разработке моделей и технологий информационного сопровождения тестирования, хра­нения и автоматического формирования тестов и др.

Проведение исследований по выделенным направлениям в на­шей стране, безусловно, позволит значительно повысить каче­ство используемых в образовании измерителей и тем самым будет способствовать повышению качества образования.

Основные направления современных зарубежных исследований по проблемам измерения и тестирования.

В современных зарубеж­ных исследованиях в теории педагогических измерений к приори­тетным направлениям исследовательских работ относятся:

- развитие методологии сочетания качественных и количествен­ных методов при эвалюации в образовании;

- оптимизация методов интеграции данных педагогических из­мерений, полученных с помощью инновационных форм заданий тестов;

- развитие параметрических и непараметрических моделей IRT;

- разработка методик, алгоритмов и математико-статистического аппарата теории педагогических измерений для создания программного обеспечения и практического использования но­вых моделей IRT;

- исследования психологических и этических проблем в тести­ровании;

- разработка научно-методических подходов к построению уровневых шкал в образовании, разработка новых методов выравни­вания;

- развитие специальных процедур и подходов для выявления размерности пространства измерений и ее адекватности постав­ленным целям тестирования и т.д.

Многие зарубежные исследования посвящены аппарату и ме­тодам теории IRT, которая широко используется в практике тес­тирования. Работу педагогов значительно облегчают многочислен­ные программно-инструментальные и программно-педагогичес­кие продукты, реализующие алгоритмы IRT для оценки результа­тов испытуемых и конструирования новых тестов. К числу наибо­лее интересных, созданных мировым лидером в компьютерном тестировании Assessment Systems Corporation (ASC), можно отнести такие программы, как RASCH, RASCAL, Quest, ConQuest, a также программы XCALIBRE, ASCAL, LOGIMO, MSP, PARELLA и многие другие [76; 79]. Некоторые из разработок корпорации ASC, например MieroCAT, CAT, позволяют реализовывать адаптивные варьирующие алгоритмы с переменным шагом и осуще­ствлять процессы генерации адаптивных тестов.

Таким образом, в XXI в. за рубежом теория IRT заняла лидиру­ющее положение в сфере конструирования и применения педаго­гических тестов, а результаты, полученные такими исследовате­лями, как Ф.Лорд (F.M.Lord), M.Новик (M.Novick), Е.Самеджим (E.Samejima), Д. Вэйс (D.Weiss), Б.Райт (B.Wright), Ури (Urry) и др., внедрены в практику разработки и применения тестов [82; 83].

 3. Тесты и учителя

Причины затруднений учителей при работе с тестами. Использо­вание тестовых методик предполагает наличие определенных усло­вий, которые имеются далеко не во всякой школе. Прежде всего требуются сами тестовые задания, разработка которых не может быть инициативной работой одного учителя в ущерб своему сво­бодному времени. Желательно, чтобы в создании тестов принима­ли участие почти все преподаватели школы, чтобы они обменива­лись своими достижениями, совместно преодолевали трудности и получали благодаря поддержке администрации денежное вознаг­раждение за свою дополнительную работу. Необходимо также иметь программно-инструментальное обеспечение для ведения баз дан­ных тестирования, хранения банков заданий, выдачи заданий уча­щимся в компьютерной форме или распечатки заданий на бланках и обработки данных тестирования. Как уже отмечалось, перечис­ленные условия есть далеко не во всех учебных заведениях, поэто­му нередки случаи, когда по возвращении в школу после очеред­ного повышения квалификации по тестовым методикам учитель сразу забывает все, чему научился, и включается в повседневный учебный процесс.

Считается, что педагогам с гуманитарной базовой подготов­кой трудно освоить содержание курса по педагогическим измере­ниям, в котором используется математико-статистическое обо­снование качества тестов. Если вы недостаточно сильны в матема­тике и боитесь не освоить методики разработки и применения тестов, то ваши опасения необоснованны. Многолетний опыт пре­подавания курса по теории и практике конструирования тестов, накопленный авторами этой книги при работе с преподавателя­ми средней и высшей школы, свидетельствует о том, что отсут­ствие специальных знаний по математике не является препятствием в освоении этого курса.

При изложении материала в нем используется основной набор математических действий – сложение, вычитание, умножение и деление, а простейшие понятия математической статистики лег­ко усваиваются всеми педагогами вне зависимости от базового образования по мере изложения методик разработки и примене­ния тестов.

Какие тесты необходимо разрабатывать и применять всем учи­телям? Без сомнения, математико-статистический аппарат, ис­пользуемый профессионалами в полном объеме при разработке тестов для административно-управленческих решении, довольно сложен, но он учителям и не нужен. В основном в учебном процес­се используются тесты для входного и текущего контроля, не нуж­дающиеся в серьезном статистическом обосновании. От разработ­чиков таких тестов требуется лишь владение методикой отбора со­держания, знание требований к тестовым формам и простейших показателей дескриптивной статистики, необходимых для выпол­нения основных требований к качеству теста. Поскольку на тесты для текущего контроля приходится основная доля по времени и объему использования, то будет верным считать, что учитель – ключевая фигура в разработке и применении педагогических тес­тов

Факторы, влияющие на интерпретацию результатов тестирова­ния. Помимо разработки тестов для текущего контроля учителю также нужно обязательно овладеть методикой применения педа­гогических тестов, интерпретацией их результатов, в первую оче­редь, для разъяснения родителям учеников проблем и трудно­стей, с которыми сталкиваются их дети. Такая интерпретация не может иметь изолированный, полностью беспристрастный харак­тер. На нее оказывают влияние многочисленные факторы и сопутствующие элементы социально-экономической среды, окружаю­щей учащихся, учителя, класс и в целом школу (см. рис. 1).

Рис. 1. Важнейшие факторы, влияющие на интерпретацию результатов педагогического тестирования:

РОУОРУ – руководители органов управления образованием районного уровня;

СУМ – сообщество учителей микрорайона;

ФОУО – федеральные органы уп­равления образованием

Результаты тестирования влияют на отношения педагога с уча­щимися и их родителями и на его статус в профессиональном сообществе. Поэтому умения применять педагогические тесты, шкалировать и интерпретировать результаты их выполнения необходимы каждому учителю для самооценки эффективности сво­ей работы, выявления в ней слабых мест и поиска факторов про­фессионального роста. Игнорирование или отрицание потребно­сти в тестировании не отменят эту потребность, поэтому, учиты­вая, что педагог работает в условиях ограниченного времени, пра­вильнее было бы начать осваивать разработку и применение тес­тов еще в студенческие годы, до начала педагогической деятель­ности.