Лекция 11. Компьютерное тестирование в образовании.

1.      Специфика компьютерного тестирования и его формы.

2.      Инновационные формы тестовых заданий при компьютерном тестировании.

3.       Компьютерное адаптивное тестирование.

4.      Online-тестирование, его применение в дистанционном обучении.

1. Специфика компьютерного тестирования и его формы

Общие представления о компьютерном тестировании. С начала XXI в. в образовании тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление – компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.

Этап генерации тестов технологически может протекать по–разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов [2; 31; 39; 76; 79]

Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которые до сих пор не выявлены по полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.

Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников отдельных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.

Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест (рис.17). часть из них пока не получили специального названия в литературе по тестовой проблематике.

Рис.17. Формы компьютерного тестирования

Первая форма – самая простая. Готовый тест, стандартизированный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста. 

Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию бланка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3—4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Третья форма – компьютерное адаптивное тестирование – базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений, или гарантированно не справится в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестирование, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ. Предъявление вариантов теста на компьютере позволяет сэкономить средства, рекомендуемые обычно  на печать и транспортировку бланковых тестов.

Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить  рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания  с выбором ответов.

Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличивается за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической постановки проблем с помощью мультимедийных средств и др.

Благодаря компьютерном тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не доступных заданий теста.

Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков, которые представлены на рис. 18.

Рис.18 Проблемы, возникающие при компьютерном тестировании

Типичные психологические и эмоциональные реакции учащихся на компьютерном тестировании. Обычно психологические и эмоциональные реакции учащихся на компьютерное тестирование носят позитивный характер. Учащимся нравится незамедлительная выдача тестовых баллов, протокола тестирования с результатами по каждому заданию, а также сам инновационный характер контроля в том случае, когда привлекаются современные гипермедийные технологии по выдачи теста. Динамическое мультимедийное сопровождение заданий на компьютере, объединенное программными средствами для представления в интерактивном режиме, по мнению учащихся, обеспечивает более точную оценку знаний и умений, сильнее мотивирует к выполнению заданий по сравнению с бланковыми тестами. Удобно также то, что вместо заполнения специальных форм для ответов можно просто выбрать ответ мышью. Если тестирование проходит в адаптивном режиме, то сокращается время проведения экзамена и длина теста.

Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдачи заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого  появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

Воздействие на выполнение теста предшествующего уровня компьютерного опыта. Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста.  Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновационных типов заданий, широко использующих средства компьютерной графики, и другие новшества, влияние предшествующего компьютерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать   уровень компьютерного уровня учащихся, для которого предназначается тест.

Влияние интерфейса пользователя на результаты компьютерного тестирования. Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, отражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.

2. Инновационные формы тестовых заданий при компьютерном тестировании.

Цели разработки инновационных заданий в компьютерном тес­тировании. Инновационные задания, использующие возможности компьютерного тестирования, на сегодняшний день являются наи­более перспективным направлением развития  автоматизации пе­дагогических измерений. Основной причиной этого является боль­шой потенциал инновационных заданий для повышения инфор­мативности педагогических измерений и увеличения содержатель­ной валидности тестов.

Основная цель разработки инновационных заданий для компь­ютерного тестирования состоит в оценивании тех когнитивных умений, функциональной грамотности и коммуникативных уме­ний, которые остаются не выявленными при традиционном кон­троле, или использовании бланковых тестов.

Предметом оценивания при инновациях может быть уровень аналитико-синтетической деятельности обучаемого, скорость обоб­щения новой информации, гибкость мыслительного процесса и  многие другие показатели умственной деятельности, сформировавшиеся в процессе обучения и не поддающиеся оцениванию с помощью обычных тестов.

Возможности инновационных задании в компьютерном тестиро­вании. В использовании инновационных заданий можно выделить два аспекта: дидактический и психолого-педагогический. Первый предполагает развернутую содержательную интерпретацию резуль­татов тестирования в контексте освоенных на момент предъявле­ния теста когнитивных, учебных и общеучебных умений, а вто­рой позволяет оценить уровень развития мыслительных процес­сов у учащегося и выявить особенности усвоения им новых зна­ний. Большинство инновационных заданий, разработанных к на­стоящему времени, обеспечивают совершенствование измерений в обоих направлениях. Таким образом, инновационные задания позволяют расширить возможности самого педагогического изме­рения за счет получения результатов в новых, недоступных ранее направлениях оценивания качества подготовленности учащихся. Например, для оценивания уровня сформированности функцио­нальной грамотности экзаменующимся, можно предложить отры­вок текста, в котором есть ошибки, а затем попросить идентифи­цировать их и исправить путем перепечатывания разделов текста.

Инновационные задания способствуют сокращению влияния слу­чайного угадывания за. счет увеличения числа возможных ответов без нарастания громоздкости заданий теста. Например, при оцени­вании понимания прочитанного текста можно попросить учащего­ся выбрать ключевое предложение в тексте и указать на него щелч­ком мыши. Таким образом, каждое предложение в текстовом от­рывке становится опцией для выбора вместо 4—5 ответов в тради­ционных заданиях с готовыми ответами. Для совершенствования формы заданий используют сложный рисунок, динамические эле­менты, включая изображения, мультипликацию или видео; тем самым сокращается время чтения условия. Расширение возможно­стей тестирования происходит при включении звука, что позволя­ет вести диалог с учащимся, оценивать фонетические особенности его произношения при тестировании по иностранному языку, про­верять, правильность интерпретации различных звуков.

Основные направления инноваций при разработке заданий. Ин­новации при разработке заданий для компьютерного тестирова­ния охватывают пять связанных между собой направлений. К ним относятся: форма задания, действия испытуемого при ответе, уро­вень использования мультимедийных технологий, уровень интер­активности и методика подсчета баллов.

Нововведения в форме задания включают визуальный и звуко­вой информационные ряды или их сочетание. Визуальная инфор­мация может носить реалистический (фото, кино) и синтезиро­ванный (рисунок, анимация) характер. Тип информации в соче­тании с тестовой формой определяет формат ответа, выбираемого или создаваемого экзаменующимся. При использовании фото­графий или рисунков информация, содержащаяся в тестовых заданиях, носит статический характер. Кино, отражающее реаль­ный мир, и анимация вносят динамику в выполнение, теста.

Действия учащегося при ответе на задания зависят от тех ин­новационных средств, которые включены в тест. При включении в задания звуковой информации, предполагающей голосовой от­вет учащегося, для ответа используются клавиатура, мышь или микрофон. Значительное место при ответах отводится интерак­тивным процессам. Интерактивный режим работы учащихся при компьютерном тестировании означает поочередную выдачу аудио­визуальной информации, при которой каждое новое высказыва­ние со стороны учащегося или компьютера строится с учетом пре­дыдущей информации с той и другой стороны. При организаций интерактивного режима в компьютерном тестировании использу­ется в основном экранное меню, в котором учащийся для ответа на тестовые задания выбирает, создает или перемещает объекты — компоненты ответа. Реже в интерактивном режиме применяют голосовой ввод ответа.

В целом уровень интерактивности, обеспеченный в компью­терном тестировании, характеризует степень, в которой опреде­ленная форма задания реагирует или отвечает на ввод информа­ции со стороны экзаменующегося. Этот уровень варьируется от простейшего случая, когда совершается один шаг, до сложных, многошаговых заданий с разветвлением после каждого очередно­го ответа ученика.

Сравнительная характеристика инновационных форм заданий при компьютерном тестировании для различных целей совершен­ствования педагогического измерения приведена в табл. 5.

Проблемы, возникающие при использовании заданий повышен­ной трудности в компьютерном тестировании. Задания повышен­ной трудности всегда требуют больше времени для ответов вне зависимости от того, предъявляются ли они с помощью компью­терного моделирования виртуальной реальности, имеют ли фор­му лабораторной работы, эссе или используют мультимедийные технологии. Из-за временных затрат число сложных заданий дол­жно быть незначительно — не более 10—15 %, в отдельных случа­ях — 20—25%. Многообразие звуковых и зрительных образов в компьютерном тестировании приводит к возникновению у школь­ников усталости, поэтому при включении в тест даже небольшого количества трудных инновационных заданий приходится, значи­тельно уменьшать длину теста, что негативно сказывается на со­держательной валидности, надежности и информационной без­опасности педагогического измерения.

Несмотря на преимущества инновационных форм заданий, предъявляемых с помощью компьютера, к ним нужно относиться с осторожностью, тщательно анализировать их адекватность це­лям измерения и уместность в тесте. Обычно инновационные за­дания высокой трудности выделяют в отдельный блок и помеща­ют в конце теста* Их выполнение не должно отнимать времени у наиболее слабых учащихся, которые, скорее всего, не дойдут до конца теста.

Таблица 5

Сравнительная характеристика инновационных форм заданий при компьютерном тестировании

Подсчет баллов учащихся. Если в компьютерном тестировании не используются мультимедийные и интерактивные технологии, то подсчет первичных баллов учащихся проводится традиционно путем суммирования оценок по отдельным заданиям. Привлечение мультимедийных технологий приводит к многомерности результа­тов выполнения теста, поскольку оценивание целого спектра твор­ческих, коммуникативных, общепредметных и других умений с помощью инновационных форм заданий всегда связано с несколь­кими переменными измерения. Появление интерактивности еще больше усложняет процедуру подсчета баллов учащихся, она ста­новится зависимой от ответа экзаменующегося на каждом шаге вы­полнения заданий теста и требует политомических оценок.

Проверка результатов выполнения заданий с конструируемым регламентированным ответом осуществляется путем сравнения ответа экзаменующегося с эталоном, хранящимся в памяти компьютера, и включает различные синонимы правильного, ответа с приемлемыми орфографическими ошибками.

Намного сложнее автоматизированный подсчет баллов в зада­ниях со свободно конструируемым ответом (типа эссе) в гумани­тарных дисциплинах. На сегодняшний день зарубежными тестологами разработаны специальные программы для автоматизирован­ной проверки эссе. Критерии оценивания в этих программах до­вольно разнообразны: от рассмотрения поверхностных характе­ристик эссе типа длины и степени полноты ответа до сложных случаев анализа с использованием достижений компьютерной лингвистики. Обычно все эти различные автоматизированные про­граммы подсчета баллов требуют участия экспертов только на момент начала работы, когда квалифицированным педагогам не­обходимо «обучить» компьютерную программу оцениванию лю­бых развернутых ответов.

 Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста

Основные компоненты процесса автоматизированной компонов­ки теста для компьютерного предъявления. Процесс автоматизи­рованной компоновки теста в том случае, когда он. происходит заранее и не в адаптивном режиме, включает сборку (генерацию) параллельных вариантов, выбор правила подсчета баллов тести­руемых учащихся и коррекцию вариантов для выполнения требо­ваний теории педагогических измерений.

Неизбежные различия по трудности вариантов, возникающие вследствие существования ошибок измерения, устраняются пос­ле тестирования путем выравнивания шкал, получаемых при под­счете тестовых баллов по отдельным вариантам теста. К числу со­путствующих вопросов, решение которых также необходимо при автоматизированной компоновке теста, относится работа по на­полнению банка тестовых заданий и оцениванию информацион­ной безопасности тестирования.

Компьютерная генерация параллельных вариантов теста фикси­рованной длины. Автоматизированная сборка теста с фиксирован­ным числом, заданий предполагает наличие установленной длины теста, его спецификации и банка калиброванных заданий, В рабо­тоспособный банк, поддерживающий генерацию многовариант­ного теста, должны входить фреймы заданий различной трудно­сти по каждому содержательному элементу с устойчивыми оцен­ками параметров. С помощью специального программно-инстру­ментального, обеспечения получается аналог традиционного блан­кового теста, готовый к предъявлению спустя несколько минут от начала генерации и обеспечивающий высокое качество педагоги­ческих измерений.

Метод автоматизированной компоновки теста для компьютер­ного предъявления в режиме offline (без использования локаль­ных компьютерных сетей или Интернета) или в режиме online (с использованием локальных компьютерных сетей или Интернета) называют автоматизированным тестовым дизайном. Целью дизай­на является формирование вариантов теста, удовлетворяющих целому ряду условий, к которым относятся: число заданий, струк­тура содержания, частота выбора заданий в варианты, а также ряд требований, обеспечивающих генерацию параллельных вариантов теста.

Технология компоновки вариантов должна поддерживать сис­тематический контроль за. частотой включения каждого задания из банка в тест. Количество одинаковых заданий в параллельных вариантах, используемых для выравнивания шкал по вариантам, не должно превышать 15—20 %. Для контроля частоты включения задания в варианты в качестве ограничения вводится максимально возможный процент выбора каждого задания из банка. При его до­стижении задание перестает использоваться в дальнейших проце­дурах генерации теста.

Обычно многочисленные параллельные или квазипараллель­ные варианты теста создаются в режиме offline для последующего предъявления в режиме online, в том числе при интерактивном взаимодействии с обучающимися [19]. Дня расширения коммуни­кативных возможностей компьютерного контроля в real time ре­комендуется, использование адаптивного тестирования:, обеспе­чивающего пошаговую оптимизацию подбора-трудности заданий при генерации адаптивного теста (см. раздел 8.4).

3. Компьютерное адаптивное тестирование

Адаптивное тестирование и его возможности. Появление адап­тивного тестирования было вызвано стремлением к повышению эффективности педагогических измерений, которая, как прави­ло, связывалась с уменьшением числа заданий, времени, стоимо­сти тестирования, а также с повышением точности оценок уча­щихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает генерацию эффективных тестов [59; 62; 71].

Оптимизация трудности заданий обычно проводится пошаго­во. Если  учащийся выполняет задание, верно, то затем ему дается более трудное задание. При неправильном выполнении задания совершается отход назад к более легким заданиям банка.  При не­выполнении трех заданий подряд процесс останавливается и спе­циальными методами (чаще всего с помощью теорий IRT) опре­деляется балл учащегося за выполненные задания по сформиро­ванному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых зада­ний и их трудность индивидуально подбираются для каждого эк­заменующегося на основании его ответов, а индивидуальная со­вокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подго­товленности.

Получить одновременный прирост эффективности измерений по всем критериям невозможно, поэтому обычно при организа­ции адаптивного тестирования на первый план выходит один; в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внима­ние уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех Нор, пока не достигается запланированная минимальная ошиб­ка измерения.

На длине адаптивного теста существенно сказывается качество структуры знаний учащихся. Обычно испытуемые с четкой струк­турой знаний выполняют задания нарастающей трудности, уточ­няя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адап­тивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудно­сти задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адап­тированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества адаптивного тестирования. К числу важных пре­имуществ компьютеризованного адаптивного тестирования мож­но отнести:

- высокую эффективность;

- высокий уровень секретности;

- индивидуализацию темпа выполнения теста;

-высокий уровень мотивации к тестированию у наиболее сла­бых обучающихся за счет исключения из процесса предъявления излишне трудных заданий;  

-сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте.

Стратегии адаптивного тестирования. Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, сообразно которым используется различная технология формирования адаптивных тестов. Двухшаговая стратегия предполагает наличие двух этапов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого — осуществление предварительной дифференциации уча­щихся вдоль оси переменной измерения. По результатам диффе­ренциации на втором этапе организуется адаптивный ре­жим и строятся адаптивные тесты. :

В результате развития теории IRT, обеспечивающей единую интервальную шкалу для оценок параметров испытуемых и труд­ности заданий теста, появилась возможность по-новому осуще­ствить оптимизацию процедуры отбора заданий для моделирова­ния эффективных адаптивных тестов: Стали развиваться многоша­говые стратегии адаптивного тестирования, в рамках которых в процессе выполнения наборов заданий каждый испытуемый дви­жется по своей индивидуальной траектории.

Многошаговые стратегии адаптивного тестирования подразде­ляются на фиксировано-ветвящиеся и варьирующе-ветвящиеся в за­висимости от того, как конструируются многошаговые адаптив­ные тесты. Если один и тот же набор заданий с их фиксирован­ным  расположением на оси трудности используется для всех ис­пытуемых, но каждый учащийся движется по набору заданий индивидуальным путем в зависимости от результатов выполнения очередного задания, то стратегия адаптивного тестирования является фиксировано-ветвящейся.

Заданий по трудности в наборе заданий обычно располагают на равном расстоянии друг от друга или выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого, поскольку по мере выполнения заданий у него нарастает утомление и снижается мотива­ция к выполнению заданий теста.

Варьирующе-ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка по опреде­ленным алгоритмам, которые прогнозируют оптимальную труд­ность последующего задания по результатам выполнения испыту­емым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из Отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разно­стью трудностей двух соседних заданий адаптивного теста. Отли­чительной особенностью варьирующей ветвящейся стратегии адаптивного тестирования является пошаговая переоценка уровня под­готовленности испытуемого, предпринимаемая после каждого выполнения очередного задания теста.

Рис. 19. Алгоритм варьирующего многошагового тестирования

Алгоритм, реализующий варьирующую стратегию адаптивного тестирования, носит циклический характер и имеет вид, пред­ставленный на рис. 19.

Вход и выход из адаптивного тестирования. Выбор начальных оценок для входа в адаптивное тестирование осуществляется по-разному, в зависимости от вида стратегии и имеющихся техноло­гических возможностей при генерации адаптивных тестов. Один из методов определения начальных оценок основан на выдаче испы­туемым перед началом адаптивного тестирования входного протеста. В протест обычно включают 5—10 заданий из разлитых разде­лов содержания, охватывающих по трудности весь диапазон пред­полагаемого расположения тестируемой выборки учащихся на оси переменной измерения. Иногда входное тестирование заменяют про­цессом самоадаптации, в котором испытуемому предлагают набор заданий возрастающей трудности. Он выполняет задание, отража­ющее уровень его знаний и умений.

Для выхода из режима тестирования либо вводят ограничения по времени или по числу заданий, либо задаются планируемой точностью измерений. Ориентация на точность при организации адаптивных циклов порождает многообразие индивидуальных тра­екторий испытуемых, которые можно визуализировать в виде ло­маных линий. Вершины ломаной линии соответствуют отдельным заданиям адаптивного теста, длина звена определяется варьирую­щим шагом, размер которого равен разности оценок параметра трудности двух смежных заданий адаптивного теста. Очевидно, что чем меньше длина ломаной, тем лучше структура знаний учаще­гося и эффективнее подобраны по трудности задания адаптивно­го теста (рис. 20).

Рис. 20. Визуализация индивидуальных траекторий испытуемых: в круж­ках — номера заданий

На рис. 20 изображены траектории адаптивного тестирования трех учащихся, начинавших свой вход в адаптивный режим по результатам выполнения протеста. Чем выше расположена вер­шина ломаной, тем труднее было первое задание адаптивного теста. На момент входа в протесте самый высокий результат по­казал первый учащийся, поэтому он начинает адаптивное тес­тирование с более трудного задания. Для удобства обсуждения ре­зультатов визуализации на рисунке приводятся непересекающие­ся траектории. Над ломаными ставится «плюс» в тех случаях, ког­да испытуемый выполнил задание верно, или «минус», если ис­пытуемый выполнил задание неверно. В качестве критерия окон­чания тестирования выбрано простое правило: тестирование пре­кращается, если учащимся подряд выполнены, верно, или неверно три задания адаптивного теста.

Несмотря на высокий начальный результат, первый учащий­ся, по-видимому, обладает плохо структурированными знания­ми, что следует из чередования верных и неверных ответов. Тести­рование первого ученика прекращается, если ему удается спра­виться с идущими подряд тремя заданиями адаптивного теста. Траектория ответов второго учащегося намного короче благодаря хорошо структурированным знаниям. После неудачи при выполнении первого задания он все делает верно, и поэтому быстро за­канчивает адаптивный тест. Третий учащийся самый слабый. Он начинает тестирование с наиболее легкого задания, с которым не справляется. Второе, более легкое задание он также выполняет неверно. Наконец, после трех следующих подряд неправильных ответов он выходит из адаптивного теста.

Представленный рисунок является идеализацией, иллюстри­рующей реальные ситуации варьирующих многошаговых страте­гий генерации адаптивных тестов, в которых после выполнения каждого задания осуществляется пересчет текущей оценки уровня подготовленности для выбора очередного задания адаптивного теста.

Надежность, валидность и длина теста ори адаптивном тестиро­вании. Так же как и при традиционном тестировании, отбор зада­ний в адаптивные тесты осуществляется в соответствии со специ­фикацией теста. Оптимизируя трудность; можно лишь уменьшить число предъявляемых заданий по каждому разделу и сохранить при этом для каждого испытуемого содержательный план теста. Таким образом, адаптивное тестирование вне зависимости от стра­тегии предъявления заданий и их числа должно обеспечивать вы­сокую содержательную валидность каждого генерируемого адап­тивного теста.

Надежность в адаптивном тестировании зависит от совокупно­сти факторов. К ним относятся: число заданий, наличие система­тического контроля за частотой выбора заданий банка при гене­рации адаптивного теста. На надежность также влияют характери­стики банка тестовых заданий, связанные с качеством измерений (устойчивость и диапазон вариации оценок трудности) и каче­ством входного (стартового) контроля.

Адаптивный алгоритм организуется так, что после каждого очередного предъявления задания проверяется разность между полученной и запланированной точностью измерений. По дости­жению запланированной точности алгоритм подбора заданий при­останавливается, достигается ожидаемая надежность адаптивного теста.

5. Online-тестирование, его применение в дистанционном

обучении

Уровни интерактивности. В самом простом понимании интерак­тивного режима обучения учащийся имеет возможность получать (читать, смотреть, слушать) только ту информацию, которую он выбирает для усвоения с использованием компьютера. Усложне­ние возможностей и технологии осуществления интерактивного режима приводит к моделированию окружающего мира и поведе­ния объектов в нем, позволяя имитировать реальность.

Конечно, на сегодняшний день, в силу многих причин, в обу­чении используются далеко не все возможности интерактивного режима. В частности, по мнению А. Г: Шмелева, являющегося круп­нейшим специалистом в России по применению интерактивных технологий в образовательном и психологическом тестировании (система «Телетестинг»), в современном Интернете преобладают неинтерактивные формы преподнесения образовательной инфор­мации [62].

Простейший интерактивный режим в локальной сети и в Интер­нете. В соответствии с классификацией компьютерных сетей на локальные и глобальные простейший интерактивный режим,орга­низуется в пределах одной комнаты, или учебного заведения либо с использованием Интернета. Как правило, интерактивность ос­новывается на асинхронной коммуникационной связи, когда ре­акция педагога на результаты тестирования носит отсроченный характер из-за времени, которое необходимо на проверку теста в автоматизированном режиме и подсчет баллов учащихся по ре­зультатам его выполнения.

В первом случае, когда в локальную сеть объединено несколько десятков или сотен компьютеров, специальная программа-реали­затор — инструментальная оболочка — обеспечивает выдачу зада­ний online-теста для всей группы тестируемых, обычно в индиви­дуальном временном .режиме. На экране каждого компьютера из локальной сети появляется задание одного из параллельных вари­антов, теста. При обеспечении режима информационной безопас­ности для всей группы учащихся может использоваться только один вариант теста.

Выполнение online-теста с использованием Интернета не име­ет принципиальных отличий от случая применения локальной сети при простейшем уровне интерактивности без адаптивного режи­ма, когда все учащиеся выполняют одинаковые варианты теста. Задания в подавляющем большинстве требуют от учащихся выбо­ра одного или нескольких правильных ответов с помощью таких известных диалоговых объектов, как «селекторные кнопки» (radio-buttons). Подсчет тестовых баллов производится путем сличения ответов учащихся с ключом и сводится, чаше всего, к простому суммированию. Передача итогового балла по тесту может быть осуществлена с помощью электронной почты.

Время, затраченное на предъявление результата тестирования, определяется длительностью пересылки (обычно от нескольких секунд до нескольких часов) и тем временным промежутком, который пройдет до момента, когда учащийся прочтет пришед­шую ему почту. В отдельных случаях, когда учащемуся требуется документальное подтверждение баллов, результаты тестирования могут быть доставлены offline с помощью записи на носитель ин­формации. Таким образом, низкий уровень интерактивности вполне пригоден для итогового тестирования вне адаптивного режима, когда учащийся должен работать без помощи педагога, а получе­ние результатов может носить отсроченный по времени характер.

Средний уровень интерактивности в online-тестировании. В теку­щем контроле при дистанционном обучении обычно реализуется средний уровень интерактивности. В соответствии с возможностя­ми синхронного обмена информацией в реальном времени с по­мощью интернет-пейджеров учащемуся обеспечиваются помощь и консультации педагога при выполнении заданий корректирую­щего и диагностического тестов.

При среднем уровне интерактивности большое разнообразие приобретают формы тестовых заданий. В частности у школьника появляется возможность редактирования текста, представленного в задании, с помощью введения новых предложений или замены одной части текста на другую. В заданиях на установление пра­вильной последовательности сразу после выбора испытуемым не­которого порядка элементов компьютер отображает новую после­довательность на экране и т.д. Если установлению синхронной связи не мешают временные пояса, интерактив незамедлительно обеспечивает эффект «педагог рядом», благодаря которому при выполнении заданий текущего контроля ученик получает помощь, оценку или подсказку педагога.

Высокий уровень интерактивности в online-тестировании. Высо­кий уровень интерактивности обеспечивается в тех случаях, когда при взаимодействии с педагогом используются звук и видеоизоб­ражение, что требует значительных финансовых затрат, но без труда позволяет идентифицировать личность учащегося, выпол­няющего тест в дистанционном контроле.

С педагогической точки зрения высокому уровню интерактив­ности отвечает адаптивное тестирование, включающее разветв­ленные технологии оптимизации трудности заданий в зависимо­сти от ответов учащегося на каждое предыдущее задание адаптив­ного теста.