Лекции 18, 19. Мониторинг качества школьного образования.
1. Мониторинг в образовании, его достоинства и недостатки. 2. Виды мониторинга. 3. Модели проведения мониторинга. 4. Этапы и уровни проведения мониторинга качества образования, пользователи и исполнители, доступ к информации. 5. Показатели качества образования и эффективности образовательной деятельности школ.
1. Мониторинг в образовании, его достоинства и недостатки
Цели и функция мониторинга. Под мониторингом следует понимать систему постоянного сбора данных о наиболее значимых характеристиках качества образования, их обработку, анализ и интерпретацию с целью обеспечения общества и системы образования достоверной, достаточно полной и дифференцированной по уровням использования информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах и прогнозируемых тенденциях. Иначе говоря, мониторинг — это стандартизированное наблюдение за образовательным процессом и его результатами, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменение субъектов обучения и образовательной системы, определять и прогнозировать направления их развития. Основная цель создания системы мониторинга — повышение качества образования [20]. К составляющим мониторинга относятся: объекты и субъекты образовательного процесса, комплекс показателей качества образования, инструментарий, базы данных для накопления информации, методики анализа, переработки и интерпретации информации, программно-инструментальные средства обработки данных. Ведущими функциями мониторинга в образовании являются: информационная, диагностическая, сравнительная и прогностическая. Основная сфера практического применения мониторинга — информационное обеспечение управления качеством образования, осуществляемого различными методами, в том числе и прямым административным вмешательством. Информация, накапливаемая в системе мониторинга, может использоваться для идентификации проблем в обучении, связанных с недостатками в методах преподавания, искажениями в пропорциях учебных планов, просчетами авторов школьных учебников и др. Она помогает оценивать последствия инноваций в образовании, осуществляемых в государстве, регионе, районе или внутри отдельной школы. Данные мониторинга мотивируют руководство школ и преподавателей к улучшению своей деятельности и способствуют повышению ответственности за результаты учебного процесса. Достоинства и недостатки мониторинга. Совокупность показателей мониторинга всегда согласована с наиболее общими тенденциями в образовании, выработанными правительством страны и другими органами управления образованием. Сбор обширного количества данных и накопление описательной (дескриптивной) статистики не только важны для образования, но и имеют политический смысл. Статистика, описывающая состояние системы образования, может использоваться для демонстрации потребности в образовательных реформах, служить доказательством плохой работы предыдущего управленческого состава в образовании или показывать преимущества проводимых в государстве реформ. Некоторые критики систем мониторинга утверждают, что аналитики специально выбирают для сообщения нужную информацию, которая зависит от политических целей в образовании и способствует усилению централизованного контроля со стороны органов управления образованием за результатами обучения. Манипулирование данными мониторинга становится затруднительным, если они сравниваются с некоторыми стандартными количественными критериями или нормами выполнения тестов, установленными на уровне школы, района или региона. Подобное сопоставление будет давать обоснованные результаты при условии статистической коррекции данных мониторинга с учетом дополнительных факторов, выравнивающих показатели каждой школы относительно средних показателей по району. Мониторинг позволяет решать многие повседневные задачи диагностического характера. Данные, накапливаемые в школьном мониторинге, помогают выявить систематические трудности в усвоении отдельных разделов дисциплин, оценить эффективность инновационных методов работы учителей, диагностировать причины неудач отдельных учащихся, обоснованно связав их с предметными, социально-экономическими или другими факторами. В целом школьная система мониторинга обеспечивает обратную связь, позволяющую судить о сильных и слабых аспектах системы обучения. Условия эффективного проведения мониторинга. Специалисты по мониторингу выделяют ряд условий его эффективности, среди которых: - использование системного подхода, обеспечивающего слаженную работу механизма по сбору; обработке, анализу и интерпретаций -информации; - сочетание количественных и качественных методов измерения в мониторинге; - репрезентативная совокупность показателей мониторинга, учет различных, в том числе и косвенно влияющих на результаты обучения, факторов; - корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями; - репрезентативность выборочных совокупностей учащихся, принимающих участие в мониторинге; - привлечение к проведению, мониторинга квалифицированных специалистов и преподавателей школ; - использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга; - методическая и финансовая помощь со стороны органов управления образованием разного уровня.
2. Виды мониторинга
Классификация видов мониторинга. В основу классификации видов мониторинга могут быть положены разные основания, к числу которых относятся: цели проведения мониторинга; его основные функции; область применения данных; инструментарий; модель или технология проведения мониторинга и др. Чаще всего классификация видов мониторинга проводится в соответствии с его основными функциями: информационной, диагностической, сравнительной и прогностической. Информационный мониторинг. Проведение информационного мониторинга нацелено на сбор, накопление, анализ, структуризацию и интерпретацию данных по выделенной совокупности показателей при условии, что анализ носит не сопоставительный или прогностический, а констатирующий характер. Отличительной чертой информационного, мониторинга является отсутствие анализа эффектов связи и взаимного влияния показателей, сопоставления результатов мониторинга на различных уровнях управления качеством образования, выявления тенденций в образовании и прогнозирования их влияния на качество образования. В рамках информационного мониторинга анализ направлен, на выявление степени согласованности данных с некоторыми нормами и стандартами. Например, анализ данных мониторинга аттестационного тестирования выпускников школ нацелен на установление соответствия учебных достижений выпускников требованиям ГОС [36; 50]. При анализе таких данных следует принимать во внимание средние размеры классов по школам внутри района, количество учащихся, приходящихся на одного преподавателя в школе, ежегодные расходы на учебные материалы, размер библиотечных фондов, данные о квалификации преподавателей в школах, число сотрудников вспомогательного состава и т.д. Эти и другие данные в усредненном виде могут быть отнесены к некоторым районным или областным стандартам школьного образования. Диагностический мониторинг. Диагностический мониторинг предназначен для определения того, как справляются с различными темами или разделами учебного плана большинство учащихся. Диагностический мониторинг может проводиться на различных уровнях. Преподаватели выявляют проблемы усвоения учебного материала и осуществляют деятельность по диагностическому мониторингу на уровне класса. В районе диагностические системы мониторинга нацелены на определение отдельных слабо усвоенных умений и навыков; Сбор данных для диагностического мониторинга обычно проводится с помощью педагогических измерений. В качестве основного инструментария используются корректирующие критериально-ориентированные тесты, которые сопровождаются диагностическими тестами для установления причин пробелов в усвоении учебного материала. В диагностическом мониторинге не учитываются входные характеристики учащихся, поскольку главная его цель состоит в том, чтобы идентифицировать сильные и слабые стороны в учебных достижениях и образовательной деятельности независимо от характеристик учащихся и их возможностей усвоения материала. Поэтому данные диагностического мониторинга не используют для проведения сравнений между школами или районами. Сравнительный мониторинг. Сравнительный мониторинг отличается от других видов мониторинга специфическим анализом данных, который направлен на сопоставление количественных оценок по совокупности показателей для регионов, областей, районов, школ, отдельных преподавателей и других участников образовательной деятельности. Сравнения проводятся либо по вертикали (территории, регионы, образовательные учреждения), либо по горизонтали (рейтинг школьников, рейтинг территорий и т.д.) на основе анализа количественных оценок по одинаковым показателям и с учетом различных факторов, смещающих оценки. По результатам сравнительного мониторинга обычно принимаются административные решения. При проведении сравнений особое значение имеет анализ связей между показателями и их взаимного влияния. Необходимы доказательства достаточной полноты совокупности показателей, используемой в сравнительном мониторинге, и репрезентативности выборочных совокупностей учащихся, принимающих участие в проведении мониторинга. Специфика анализа данных в сравнительном мониторинге и особая ответственность за его результаты вынуждают предъявлять повышенные требования к качеству инструментария, его надежности и валидности. В сравнительном мониторинге обычно используют количественные шкалы, стандартизированные тесты учебных достижений и профессионально разработанные анкеты для сбора дополнительной информации о факторах, находящихся вне деятельности школ, но существенно влияющих на результаты их образовательной деятельности. Проведение сравнительного мониторинга нередко включает измерения входных данных и итоговых результатов обучения, поскольку многие из них значимо влияют на итоговые учебные достижения учащихся. Хотя возможности мониторинга этого вида у многих учителей вызывают сомнения и часто являются предметом критики, мировой опыт свидетельствует о том, что сравнительный мониторинг приводит к явным позитивным следствиям. Межшкольные, межрайонные или межрегиональные сравнения стимулируют соревнование и мотивируют педагогов к улучшению образовательного процесса. В сравнительном мониторинге обычно используют нормативно-ориентированные тесты учебных достижений, стандартизированные на представительных выборках в масштабах всей страны или региона. Таким образом, средние оценки по школам или районам могут быть сопоставлены с региональными и национальными нормами. Наибольшие трудности при проведении сравнительного мониторинга связаны со сбором дополнительной информации по ряду показателей, находящихся вне сферы влияния школ, но требующих учета при проведении межшкольных, межрайонных и других сравнений. Выбор этих показателей должен учитывать социальные и экономические особенности региона или района, организационные механизмы формирования состава школ и другие факторы, влияющие на качество образования. Прогностический мониторинг. Прогностический мониторинг предназначен для выявления и предсказания позитивных и негативных тенденций в развитии образовательных систем. Он очень важен для решения управленческих задач в образовании, связанных с формированием социального заказа и соответствующих потенциалу системы образования. Роль прогностического мониторинга в условиях реформирования российского образования неуклонно возрастает в силу изменений, происходящих в характере управленческих решений на разных уровнях иерархии [5]. Если раньше приоритет принадлежал оперативным управленческим решениям, направленным на текущее функционирование образовательных структур, то сейчас на первый план нередко выходят стратегические решения, нацеленные на развитие системы образования. Опыт реформирования в образовании показал, что стратегические решения зачастую приходится принимать в условиях отсутствия необходимой информации, в результате не учитываются все возможные последствия проводимых нововведений и преобразований. Примером тому может служить предоставление образовательным учреждениям права на оказание платных (услуг, которое, с одной стороны, сыграло положительную роль а с другой — имело негативные, неучтенные последствия. В частности оно способствовало коммерциализации общего образования, расширению практики использования денежных, средств родителей. При наличии необходимых информационных условий для разработки стратегии на основе анализа внутрисистемных и межсистемных противоречий можно предвидеть многие негативные последствия реформаторства и принять упреждающие меры на момент осуществления нововведений. Стратегические управленческие решения, направленные на развитие системы образования, должны основываться на вероятностной оценке тенденций в образовании, которые следует получать с помощью прогностического мониторинга. Для прогноза обычно широко используются методы регрессионного анализа и другие математико-статистические методы. Рассмотренные виды мониторинга редко встречаются в практике образования в чистом виде. Их выделение имеет смысл для описания требований к проведению, обеспечивающих корректность сбора, анализа и интерпретации данных. Как правило, в образовании проводят комплексный мониторинг, сочетающий в различных пропорциях перечисленные выше виды.
3. Модели проведения мониторинга
Модель соответствия нормам и стандартам. Наиболее простая модель мониторинга нацелена на сбор данных о процессе и результатах образовательной деятельности, включая их анализ путем сопоставления с установленными нормами и стандартами. Достоинство модели соответствия нормам и стандартам — в простоте и оперативности реализации. Недостатки модели — ограниченные возможности интерпретации результатов мониторинга, связанные с отсутствием достаточного числа характеристик образовательной деятельности школ, процессов ее протекания и входных данных об учащихся. В силу отсутствия важной информации модель соответствия нормам и стандартам не позволяет корректно сопоставить результаты обучения и сделать обоснованные выводы для управления качеством образования. Модель «вход—выход». Классическая модель «вход—выход», используемая в большинстве стран в системах информационного и сравнительного мониторинга, основана на предположении о том, что входные данные учащихся существенно влияют на результаты их обучения в школе. К входным данным относят совокупность показателей, характеризующую начальные способности учащегося, социально-экономический статус семей учащихся, ресурсы школы (профессиональный уровень преподавателей школ, размеры финансирования на одного учащегося и т.д.). Выходные данные включают экзаменационные оценки учебных достижений учащихся и выпускников школ и полный перечень освоенных ими знаний и умений. Учет входных данных позволяет выделить однородные группы школ, начинающих работу в одинаковых условиях, что гарантирует корректность внутригрупповых сравнений по конечным результатам образовательной деятельности. Сравнение, школ с различными входными данными проводится с помощью уравнений множественной регрессии. Таким образом, модель «вход—выход» расширяет возможности мониторинга и позволяет проводить внутригрупповые и межгрупповые сравнения образовательных учреждений. Модель «вход—процесс— выход». В настоящее время большое распространение получила так называемая модель с пятью факторами (модель «вход — процесс—выход»). Она включает в себя комбинацию характеристик не только результатов, но и процесса обучения. К факторам этой модели относятся: 1) сильное административное руководство; 2) наличие стабильного и хорошо организованного внутреннего микроклимата в классе и в школе; 3) .преимущественная ориентация в обучении на формирование у учащихся базовых академических навыков; 4) повышенные требования к учащимся со стороны преподавателей, ориентирующие учащихся на постоянный прирост учебных достижений; 5) наличие системы внутришкольного мониторинга, обеспечивающей достоверную информацию о качестве образования. Таким, образом, улучшенная модель системы мониторинга образовательной деятельности — модель «вход—процесс—выход» — включает информацию относительно процессов, протекающих в школе при обучении и воспитании учащихся. В основе расширенной модели лежит предположение о том, что совершенствование процесса обучения запланированным образом неизбежно должно привести к более высоким учебным достижениям, что вполне отвечает реалиям в практике образования. Динамическая модель мониторинга. Большинство сравнительных оценок деятельности школ основывается на межгрупповом анализе и сопоставлении средних оценок учебных достижений, существенно зависящих от контингента учащихся школы и социально-экономической характеристики района, в котором расположена школа. В силу социальной неоднородности заселения различных, районов некоторые школы из года в год получают значительную долю неблагополучного контингента учащихся. Поэтому достижения таких школ при сравнении по конечным результатам обучения могут оставаться незамеченными годами, несмотря на эффективную образовательную деятельность и усилия педагогического коллектива. Преодолеть этот недостаток можно, используя динамическую модель мониторинга, основанную на анализе динамики изменений в образовательной деятельности школы, выявлении их позитивного или негативного характера и степени влияния школы на происходящие изменения. Наиболее эффективная динамическая модель мониторинга строится на измерениях скорости прироста учебных достижений учащихся в течение некоторого временного периода. Поскольку на темп развития учащихся существенно влияют начальные способности и характеристики семьи, то учет этих показателей обеспечивается без дополнительных усилий при измерениях скорости прироста учебных достижений. В этой связи многие специалисты настоятельно советуют использовать динамическую модель мониторинга, основанную на измерениях изменений в учебных достижениях. Наработки в статистике, теории педагогических измерений и дизайне тестов в последние десятилетия значительно усиливают преимущества динамического мониторинга. Благодаря теории IRT у создателей тестов появилась возможность построения батарей тестов учебных достижений, включающих отдельные субтесты для учащихся на различных образовательных уровнях без потери сопоставимости результатов тестирования. С этой целью в тесты для двух смежных классов обычно включают блок якорных заданий, одинаковых для обоих тестов. Таким образом достигается связка при построении шкал учебных достижений предыдущих и последующих образовательных уровней. Благодаря этой связке результаты мониторинга размещаются на одной непрерывной шкале, которая охватывает длительный период обучения в школе.
4. Этапы а уровни проведения мониторинга качества образования, пользователи и исполнители, доступ к информации Основные этапы мониторинга. При проведении мониторинга, как и при любом эмпирическом исследовании, можно выделить три основных этапа, среди которых: - подготовка исследования; -сбор информации- - обработка информации, ее анализ и интерпретация. Данные этапы носят обобщенный характер, их конкретизация зависит от целей мониторинга, его вида, выбранной модели проведения и управленческого уровня, на котором принимаются решения (школьный, районный, областной/региональный, федеральный). По мере увеличения охвата учащихся и масштабов в управлении качеством образования развернутый перечень этапов будет меняться в направлении увеличения их числа, а сама система мониторинга будет расширять свои функции и приобретать комплексный характер. Этапы мониторинга для областного уровня управления. Конкретизация этапов мониторинга для регионального или областного уровней управления включает следующие этапы. I. Подготовка исследования: - выбор целей создания системы мониторинга, круга пользователей и вида мониторинга; - подготовка программы работ и плана их проведения, выбор исполнителей; - определение модели мониторинга; - формирование совокупности показателей, их операционали-зация, распределение по количественным и качественным уровням; - выбор методов сбора данных, обеспечивающих сочетание количественных и качественных уровней анализа информации; - разработка инструментария для сбора данных (тестов, анкет и т.д.); - формирование репрезентативных выборочных совокупностей учащихся для участия в мониторинговых исследованиях; - проведение пилотных исследований качества инструментария (его надежности и вал ид ности), коррекция инструментария, его стандартизация; - выбор шкал и методов шкалирования и интеграции данных мониторинга; - разработка программного обеспечения для обработки данных мониторинга; - разработка программно-инструментального обеспечения для ввода данных; - разработка структуры баз данных мониторинга и средств для их ведения. 2. Сбор информации: - проведение тестирования и анкетирования; - проведение собеседований; - работа с документами; - организация процедур наблюдений за сбором информации для обеспечения ее достоверности; - организация процедур соблюдения конфиденциальности информации. 3. Обработка информации, ее анализ, интерпретация: - анализ и чистка сырых данных, обработка данных мониторинга; - оценивание надежности и валидности данных, анализ генерализуемости; - коррекция и выравнивание данных для обеспечения сопоставимости по группам сравнения; - шкалирование данных мониторинга; - анализ данных; - интерпретации результатов анализа; - подготовка заключительного отчета по использованию результатов мониторинга в соответствии с целями его проведения. Для проведения мониторинга внутри школ перечень этапов должен быть существенно сокращен. В частности должна исчезнуть разработка инструментария, поскольку делать его имеет смысл лишь профессионалам в городе или области и стандартизовать на таких же выборках для обеспечения корректности межшкольных сравнений. Не нужны также процедуры обработки, анализа и интерпретации данных, которые следует проводить в специальных информационно-диагностических центрах, и т.д. Представление данных. При использовании результатов мониторинга на каждом уровне (например, при формировании общественного мнения относительно ЕГЭ) необходимо согласовать формат и перечень предоставляемых данных с возможностями восприятия той группой пользователей, для которой эта информация предназначена. Под согласованием понимается выбор формата представления данных мониторинга, их объема, языка изложения и необходимых поясняющих материалов для интерпретации. Информационная безопасность. Для обеспечения информационной безопасности данных мониторинга следует учитывать различные аспекты использования информации в районе или в регионе. К ним относятся: - хранение информации в виде баз данных и на бумажных носителях; - систематизация информация, ее структурирование; - статистическая обработка информации; - анализ результатов обработки; - интерпретация данных анализа; - принятие управленческих решений.
5. Показатели качества образования и эффективности образовательной деятельности школ
Выбор показателей качества образования. Для реализации выбранной модели мониторинга необходимо составить достаточно полный набор показателей, характеризующих качество образования и эффективность -деятельности образовательных учреждений. Основания по выбору и структурированию совокупности показателей могут быть самыми разными, но в целом совокупность показателей должна: - обладать достаточной полнотой; - быть в основной своей части операционализируемой; - быть признанной и полезной на различных уровнях управления; - обеспечивать сбор и сообщение информации относительно образовательной деятельности в соответствии с задачами, решаемыми в управлении качеством образования; - быть нацеленной на ту информацию, которая обладает прогностическими возможностями и является значимой на протяжении нескольких лет; - обеспечивать надежность, простоту, экономическую целесообразность сбора информации. В мониторинге качества образования общую совокупность показателей можно разделить на следующие подгруппы: - показатели качества функционирования образовательных си-.стем; - показатели качества учебного процесса; - показатели качества результатов обучения; - показатели качества инновационной деятельности (использование информационных технологий, передового опыта педагогической науки и практики) при обучении; - показатели качества, характеризующие материальные вложения в образование; - показатели качества управления образовательными учреждениями. Первая группа показателей. Показатели первой группы характеризуют: качество содержания образования, структуры, образовательных программ и форм организации учебного процесса; эффективность реализации целей обучения и воспитания; наличие развитых педагогических технологий, качество работы системы подготовки и переподготовки педагогических кадров и др. Необходимо также принимать во внимание группу обобщенных показателей качества образовательных систем, к которым можно отнести характеристики оперативности принятия управленческих решений, наличие информационных возможностей, эффективность прямой и обратной связи в системах, прогнозируемость тенденций развития образовательной системы и т.д. Вторая группа показателей. Показатели второй группы характеризуют уровень доступности и индивидуализации обучения; качество организации образовательного процесса, условия и атмосферу преподавания; вариативность учебных программ; соотношение традиционных и инновационных технологий обучения и контроля; соответствие структуры и содержания обучения актуальным тенденциям теории и практики образования; степень внедрения компьютерных методов в обучение, характеристики деятельности образовательного учреждения в основное '(урочное) и не основное (внеурочное) время и т.д. Третья группа показателей. Третью группу составляют показатели, характеризующие результаты контроля и оценки учебных достижений учащихся (внутренние и внешние, полученные в процессе аттестации); качество учебных достижений обучаемых; уровень развития общеучебных и коммуникативных умений; подготовку выпускника школы к жизни в современном обществе высоких технологий; наличие сформированной базы для продолжения образования, умения решать проблемы жизненного характера и т.д. К остальным группам показателей качества образования относятся характеристики использования передового опыта педагогической науки и практики при обучении, размеры финансирования образования, кадровое, информационное, материально-техническое и методическое обеспечение. Дополнительные показатели. При оценке качества образования для принятия управленческих решений необходимо уделять внимание дополнительным показателям, характеризующим социально-экономическое развитие страны, региона, области, района, являющимся следствием национальных процессов и связанным с качеством образования. К ним можно отнести: индекс развития человеческого потенциала (процент грамотного взрослого населения, количество обязательных лет обучения в школе основной доли взрослого населения, количество людей с высшим образованием на 1000 человек); обобщенную характеристику экономической динамики в регионе; характеристику криминогенной обстановки в районе и многие другие. Структурирование показателей, влияющих на качество образования. Все показатели, влияющие на качество образования, по разным основаниям можно разделить на группы. В частности выделяются не изменяющиеся или слабо изменяющиеся со временем факторы (географическое положение школы, ее расположение в городе или в селе, определенном районе города, социально-экономическое окружение образовательного учреждения или социально-экономические характеристики региона и др.) и факторы, подверженные динамичным изменениям (педагогический состав, формы и методы дополнительного образования, уровень обеспеченности родителей учащихся, их социальный статус, миграционные процессы среди населения России и др.). Показатели подразделяются на поддающиеся влиянию со стороны органов управления образованием, изменение которых можно вести целенаправленно для повышения качества образования, и инвариантные, не зависящие от управленческих воздействий. В первую группу, например, входят: использование передового опыта педагогической науки и практики, размеры финансирования образования, кадровое, информационное, материально-техническое обеспечение. Ко второй группе можно отнести: уровень обеспеченности родителей учащихся, их социальный статус, миграционные процессы среди населения России.
|