Гуськова Марина Владимировна. Эвалюация в управлении качеством образования в условиях его модернизации

brief description

Гуськова Марина Владимировна. Эвалюация в управлении качеством образования в условиях его модернизации: диссертация ... доктора педагогических наук: 13.00.01 / Гуськова Марина Владимировна;[Место защиты: Новгородский государственный университет им.Ярослава Мудрого].- Великий, 2015.- 438 с.

На правах рукописи
Гуськова
Марина Владимировна
ЭВАЛЮАЦИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ
В УСЛОВИЯХ ЕГО МОДЕРНИЗАЦИИ
Специальность 13.00.01 - Общая педагогика, история педагогики и образования
Диссертация на соискание ученой степени
доктора педагогических наук
Великий Новгород - 2014
СОДЕРЖАНИЕ
Введение 5
Теоретические основы эвалюации в образовании 26
Исторические этапы и философские парадигмы в развитии
эвалюации 26
Современное состояние теории эвалюации и проблемные
области исследования в отечественном образовании 52
Основные представления об эвалюации в образовании, ее роль в совершенствовании управления качеством
образования 65
Компоненты и виды эвалюации, шаги по ее
выполнению 84
Моделирование в эвалюации, виды связей переменных в
моделях, этапы их построения и дизайн 102
Выводы по первой главе 127
Концептуальный базис эвалюации и механизмы его реализации при формировании информационной и аналитической основы управления качеством
образования в условиях его модернизации 131
Качество образования в современном мире и его трактовка
в новых стандартах системы высшего образования 131
Показатели для оценки эффектов при проведении эвалюации программ и проектов модернизации в управлении качеством
образования 151
Управление качеством образования, его уровни, виды
анализа информации и информационные связи 158
Педагогические измерения в эвалюации 165
Уровни измерений. Количественные и качественные
з
исследования в эвалюации, модели их совмещения в
измерениях 176
Кодирование информации при качественных исследованиях и количественные методы исследования данных
эвалюации 189
Выводы по второй главе 204
Методологические основы эвалюации программ и проектов модернизации образования в контексте
проблем управления его качеством 206
Проблема теоретико-методологического обоснования эвалюации в образовании 206
Основные цели и функции эвалюации в управлении качеством образования в процессе его модернизации в
рамках программ и проектов 218
Принципы научной организации эвалюации программ и
проектов в управлении качеством образования 230
Бипарадигмальная методология измерений в
эвалюации 247
Классическая и современная методологии
измерений в эвалюации 259
Теория генерализации, ее общие положения и дизайны в эвалюации при принятии управленческих решений по
модернизации образования 266
Валидность и аутентичность результатов измерений в
эвалюации 275
Выводы по третьей главе 284
Технологические основы использования эвалюации в управлении качеством образования при внедрении инноваций в учебный процесс 287
4.1 Методика построения логических моделей эвалюации и ее
реализация на примере модели эвалюации внедрения ФГОС в вузе 287
4.2 Методика построения моделей многостадийных
(многоступенчатых) измерителей в эвалюации 298
4.3 Стандарты эвалюации качества проектов и программ
развития высшего образования 317
4.4 Методики оценивания надежности и валидности
результатов многостадийных измерений в рамках компетентностной трактовки качества результатов образования 332
4.5 Методика шкалирования результатов многостадийных
измерений в эвалюации для совершенствования управления качеством образования 345
4.6 Методика разработки измерителей для многостадийных
аттестационных измерений в эвалюации 365
Выводы по четвертой главе 370
Заключение 373
Список литературы 377
Приложения 413
ВВЕДЕНИЕ
Актуальность исследования. Политические, экономические и социальные тенденции, характерные для начала второго десятилетия XXI века, привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Само понятие «качество образования» стало предметом общественных и научных дискуссий представителей самых разных профессий, в том числе, ведущих политических деятелей нашей страны.
Большое внимание проблемам качества образования и совершенствованию процессов управления придается в директивных документах по реализации государственной политики и модернизации отечественного образования. К числу актуальных перемен, направленных на повышение качества образования, можно отнести введение федеральных государственных образовательных стандартов (ФГОС), организационные перемены в структуре управления образовательными организациями, разработку новых подходов к оценке качества и востребованности образовательных услуг на основе механизмов сертификации квалификаций специалистов и выпускников образовательных организаций и ряд других программ по модернизации отечественного образования.
Масштабность процессов модернизации образования и их нарастающая интенсивность требуют совершенствования управленческих воздействий на качество образовательного процесса и достигаемые в нем результаты. Необходима оценка не только результатов, но и последствий инноваций для принятия обоснованных стратегических решений по совершенствованию качества образования. В данном исследовании процесс управления качеством образования предлагается рассматривать как деятельность по реализации целей образования на основе принятия оперативных и стратегических
управленческих решений, координацию функционирования образовательной системы, отслеживание и прогнозирование протекающих в ней процессов, планирование условий и направлений деятельности для повышения качества образования. Росту обоснованности управленческих решений, учету стратегических приоритетов в развитии национальной системы образования способствует эвалюация, теоретический и методологический базис которой закладывает научную основу для распознавания, анализа, прогнозирования и
совершенствования процессов управления качеством образования при реализации программ и проектов по его модернизации.
Современная трактовка термина «эвалюация», предлагаемая в данном исследовании, вкладывает в него весь спектр процессов и результатов оценочно-аналитической и прогностической деятельности по системному исследованию ценности и позитивности образовательных воздействий, обеспечивающих основу принятия обоснованных управленческих решений для совершенствования качества образования. Сама область принятия решений в данной трактовке также относится к сфере эвалюации, поэтому управление качеством образования является не только сферой приложения результатов эвалюации, но и целевым ориентиром ее проведения, что обеспечивает неразрывный контекст осуществления обоих процессов. При этом предполагается, что эвалюация в образовании всегда имеет социально¬педагогическую ориентацию, поскольку она включает направленность на реальную педагогическую помощь субъектам образовательного процесса, а также выявление факторов, препятствующих реализации прав личности на получение качественного образования.
Актуальность исследований по эвалюации в образовании усиливается современной парадигмой теории управления в развитии социально¬экономических систем, опирающейся на стратегические приоритеты, информационно-коммуникативные ресурсы и мониторинг. В целом, можно отметить, что в практике отечественного образования складывается проблемная ситуация, под влиянием которой в научный базис управления качеством образования необходимо ввести теоретико-методологические и методические основы эвалюации, ориентирующие на использование причинно¬обусловленных логических моделей, объективированных информационных потоков и инновационных оценочных технологий при реализации программ и проектов по модернизации образования.
Обобщенный характер трактовки термина «эвалюация» подразумевает многообразие сфер приложения ее научного аппарата: эвалюация для оценки и анализа учебно-воспитательного процесса и его коррекции, эвалюация как разновидность внутренней экспертизы и коллективной самооценки, эвалюация для совершенствования политики и финансовой деятельности образовательных структур на различных уровнях управления, эвалюация в целях совершенствования управления качеством образования при реализации программ и проектов по модернизации образования. Последний аспект применения теории и методологии эвалюации является наиболее общим и непосредственно смыкается с тематикой данного исследования в части получения фундаментальных теоретико-методологических результатов, инвариантных относительно уровней образования.
Эвалюация интенсивно развивается во многих странах, обладающих высокоразвитыми системами образования. Однако в трудах зарубежных авторов преобладает прагматическая ориентация, поэтому многие теоретико-методологические проблемы эвалюации остаются вне сферы внимания. В России исследования по эвалюации пока не получили достаточного развития. Отдельные проблемы эвалюации представлены в трудах отечественных ученых, где упоминается эвалюация в контексте педагогических, социальных или экономических проблем. Тем не менее, уже на сегодняшний день в России сформировался обширный научный базис, необходимый для проведения целенаправленных исследований по эвалюации.
В этот базис входят исследования по фундаментальным проблемам качества образования, исследования по теории педагогических измерений и общим проблемам контрольно-оценочной деятельности педагогов. Сюда же можно отнести концепции построения оценочных систем на различных уровнях функционирования управления в образовании и общие педагогические аспекты совершенствования систем управления качеством образования.
Несмотря на существующий научный базис, в отечественной педагогической науке остается нерешенным целый круг вопросов, связанных с созданием теоретико-методологических и технологических основ эвалюации, обеспечивающих научную организацию всех этапов ее проведения и гарантирующих высокую объективность (надежность), обоснованность (валидность) и сопоставимость обеспечиваемой ею информации. Не в полной мере выявлены функции эвалюации и принципы ее научной организации. В недостаточной степени исследованы вопросы теории генерализации результатов эвалюации, закладывающей методологический базис для принятия обоснованных управленческих решений при выполнении программ и проектов по модернизации образования. Необходимо дальнейшее развитие методологических аспектов измерений в эвалюации. Не предложены модели эвалюации и не проанализированы виды связей переменных в них. Не сформулированы организационно-дидактические требования к качеству компонентов эвалюации. В трудах научного и педагогического сообщества нашей страны слабо представлен понятийный аппарат в сфере эвалюации, измерений и оценки качества результатов образования.
Отсутствует необходимое технологическое обеспечение эвалюации, включающее совокупность методик и рекомендаций по реализации ее процессов и интерпретации результатов. В отечественной педагогической науке нет методик для проведения метаэвалюации, отсутствуют стандарты эвалюации. Не разработаны методики шкалирования, применяемые в условиях интеграции количественных и качественных результатов оценочных процессов и ориентированные на построение специальных шкал в рамках современной трактовки качества результатов образования.
В целом, результаты проведенных аналитических исследований подтверждают необходимость развития теоретико-методологической и технологической базы эвалюации, ее актуальность и значимость для создания эффективной научной основы управления качеством образования в условиях его модернизации.
Поиск путей решения перечисленных научных проблем, а также потребности образовательной практики послужили основой для выбора темы исследования «Эвалюация в управлении качеством образования в условиях его модернизации». В русле тематики была сформулирована ведущая исследовательская проблема. Ее суть состоит в поиске ответа на вопрос: как следует пополнить теоретико-методологический потенциал современной педагогической науки с тем, чтобы развить научный аппарат эвалюации и увеличить тем самым эффективность управленческих воздействий на решение актуальных глобальных задач, способствующих повышению качества отечественного образования в условиях модернизации? Фундаментальные вопросы развития теоретико-методологического обеспечения эвалюации рассматриваются в данном исследовании в контексте общих проблем управления качеством образования на всех его уровнях, а прикладные вопросы - применительно к актуальным направлениям модернизации высшего образования в России.
В соответствии с тематикой и проблемой была определена цель исследования, выбраны его объект и предмет.
Объектом исследования является система управления качеством образования в условиях модернизации.
Предмет исследования - теоретико-методологические, дидактические и технологические основы эвалюации, закладывающие научный базис для совершенствования оперативных и стратегических управленческих воздействий на качество образования в условиях модернизации.
Цель исследования - разработка теоретико-методологических, дидактических и технологических основ, необходимых для научной организации эвалюации в управлении качеством образования в условиях его модернизации.
Гипотеза исследования. В основе исследования лежит предположение о том, что эффективность управления качеством образования в условиях его модернизации повысится, если в основе процесса осуществления управленческих воздействий будет лежать эвалюация, теоретико¬методологические, дидактические и технологические основы которой:
- соответствуют приоритетным направлениям модернизации отечественного образования;
- строятся с опорой на научный аппарат современной педагогической науки и бипарадигмальную методологию измерений, регламентирующую сочетание количественного и качественного уровней измерений в эвалюации;
- обеспечивают высокую информативность оценочных процессов благодаря высокой надежности, валидности, аутентичности, сопоставимости и прогностичности результатов эвалюации;
- отражают специфику современной трактовки качества результатов образования, предопределяя необходимость использования инноваций в управлении качеством образования;
- включают научный аппарат теории генерализации для обеспечения справедливости и обоснованности управленческих решений, принимаемых по результатам эвалюации при модернизации образования.
Поставленная цель и сформулированная гипотеза реализуются в ходе решения следующих конкретных задач исследования:
1. Провести анализ и обобщить результаты научных исследований по рассматриваемой проблематике с целью выявления перспективных направлений развития научного аппарата образовательной эвалюации, определить этапы процесса развития эвалюации в образовании.
2. Развить методологические основы научной организации эвалюации и метаэвалюации. На основе полученных результатов сформировать подходы к обеспечению высокого качества результатов эвалюации, необходимого для принятия обоснованных решений в управлении качеством образования в условиях его модернизации.
3. Разработать концепцию эвалюации, включающую, в том числе, основные определения понятийного аппарата, подходы к построению причинно-обусловленных моделей эвалюации и определению связей между переменными различного вида, дидактических требований к компонентам эвалюации. Выделить этапы эвалюации программ и проектов и разработать механизмы их реализации.
4. Установить роль эвалюации в управлении качеством образования в контексте основных направлений его модернизации.
5. Разработать технологические подходы к проведению эвалюации и метаэвалюации, а также стандарты эвалюации, включающие, в том числе, организационно-педагогические условия применения методик.
6. Провести апробацию совокупности методик эвалюации на примере внедрения федеральных государственых образоватльных стандартов в систему высшего образования.
Методологической основой исследования послужили компоненты новой парадигмы эвалюации (эпистемология, онтология и методология), раскрытые автором исследования на основе критического анализа философских парадигм позитивизма и постпозитивизма (Campbell, Cook, Doren, Reichardt, Rallis и др.), конструктивизма (Guba, Heshusius, Lincoln, Smith и др.), прагматизма и неопрагматизма (Brewer, Mertens, McLaughlin, Maxcy, Patton, Tashakkori, Teddlie и др.) и трансформизма (Eichler, Harding и др.). Основополагающие компоненты парадигм, включающие современные взгляды на положения о всеобщей связи и целостности реального мира, познание и его возможности, связь знания и реальности, условия достоверности и истинности, послужили в исследовании идентификаторами для выделения исторических этапов развития эвалюации и предопределили принципы ее научной организации.
Методологическим базисом исследования являлся также синергетический подход (А.А.Ворожбитова, В.А.Игнатова, Е.Н.Князева, Ю.В.Шаронин и др.), необходимость обращения к которому была обусловлена междисциплинарным характером данной работы, построенной на интеграции многих научных направлений. В исследовании переплетается научный аппарат педагогики, психологии, теории педагогических измерений, теории управления образовательными системами и принятия управленческих решений, статистики и теории вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике эвалюации в контексте актуальных проблем модернизации высшего образования.
В исследовании использовались системный и процессный подходы (Н.И.Аксенова, И.В.Блауберг, Г.А.Бордовский, О.В.Виханский, А.Л.Новицкий,
В.Н.Садовский, С.В.Сидоров, С.А.Степанов, Ю.Г.Юдин и др.), позволившие
провести анализ и систематизировать данные по трактовкам качества результатов образования, а также выстроить причинно-обусловленные логические модели эвалюации, адекватные актуальным проблемам управления качеством образования.
Методологический базис измерений в эвалюации составили бипарадигмальная методология (В.И.Звонников и др.), сочетающая количественный и качественный уровни измерений, и теория IRT (Е.Ю.Карданова, К.Т.Кузовлева, В.Г.Наводнов, Ю.М.Нейман, М.Б.Челышкова, E.Baker, R.Hambleton и др.).
Привлекалась методология социально-педагогического проектирования (В.Ф.Башарин, Э.Воутилайнен, Е.П.Попова, А.И.Раев, В.В.Щербина и др.), служащая научной базой для проведения исследований в области управления качеством образования, рассматривающая педагогическую технологию как категорию дидактики и предполагающая использование совокупности исследовательских, поисковых и проблемных методов для осуществления управления социальными процессами по результату.
Значительное внимание уделялось теории генерализации (В.И.Звонников, Т.В.Третьякова, R.Brennan, L.Cronbach и др.), входящей в состав методологических основ педагогических измерений и рассмотренной в данном исследовании применительно к задачам научной организации процесса принятия управленческих решений по результатам эвалюации.
Теоретической базой исследования послужили работы отечественных авторов, затрагивающие проблемы эвалюации (Л.А.Бархатенова, А.Л.Гавриков, Е.А.Галкина, Н.Н.Гомулина, Л.Н.Данилова, О.А.Ефремова, О.М.Зайченко,
B. К.Загвоздкин, В.И.Звонников, В.З.Кантор, Е.А.Макарова, В.А.Мясников, Н.Н.Найденова, Е.А.Пальмова, М.Н. Певзнер, Г.С.Поровский, Т.В.Сергеева, И.А.Тагунова, Т.В .Третьякова, М.Б.Челышкова, Р.М.Шерайзина и др.), а также результаты исследований зарубежных авторов, освещающие практико-ориентированные вопросы проведения эвалюации, этические проблемы при сообщении ее результатов, проблемы взаимосвязи эвалюации и контроля качества обучения, программы по развитию и использованию сфокусированной эвалюации (J.Altschuld, M.Anderson, E.Babbie, D.Barlow, R.Bogdan, J.Braun,
A. Bryant, K.Charmaz, H.Chen, A.Coghlan, C.Cook, J.Cresswell, L.Delk, D.Dillman, T.Edno, D.Fetterman, E.Fowler, J.Gamson, J.Greene, T.Hedrick, G.Heiman, J.Hyde,
C. King, T.Kubiszyn, M.Langenbach, C.Lee, G.Matt, S.Maxcy, McNamee,
D. Mertens, A.Onwuegbuzie, M.Patton, L.Richardson, J.Sanders, R.Stake, S.Wood и
ДР-)-
Непосредственно к работам по эвалюации примыкают исследования отечественных и зарубежных ученых по теоретическим аспектам педагогических измерений (А.Е.Бахмутский, Н.Ю.Демина, К.Д.Дятлова, Н.Ф.Ефремова, В.И.Звонников, Е.Ю. Карданова, Г.С.Ковалева, К.Т.Кузовлева, Н.А.Кулемин, А.С.Масленников, А.Н.Майоров, Е.А.Михайлычев,
B. Г.Наводнов, Ю.М.Нейман, В.М.Мокосеев, И.А.Морев, В.Ю.Переверзев,
C. А.Сафонцев, М.Б.Челышкова, В.В.Черненко, А.Г.Шмелев, R.de Ayala,
D. Andrich, W.Angoff, E.Baker, A.Birnbaum, R.Brennan, R.Fischer, T.Haebara,
R.Hambleton, P.Holland, M.Kolen, G.Kingsbury, F.Lord, A.Maydeu-Olivares,
G. Rasch, H.Swaminathan, D.Tissen, W.van der Linden, H.Wainer, D.Weiss,
M.Wilson, L.Yao и др.).
К теоретическому базису исследования относятся работы по
совершенствованию систем управления качеством образования, а также концепции построения оценочных систем в образовании, включая вопросы оценки качества достижений обучаемых, проведения мониторинга и научной организации процессов управления и принятия решений (В.Н.Аверкин, Т.Э.Аврукина, Д.Н.Богоявленский, В.А.Болотов, И.П.Волков, Б.Л.Вульфсон,
A. З.Гасанов, В.И.Гинецинский, В.В.Давыдов, Н.Ю.Демидова, Н.П.Капустин,
О.И.Ларичев, Т.Ю.Ломакина, А.Е.Марон, Л.Ю.Монахова, Э.М.Никитин, Т.Г.Новикова, А.А.Остапенко, В.П.Панасюк, В.М.Полонский, А.С.Сафонцев, П.И.Третьяков, Т.В.Третьякова, Е.В.Филюк, Т.И. Шамова и др.).
В научный базис данной работы также вошли концептуально-методологические исследования, рассматривающие фундаментальные аспекты качества образования и расставляющие приоритеты в определении его критериев, в том числе, в рамках систем менеджмента качества образования на основе стандартов ИСО 9000-2000, EQUIS или требований различных конкурсов (В.Н.Аверкин, Ю.П.Адлер, В.И.Андреев, О.В.Аристов,
B. И.Байденко, А.Г.Бермус, М.В.Богуславский, А.Л.Гавриков, Н.М.Громова, М.Б.Гузаиров, И.А.Зимняя, Д.А.Иванов, В.А.Исаев, В.А.Качалов, К.Г.Митрофанов, В.М.Монахов, П.Н.Новиков, М.М.Поташник, Н.А.Селезнева,
О.Ф.Селиверстива, А.Ф.Сафронов, В.П.Соловьев, Б.И.Хасан, А.В.Хуторской,
А.Н.Чекмарев, В.Д.Шадриков и др.).
Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.
В число методов теоретического исследования вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. К общенаучным методам эмпирического исследования можно отнести: наблюдение, экспертизу, моделирование, измерение, факторный и корреляционный анализ. К группе специальных методов следует отнести причинно-обусловленное моделирование, математическое моделирование (вероятностные модели теории IRT) и дисперсионный анализ ANOVA.
Экспериментальной базой исследования являлись Центр мониторинга качества образования ФГБОУ ВО «Ростовский государственный университет путей сообщения» (РГУПС, г.Ростов-на-Дону), кафедра педагогических измерений Института качества высшего образования ФГАОУ ВО «Национальный исследовательский технологический университет «МИСиС» (г.Москва), Учебно-научный центр аккредитации образовательных программ и обеспечения деятельности учебно-методического объединения ФГБОУ ВО «Государственный университет управления (ГУУ)» (г.Москва), ФГФОУ ВО «Национальный исследовательский ядерный университет «МИФИ», ФГБОУ ВО «Российский государственный университет нефти и газа имени И.М.Губкина (г.Москва).
Исследование осуществлялось на протяжении трех этапов.
1 этап (2005-2010гг.) - подготовительный и аналитико-поисковый включал: анализ практических проблем, сложившихся при решении задач управления качеством в процессе реализации программ и проектов модернизации образования (построение вузовских систем мониторинга и систем менеджмента качества образования, переход на новые ФГОС, внедрение компетентностного подхода, сертификацию квалификаций специалистов и выпускников); анализ литературных источников (свыше 400 источников); постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы; моделирование объектов исследования. Предпосылками аналитической работы послужил опыт профессиональной деятельности в сфере формирования информационной среды для управления качеством образования, полученный автором диссертации в Центре мониторинга качества образования РГУПС, выступления на конференциях и совещаниях (III Международная научно-практическая конференция «Телеком Транс-2005» и другие).
2 этап (2011-2012гг.) - аналитико-синтетический, нацеленный на
обобщение практического опыта, анализ литературы по выбранной
исследовательской проблеме, разработку концептуальной и методологической части результатов исследования, проведение развернутого анализа результатов выполнения программ и проектов в рамках проектов Федеральной целевой программы развития образования на 2011-2015 годы (ФЦПРО). На этом этапе также шла подготовительная работа к апробации результатов исследования, включавшая разработку измерителей в соответствии с требованиями ФГОС в РГУПС по направлению подготовки «Менеджмент» (бакалавриат), анализ статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальных авторских лекций по эвалюации, их внедрение в систему повышения квалификации тьюторов и систему повышения квалификации профессорско-преподавательского состава образовательных организаций высшего образования на базе кафедры педагогических измерений Института качества высшего образования НИТУ МИСиС, подготовку монографии, статей, апробацию результатов исследований на конференциях, симпозиумах и совещаниях.
3 этап (2013-2014гг.) - заключительный: апробация методик, разработанных в процессе исследования, обобщение данных анализа, разработка выводов, подведение итогов исследования, подготовка монографии, оформление диссертационного исследования, разработка рекомендаций по использованию результатов исследования в управлении качеством образования, публикация результатов исследования, разработка рекомендаций по перспективному продолжению исследования.
Научная новизна работы заключается в том, что:
- выделены этапы исторического пути развития эвалюации в образовании. В качестве критериев дифференциации этапов выбрана смена доминирующей философской парадигмы и методологии измерений в образовании. Благодаря проведенной периодизации удалось вычленить сущностные предпосылки развития теории и методологии эвалюации, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом, а также предложить новую трактовку парадигмы эвалюации, которая, по мнению автора исследования, наиболее адекватна ее современному научному базису;
- разработаны основные компоненты методологического базиса эвалюации, рассматриваемые в контексте проблем управления качеством образования в условиях его модернизации. Предложена совокупность принципов, регламентирующих научную организацию эвалюации, выявлены функции эвалюации в управлении качеством образования, определены методологические подходы к обеспечению качества результатов эвалюации, полученных на основе педагогических измерений, рассмотрены основные положения теории генерализации в контексте проблемной области исследования;
- разработана целостная концепция эвалюации, ориентированная на инновационные преобразования в системе образования и включающая цели проведения эвалюации, основные определения понятийного аппарата, классификацию видов эвалюации, классификацию видов причинно¬обусловленных моделей эвалюации и оцениваемых переменных, дидактические требования к компонентам и процессу эвалюации, необходимые для повышения обоснованности, эффективности и согласованности решений в управлении качеством образования, а также модели и механизмы проведения эвалюации;
- предложены этапы осуществления научно-организованного процесса эвалюации, включающие: построение ее концептуальной модели; идентификацию ключевых этапов процесса эвалюации; определение переменных измерения; разработку логической модели эвалюации программ и проектов модернизации образования; сбор данных по результатам проведения эвалюации; анализ и интерпретацию данных для получения оперативной и прогностической информации при принятии управленческих решений по совершенствованию качества образования в условиях его модернизации;
- обоснована роль педагогических измерений в эвалюации, предложены научные подходы к количественному и качественному анализу результатов эвалюации программ и проектов модернизации образования, проведен сравнительный анализ возможностей использования математических моделей теории IRT в эвалюации, построена классификационная схема измерителей, предложены модели многостадийных измерителей для проведения эвалюации при внедрении ФГОС в систему высшего образования;
- предложены теоретические подходы к построению причинно¬обусловленных логических моделей эвалюации, проанализированы их виды, классифицированы виды связей переменных в эвалюации, сформулированы требования для реализации комплексного подхода к построению модели эвалюации, в основе которой лежит предположение о том, что совершенствование процесса управления на основе его оперативной коррекции
неизбежно ведет к более высокой эффективности программ и проектов по модернизации образования;
- обоснована актуальность динамической парадигмы качества результатов образования с позиций ее адекватности современным задачам совершенствования управления качеством на основе информационно¬аналитических данных эвалюации, выявлена роль эвалюации в построении систем менеджмента качества образования, классифицированы виды анализа результатов эвалюации;
- разработаны стандарты эвалюации, гарантирующие высокую надежность, валидность и аутентичность ее результатов, предложена совокупность методик для обеспечения высокой надежности и валидности результатов эвалюации при проведении метаэвалюации для многостадийных измерений;
- разработаны методики создания компетентностно-ориентированных многостадийных измерителей и шкалирования результатов эвалюации, ориентированные на внедрение компетентностного подхода в систему высшего образования, обеспечивающие высокую сопоставимость данных многостадийных измерений и корректную интеграцию количественных и качественных уровней измерения.
Теоретическая значимость работы обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:
- определены основные этапы исторического пути развития эвалюации и предложена инновационная трактовка компонент (эпистемологии, онтологии и методологии) новой парадигмы, определяющей ключевые теоретические положения эвалюации по отношению к проблемам природы познания и его возможностей, связи знания и реальности, условиям достоверности и истинности знания;
- систематизированы представления о категории «качество образования», рассматриваемой в русле современных тенденций модернизации высшего образования. Предложен ряд определений компетенций обучаемых для системы высшего образования. Построена система сбалансированных показателей качества образования. Введена динамическая трактовка качества результатов образования и обоснована ее адекватность компетентностному подходу. Предложены наиболее перспективные подходы к оценке качества
результатов обучения в рамках компетентностного подхода на основе педагогических измерений;
- введены в научный оборот основные определения понятийного аппарата эвалюации (определения эвалюации, ее видов и компонент, модели эвалюации, метаэвалюации, генерализации данных, информационного базиса эвалюации, управления качеством образования и т.д.), обеспечивающие как научную организацию самой эвалюации, так и корректность применения ее результатов в управлении качеством образования;
- предложены современные подходы к трактовке объективности педагогических измерений и размерности пространства измерений, объединяющие теории надежности, валидности и размерности в единую систему;
- разработаны составляющие концептуального базиса эвалюации (определение цели, гипотез, планируемых результатов, механизмов реализации, инструментария и т.д.), позволяющие построить логические модели эвалюации, отражающие особенности ее видов и ориентированные на инновационные преобразования в системе высшего образования;
- разработана типология видов современных измерителей при сочетании различных уровней многостадийных измерений, отражающая специфику компетентностного подхода к трактовке качества результатов образования и учитывающая возрастные возможности студентов;
- разработаны и обоснованы дидактические требования к качеству результатов эвалюации, ее инструментария и условий проведения на основе метаэвалюации. Предложена типология видов валидности результатов эвалюации. Совокупность дидактических требований к качеству результатов эвалюации структурирована в форме стандартов эвалюации;
- предложены теоретические подходы к обеспечению сопоставимости результатов эвалюации при их использовании для сравнительных исследований в управлении качеством образования.
В целом, выполненные теоретические наработки легли в основу целостной концепции эвалюации в образовании, представленной в диссертационном исследовании.
Практическая значимость исследования достигается за счет методических и технологических наработок, нацеленных на обеспечение корректности использования результатов эвалюации в управлении инновациями по совершенствованию качества образования, преимущественную ориентацию области результатов исследования на актуальные потребности и направления модернизации образования. В частности, в число практико¬ориентированных результатов исследования вошли стандарты эвалюации, методики оценивания надежности и валидности данных многостадийных измерений, методика подсчета коэффициента генерализации, методика обеспечения сопоставимости результатов эвалюации, дизайны генерализации, модели и методики создания компетентностно-ориентированных многостадийных измерителей, методики шкалирования результатов эвалюации, ориентированные на компетентностную трактовку качества результатов высшего образования и многостадийные измерения.
Большинство результатов работы внедрено в практику выполнения проекта «Разработка и апробация модели и технологии создания и применения измерительных средств в соответствии с требованиями профессиональных стандартов для процедур оценки и сертификации квалификаций» ФЦПРО на 2011-2015 годы, в деятельность учебно-методического объединения по образованию в области менеджмента, в процесс внедрения ФГОС по направлению подготовки «Менеджмент» в РГУПС и в деятельность его Центра мониторинга качества образования.
Наиболее важным новым результатом практико-ориентированного характера можно считать стандарты эвалюации, использование которых позволит получать обоснованные управленческие решения в системе сертификации квалификаций специалистов и выпускников образовательных организаций. По результатам применения стандартов выполнена коррекция системы индикаторов мониторинга деятельности центров сертификации и оценки профессиональных квалификаций, экспертно-методических центров при реализации проектов в рамках ФЦПРО на 2011-2015 годы. Стандарты эвалюации в части, касающейся качества результатов измерений, нашли широкое применение в деятельности Центра сертификации педагогических тестовых материалов, функционирующего в рамках Института качества высшего образования НИТУ МИСиС.
В целом, материалы диссертации имеют практическую ценность для оценивания качества процесса и результатов выполнения проектов и программ модернизации образования, разработки систем менеджмента качества образования, деятельности управленческих структур федерального, регионального и муни

bibliography

ЗАКЛЮЧЕНИЕ
В соответствии с поставленными задачами исследования был проведен анализ и обобщены результаты научных исследований по развитию аппарата образовательной эвалюации. Анализ позволил выделить четыре основных этапа в истории развития эвалюации, связанные с доминированием одной из философских парадигм и сделать вывод о нарастающем расширении сферы применения эвалюации. Автором данного исследования предложена новая трактовка компонент научной парадигмы эвалюации, которая ориентирована на доминирующие современные тенденции модернизации образования и может быть связана с началом пятого периода в развитии образовательной эвалюации. По результатам анализа автором исследования выстроена классификационная схема видов эвалюации с опорой на мировой опыт ее проведения, обладающая признаками полноты и непротиворечивости.
Развернутый анализ видов эвалюации позволил предложить ее причинно-обусловленные модели и диаграммы пути, отличающиеся от классических моделей своей новизной и системностью, а также определить прогнозирующие связи, лежащие вне сферы причинно-обусловленного моделирования. Таким системообразующим звеном стал процессный подход к управлению этапами эвалюации, непосредственно смыкающийся с проблемами управления качеством образования при выполнении программ и проектов по модернизации образования.
Методологические основы эвалюации и метаэвалюации, разработанные в данном исследовании, закладывают базис, необходимый для научной организации эвалюации программ и проектов по модернизации отечественного образования. В состав методологического базиса вошли основные функции эвалюации, принципы организации процесса эвалюации, предлагаемые в данном исследовании, и ориентированные на профессиональный уровень его осуществления, современная методология измерений в эвалюации (reopnalRT), теория валидности, теория генерализации или обобщения результатов измерений, без которой нельзя использовать данные эвалюации в управлении качеством проектов и программ и принятии обоснованных решений по модернизации образования. По каждому компоненту методологического базиса в исследовании
получены новые результаты, обогащающие современную педагогическую науку.
Значительную роль в результатах данного исследования следует отвести бипарадигмальной методологии эвалюации, предписывающей использование как количественных, так и качественных данных. В целом, по результатам исследования методологических основ делается вывод о том, теория эвалюации должна быть адекватна исследуемым феноменам, соответствовать реальности, быть обобщаемой (включать генерализуемые данные) и допускать возможность проведения мета-эвалюации, а также ее результаты должны быть также понятными тем, кто ее применяет при оценке программ и проектов модернизации образования.
Концептуальные основы эвалюации, разработанные в данном исследовании, включают ряд основных определений понятийного аппарата, подходы к построению причинно-обусловленных моделей эвалюации, описание связей между переменными различного вида и организационно-дидактические требования к компонентам эвалюации. В основу распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования предлагается положить данные эвалюации, основанные на количественных и качественных измерениях. Обоснованное использование информации в управлении качеством образования в условиях его модернизации требует построения определенной иерархии и взаимосвязи информационных потоков. Такой системный подход, предложенный в исследовании, позволил связать все теоретические компоненты в единую концепцию эвалюации программ и проектов по модернизации образования, включив в нее механизмы реализации эвалюации.
К числу важнейших организационно-дидактических требований к механизму осуществления эвалюации в управлении качеством образования следует отнести: использование позитивного опыта предыдущего применения аппарата эвалюации в образовании; сочетание динамического, сравнительного, дифференцирующего и прогностического анализа данных о качестве образования; выявление иерархии при построении взаимосвязи информационных потоков с учетом общих целей управления качеством образования и прикладных целей эвалюации; применение полной системы сбалансированных показателей качества образования, поддающейся операционализации при измерении; учет научных требований к качеству информационной базы эвалюации (обеспечение высокой надежности, валидности и аутентичности данных измерений); анализ генерализуемости данных эвалюации в соответствии с дизайном, определяемым задачами управления качеством образования; учет контекстных факторов и смещающих факторов, влияющих на качество образования; применение методик минимизации систематических ошибок измерения; стандартизация процедур сбора, обработки, анализа и интерпретации данных эвалюации; обеспечение сопоставимости результатов эвалюации в соответствии с задачами управления при модернизации образования.
В число технологических результатов данного исследования вошли: методики оценивания надежности и валидности данных эвалюации при многостадийных измерениях, стандарты эвалюации, методика разработки многостадийных измерителей в рамках компетентностного подхода и методики шкалирования и установления пороговых баллов при оценивании уровня компетентности студентов.
Для реализации методик в исследовании предложен ряд дидактических и технологических требований к сбору, обработке и интерпретации результатов измерений в эвалюации.
Результаты апробации совокупности методик эвалюации на примере внедрения ФГОС в систему высшего образования (направление подготовки «Менеджмент») говорят об их действенности и возможности широкого применения в отечественном образовании.
В целом, анализ исторического пути развития эвалюации в образовании и современного состояния дел в этой сфере позволил сделать вывод о нарастающей актуальности развития научного аппарата эвалюации в отечественном образовании. В России необходимо формировать независимые профессиональные структуры - институты эвалюации, занимающиеся ее осуществлением как по государственным заказам для программ и проектов модернизации образования, так и по заказам отдельных
образовательных организаций с целью совершенствования образования.