Берестнева Ольга Григорьевна. Системные исследования и информационные технологии оценки компетентности студентов

Краткое описание

Берестнева Ольга Григорьевна. Системные исследования и информационные технологии оценки компетентности студентов : диссертация ... доктора технических наук : 05.13.01 / Берестнева Ольга Григорьевна; [Место защиты: Том. политехн. ун-т].- Томск, 2007.- 356 с.: ил. РГБ ОД, 71 07-5/794

ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Берестнева Ольга Григорьевна
СИСТЕМНЫЕ ИССЛЕДОВАНИЯ И ИНФОРМАЦИОННЫЕ
ТЕХНОЛОГИИ ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ
Специальность: 05.13.01
Системный анализ, управление и обработка информации
(по отрасли: информация и информационные системы)
Диссертация на соискание ученой степени
доктора технических наук
доктор технических наук,
профессор В.А. Кочегуров
Томск 2007 
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 4
ГЛАВА 1. СИСТЕМНЫЕ АСПЕКТЫ КОМПЕТЕНТНОСТИ СТУДЕНТОВ И ЕЕ ИЗМЕРЕНИЕ 13
1.1. КОМПЕТЕНТНОСТНЫЙ ПОДХОД К ОБРАЗОВАНИЮ И МОДЕЛИ КОМПЕТЕНЦИЙ/КОМПЕТЕНТНОСТЕЙ 13
1.2. СИСТЕМНЫЙ ПОДХОД В ИЗУЧЕНИИ КОМПЕТЕНТНОСТИ СПЕЦИАЛИСТА 28
1.3. ВОПРОСЫ ОЦЕНКИ КОМПЕТЕНТНОСТИ 32
1.4. ФОРМАЛИЗОВАННЫЕ ПРОЦЕДУРЫ ОЦЕНКИ КОМПЕТЕНТНОСТИ 38
1.4.1. Формализованное описание процедуры государственной аттестации
качества полтотовки выпускников вузов 38
1.4.2. Основные понятия и молели квалиметрии 42
J .4.3. Унифицированная модель аттестации как модель оценки: интерпретация основных компонентов [3/7] 43
1.4.4. Типы метолов свертывания, используемых в моделях оценки 44
1.4.5. Особенности молели акачества полтотовки выпускника» вуза как объекта
оценки 50
Выводы ПО ГЛАВЕ 1 57
ГЛАВА 2. РАЗРАБОТКА ИНСТРУМЕНТАРИЯ ДЛЯ ИЗМЕРЕНИЯ И ОЦЕНКИ КОМПЕТЕНТНОСТИ ПО РЕЗУЛЬТАТАМ ТЕСТИРОВАНИЯ И ЭКСПЕРТНОГО ОЦЕНИВАНИЯ 60
2.1. ТЕХНОЛОГИИ ОЦЕНКИ КОМПЕТЕНТНОСТИ НА ОСНОВЕ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ 60
2.1.1. Особенности пелагогического и психолиагностическото тестирования 60
2.1.2. Применение тестовых метолов для измерения и оценки специальной
компетентности [педагогическое тестирование) 62
2.1.3. Применение психодиагностического тестирования для измерения и оценки
компонентов компетентности 71
2.1.4. Выбор психолиатностических метоли к лля оценки и измерения компонентов
полсистемы «Профессионально - леятельностная компетентность» 77
2.1.5. Разработка компьютерных версий проективных метолик 81
2.2. ПРИМЕНЕНИЕ ЭКСПЕРТНО-СТАТИСТИЧЕСКОГО ПОДХОДА для РЕШЕНИЯ ЗАДАЧ АНАЛИЗ И ОЦЕНКИ
КОМПЕТЕНТНОСТИ 88
2.2. !. Разработка алгоритмов обработки и анализа результатов экспертного
оценивания. Основные понятия теории экспертного оценивания 88
2.2.2. Решение залач опрелеления компонентов и элементов компетентности на
основе обобщенною экспертного оценивания 94
2.2.3. Опрелеление психологических и личностных качеств, необхолимых лля
формирования специальной компетентности 96
2.2.4. Опрелеление требований к компетентности молодь/х специалистов со
стороны работолателей Ю0
2.2.5. Анализ компонентов ценностно-смысловой компетентности (отношение
стулентов к изучаемым лисциплинам) 105
Выводы ПО ГЛАВЕ 2 115
ГЛАВА 3. ТЕХНОЛОГИЯ ВЫЯВЛЕНИЕ СКРЫТЫХ ЗАКОНОМЕРНОСТЕЙ В СТРУКТУРЕ КОМПЕТЕНТНОСТИ (НА ПРИМЕРЕ ИССЛЕДОВАНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ КОМПЕТЕНТНОСТИ). 118
3.1. ОСНОВНЫЕ ЭТАПЫ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ ВЫЯВЛЕНИЯ СКРЫТЫХ ЗАКОНОМЕРНОСТЕЙ В
СТРУКТУРЕ КОМПЕТЕНТНОСТИ 118
3.2. ТЕХНОЛОГИЯ ВЫЯВЛЕНИЯ СКРЫТЫХ ЗАКОНОМЕРНОСТЕЙ В СТРУКТУРЕ КОМПЕТЕНТНОСТИ (НА ПРИМЕРЕ
ИССЛЕДОВАНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ КОМПЕТЕНТНОСТИ) 122
3.2. /. Задача исслелования интеллектуальной компетентности в области научно-технической леятельности 122
3.2.2. Технология выявления устойчивых логических закономерностей в структуре
интеллектуальной компетентности 126
Выводы ПО ГЛАВЕ 3 162
ГЛАВА 4. РАЗРАБОТКА ИНТЕГРАЛЬНЫХ ПОКАЗАТЕЛЕЙ И КРИТЕРИЕВ ОЦЕНКИ КОМПЕТЕНТНОСТИ И ФОРМИРОВАНИЯ РЕЙТИНГА СТУДЕНТОВ 164
4.1. ЗАДАЧА ФОРМИРОВАНИЯ ИНТЕГРАЛЬНЫХ ПОКАЗАТЕЛЕЙ И КРИТЕРИЕВ 164
4.2. ФОРМАЛИЗОВАННЫЕ КРИТЕРИИ В ВИДЕ ФАКТОРНЫХ МОДЕЛЕЙ 166
4.3. АЛГОРИТМЫ И ТЕХНОЛОГИИ ПРИНЯТИЯ РЕШЕНИЙ 173
4.3.1. Залачи отбора и упорялочивания объектов образовательного процесса... 173
4.3.2. Принятие решений на основе минимаксного критерия 177
4.3.3. Алгоритм принятия решения в условиях опрелеленности 181
4.3.4. Принятие решений в нечетких условиях по схеме Веллмана- Зале 183
Выводы по ГЛАВЕ 4 188
ГЛАВА 5. ПРИМЕНЕНИЕ КЛАССИФИКАЦИОННЫХ МОДЕЛЕЙ В ЗАДАЧАХ ИССЛЕДОВАНИЯ, ДИАГНОСТИКИ И ПРОГНОЗИРОВАНИЯ КОМПЕТЕНТНОСТИ 189
5.1. ВИДЫ КЛАССИФИКАЦИОННЫХ МОДЕЛЕЙ. ПРЕОБРАЗОВАНИЕ ПРОСТРАНСТВА ИСХОДНЫХ ПРИЗНАКОВ
189
5.2. ПРИМЕНЕНИЕ КЛАССИФИКАЦИОННЫХ МОДЕЛЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧ ДИАГНОСТИКИ И
ПРОГНОЗИРОВАНИЯ КОМПЕТЕНТНОСТИ 194
5.2.1. Прогнозирование развития интеллектуальной компетентности (успешности в
интеллектуальных вилах леятельности) на основе регрессионных моделей 195
5.2.2. Прогнозирование стиля учебной леятельности (как компонента прелметно-
леятельностной компетентности) на основе лискриминантного анализа /99
5.2.3. Применение неолноролной послеловательной процедуры распознавания
Аля лиагностики компетентности 207
5.2.4. Принятие решений о компетентности специалиста на основе нечеткого
молелирования 223
5.3. ПРИМЕНЕНИЕ МЕТОДОВ КЛАСТЕРНОГО АНАЛИЗА В СИСТЕМНЫХ ИССЛЕДОВАНИЯХ КОМПЕТЕНТНОСТИ 231
5.3. !. Выявление типов интеллектуальной компетентности 233
5.3.2. Выявление типологий личностно-профессионального становления в
структуре ценностно-смысловой компетентности 241
5.3.3. Выявление типологий в структуре профессионально-леятельностной
компетентности 244
Выводы по ГЛАВЕ 5 249
ГЛАВА 6. КОМПЬЮТЕРНЫЕ СИСТЕМЫ ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ И ВЫПУСКНИКОВ ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА 251
6.1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ОЦЕНКИ КОМПЕТЕНТНОСТИ УЧАСТНИКОВ ОБРАЗОВАТЕЛЬНОГО
ПРОЦЕССА 251
6.2. ЭКСПЕРТНАЯ СОВЕТУЮЩАЯ СИСТЕМА ДЛЯ АБИТУРИЕНТОВ ТОМСКОГО ПОЛИТЕХНИЧЕСКОГО
УНИВЕРСИТЕТА 260
6.3. КОМПЬЮТЕРНЫЕ СИСТЕМЫ ОЦЕНКИ ПРОФЕССИОНАЛЬНОЙ ПРИГОДНОСТИ СТУДЕНТОВ И
ВЫПУСКНИКОВ ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА 263
6.3.1. Информационная система оценки профессиональной психофизической
готовности стулентов технического университета 263
6.3.2. Компьютерная система оценки профессиональной приголности
выпускников технических специальностей (на примере физико-технического факультета ТПУ) 269
6.3.3. Экспертная система профессионального отбора стулентов лля обучения
на военной кафелре 275
6.3.4. Компьютерная система оценки компетентности мололых специалистов по
результатам экспертного оценивания 283
Выводы ПО ГЛАВЕ 6 287
ЗАКЛЮЧЕНИЕ 289
ЛИТЕРАТУРА 295
ПРИЛОЖЕНИЕ 322

Список литературы

Заключение
В диссертационной работе по результатам выполненных теоретических и экспериментальных исследований создана информационная технология оценки компетентности студентов. Предложенная технология объединяет подходы, разработанные в рамках различных научных направлений, и вносит значительный вклад в решение данной проблемы.
Перечислим основные результаты, в которых отражена научная новизна и практическая ценность диссертационной работы.
1. Определена актуальность проблемы формирования компетенций
специалиста как основной цели высшего образования. Выделено 2 основных класса компетенций: ключевые и специальные. Дано определение ключевых компетенций и сформулированы их отличия от специальных
компетентностей. Обоснована необходимость использования системного подхода и акмеологической концепции развития профессионала для решения задач исследования и оценки компетенций/компетентностей студентов высших учебных заведений.
2. Проанализированы существующие модели компетентности
специалиста с высшим образованием. Построена модель состава компетентности студентов, интегрирующая как отечественный, так и зарубежный опыт моделирования компетентности. Выделены основные компоненты компетентности студентов инженерно-технического профиля, сформирован набор показателей для каждого из компонентов. Установлено, что в настоящее время нет единого подхода к решению задачи оценки и диагностики компетентности, в связи с чем, актуальной является задача разработки методов и информационных технологий для решения данных задач. Сформулированы основные прикладные задачи, связанные с оценкой компетентности: разработка системы показателей для измерения
(количественной оценки) компонентов и элементов компетентности; формирование норм (и эталонов) для вычисления уровня обладания различного вида компетенциями/компетентностями; разработка
интегральных показателей для оценки основных четырех подсистем компетентности и уровня компетентности специалиста с высшим техническим образованием; разработка процедур принятия решения для задач, связанных с конкурсным отбором.
Определены основные проблемы, методы и подходы для решения таких задач: тестовые технологии, методы экспертного оценивания, методы мягких вычислений, методы многомерного анализа данных.
3. Выделены основные компоненты компетентности студентов инженерно-технического профиля, сформирован набор показателей для каждого из компонентов. Выявлены особенности измерения компонентов компетентности и определены методики для их измерения при использовании сформированного набора показателей. Сделан вывод о необходимости разработки методов оценки компетентности с учетом разнотипности и нечеткости показателей, входящих в состав модели компетентности. Показано, что возможными путями решения данной проблемы является применение методов нечетких множеств и унификации данных (т.е. с учетом особенностей обработки данных в различных измерительных шкалах).
4. Дан анализ применения тестовых технологий при решении задач развития профессионализма и оценки компетентности. Выявлены особенности педагогического тестирования, с учетом которых разработаны алгоритмы и программы оценки качества тестовых заданий (для педагогических тестов). Основным достоинством программного обеспечения является возможность расчета функции успеха по моделям Раша и Бирнбаума, что позволяет проводить параметризацию педагогического теста и оценивать его эффективность. Разработан алгоритм оценки параллельности тестовых заданий, основным достоинством которого является использование для вывода о параллельности трех различных критериев, что повышает надежность получаемых результатов.
5. Выявлены особенности представления результатов психологического тестирования в зависимости от вида теста (формализованные и неформализованные методики). Показана роль проективных методик в оценке подсистем и компонентов компетентности и необходимость разработки алгоритмического и программного обеспечения для обработки результатов различного вида психологических тестов. Составлена и программно реализована обобщенная схема психодиагностического тестирования для измерения компонентов различных видов компетентности. Исследованы возможности оценки и анализа компонентов компетентности по результатам психологического тестирования на примере экспериментального исследования на базе Томского политехнического университета. Полученные результаты позволили выделить важные особенности в структуре компетентности студентов технического университета.
6. Проанализированы существующие методы обработки и анализа результатов экспертного оценивания. Предложен универсальный алгоритм для определения обобщенного мнения экспертов с учетом типа измерительной шкалы. Продемонстрирована эффективность предложенного алгоритма на примере решения задач, связанных с оценкой компетентности студентов. Разработана технология выявления скрытых закономерностей в структуре компетентности на основе методов многомерного анализа данных (кластерный и факторный анализ).
7. Предложены обобщенные интегральные показатели и критерии для оценки и исследования подсистем и компонентов компетентности на основе методов нечеткой логики и виде факторных, регрессионных и продукционных моделей. Эффективность введенных интегральных показателей и критериев продемонстрирована на примере решения прикладных задач оценки компетентности студентов Томского политехнического университета.
8. Разработана информационная технология, позволяющая выявлять устойчивые закономерности в структуре компетентности (т.е. построения модели структуры компетентности), включающая в себя 4 этапа: построение логических моделей методом локальной геометрии; построение логических моделей методом ограниченного перебора; построение модели структуры в виде деревьев решений в виде логических правил (в том числе деревьев решений); выявление устойчивых логических закономерностей в структуре компетентности на основе результатов трех предыдущих этапов.
9. Построена модель структуры интеллектуальной компетентности студентов технического университета. Показана актуальность данной задачи, дано ее определение, определены набор элементов, входящих в состав интеллектуальной компетентности и методы их измерения (психологические тесты структуры интеллекта и когнитивных стилей). На основе анализа разработанной модели структуры интеллектуальной компетентности были получены важные результаты, имеющие теоретическое значение для такой области как психология интеллекта: показана специфика когнитивного и стилевого (метакогнитивного) ресурса студентов и выпускников технического университета, имеющих реальные достижения в профессионально ориентированных видах научно-технической деятельности; доказано наличие определенного симптомокомлекса нелинейно связанных интеллектуальных свойств. На основе полученных результатов сформированы диагностические критерии для решения задач конкурсного отбора кандидатов: в аспирантуру и магистратуру; для обучения на II ступени (инженерная подготовка); в группу резерва кадров; в группы «элитного» обучения; для обучения студентов на военной кафедре.
10. Показаны возможности и особенности решения классификационных задач в рамках системных исследований компетентности. Разработан алгоритм преобразования пространства исходных признаков для построения классификационных моделей в случае использования разнотипных данных. Разработана схема формирования решающих правил на основе неоднородной последовательной процедуры распознавания, которая позволяет повысить качество распознавания по сравнению с общепринятой схемой решения подобных задач. При этом особый интерес представляет этап выделения информативных диапазонов количественных переменных, реализованный с помощью оригинального алгоритма адаптивного кодирования.