МОДЕЛИ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ кластеризации и ранжирования групповых ЭКСПЕРТНЫХ ОЦЕНОК в условиях неопределенности : МОДЕЛІ ТА ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ кластеризації та ранжирування групових ЕКСПЕРТНИХ ОЦІНОК в умовах невизначеності

Краткое описание

Министерство образования и науки Украины

ЧЕРНОМОРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ИМЕНИ ПЕТРА МОГИЛЫ

На правах рукописи

Швед Алёна Владимировна
УДК 004.02:519.234

c

Специальность 05.13.06 — Информационные технологии

Диссертация
на соискание ученой степени кандидата технических наук

Научный руководитель:
Коваленко Игорь Иванович
доктор технических наук, профессор

Николаев 2013
Содержание

Список условных обозначений и сокращений....

5

Введение..........

6

Раздел1Анализ проблемы структуризации групповых экспертных оценок.....................................

15

1.1.Общая характеристика процедур анализа групповых экспертных оценок .......

15

1.2.Основные положения технологии структуризации экспертных оценок....

18

1.3.Анализ методов согласованности оценок и нахождения обобщенной оценки экспертной группы.......

24

....

32

1.5.Анализ методов ранжирования групповых экспертных оценок ....

36

1.6.Постановка задач исследований и разработок..

40

1.7.Выводы по разделу 1.......

42

Раздел2Модели кластеризации экспертных оценок на основе адаптивных процедур робастного статистического оценивания.....

44

.

2.2.Адаптивные робастные оценки и их анализ...

47

2.3.Построение решающих правил кластеризации экспертных оценок с применением адаптивных робастных процедур...

57

2.4.Исследование аналитической связи между коэффициентами асимметрии и эксцесса совокупности групповых экспертных оценок...

62

2.5.Разработка решающих правил кластеризации групповых экспертных оценок на основе комплексного применения адаптивных робастных процедур.................................

66

2.6.Выводы по разделу 2.....

70

Раздел3Модели ранжирования и кластеризации групповых экспертных оценок на основе теории свидетельств и теории правдоподобных и парадоксальных рассуждений .

73

3.1.Характеристика основных положений теории свидетельств и теории правдоподобных и парадоксальных рассуждений...

73

3.2.Анализ правил комбинирования.

82

..

85

..

89

теории свидетельств ...........................

93

3.6.Разработка алгоритма ранжирования экспертных свидетельств на основе гибридной модели ДезераСмарандаке.

100

3.7.Выводы по разделу 3....

107

Раздел4Информационные технологии анализа групповых экспертных оценок.....

110

4.1Информационная технология классификации экспертных оценок на основе адаптивных робастных процедур...

110

4.2Информационная технология ранжирования экспертных оценок на основе теории Демпстера-Шейфера и теории Дезера-Смарандаке.........

117

4.3Разработка и реализация СППР анализа групповых экспертных оценок....

120

4.3.1.Основные задачи и назначение СППР анализа групповых экспертных оценок.......

120

4.3.2.Проектирование интерфейса пользователя.

132

4.3.3.Модуль выявления экспертных предпочтений...

136

4.4 Выводы по разделу 4......

139

Выводы по диссертации и перспективы дальнейших исследований.....

140

Список литературы....

144

Приложение А Методики решения задач анализа групповых экспертных оценок ......

159

А.1Методика решения задачи кластеризации групповых экспертных оценок на примере выбора технологических процессов резания и сваривания в судостроении

159

А.2Методика решения задачи ранжирования групповых экспертных оценок на примере выбора ГИСтехнологии...

172

Приложение Б Проектирование СППР...

191

Приложение В Акты внедрения и справки об использовании результатов диссертационной работы....

232

Список условных обозначений и сокращений

IEC

Международная электротехническая комиссия (МЭК;International Electrotechnical Commission)

ISO

Международная организация по стандартизации (International Organization for Standardization)

Lоценки

линейные комбинации порядковых статистик

Mоценки

устойчивые оценки на основе метода максимального правдоподобия

Rоценки

устойчивые оценки на основе ранговых критериев

БД

база данных

БМ

база моделей

ГИС

геоинформационная система

ДСТУ

державні стандарти України (ГОСТ, государственные стандарты Украины)

ЛПР

лицо, принимающее решение

МАИ

метод анализа иерархий

ПО

программное обеспечение

ПП

программный продукт

ПС

программная система

СППР

система поддержки принятия решений

ТДС

теория ДезераСмарандаке (ТППР, теория правдоподобных и парадоксальных рассуждений)

ТДШ

теория ДемпстераШейфера (МТС, математическая теория свидетельств)

ЭО

экспертные оценки

Введение

Актуальность темы исследования. Теория выбора и принятия решений исследует математические модели процессов принятия оптимальных (эффективных) стратегических и управленческих решений в сложных социальных, экономических, технических, организационных и др. системах.
На практике принятие обоснованных решений невозможно без учета накопленного опыта, различных точек зрения и знаний специалистов, и базируется на применении современных математических методов экспертных оценок.
Теоретическую (методологическую) базу в области теории и практики системного анализа и принятия решений составили труды таких отечественных ученых, как В.М.Глушков, М.З.Згуровский, Н.Д.Панкратова, В.Г.Тоценко, Э.Г.Петров, В.Е.Ходаков, Н.А.Соколова, В.В.Крючковский, И.В.Шостак, П.И.Бидюк, И.И.Коваленко, Г.М.Гнатиенко и др.
Среди российских ученых значительный вклад в исследование указанной проблемы и в развитие методов экспертного оценивания внесли О.И.Ларичев, Б.Г.Литвак, А.Рапопорт, Д.С.Шмерлинг, А.И. Орлов; среди зарубежных ученых необходимо выделить таких ученых, как В.Белтон, Л.Заде, Р.Кини, В.Парето, X.Райфа, Б.Руа, Т.Саати, П.Фишберн, Р.Хамалайнен и др.
Современные тенденции в развитии информационных технологий, стремление получить более эффективные результаты экспертного опроса, анализа и обработки экспертной информации в условиях многокритериальности и роста числа альтернативных вариантов выбора (многоальтернативности) при уменьшении времени, предоставляемого для принятия решений, способствуют постоянному усложнению задач экспертизы. Так, например, при анализе групповых экспертных оценок, формируемых в процессе работы больших экспертных групп (экспертных комиссий) в условиях наличия большого числа сравниваемых элементов в условиях многокритериальности (много-альтернативности), и представленных в различных математических формах (количественные, качественные признаки; бинарные отношения; интервалы и другие), возникают задачи определения согласованности, кластеризации и ранжирования экспертных суждений, которые для своего решения требуют разработки новых подходов.
Указанные особенности обусловливают необходимость разработки новых процедур, методов и алгоритмов, позволяющих обрабатывать оценки экспертов, которые характеризуются несовпадающими, а возможно и противоречивыми экспертными суждениями по многим разнородным критериям, учитывать возможные способы взаимодействия экспертных суждений, полученных в условиях наличия различных видов НЕфакторов (неопределенность, неполнота, неточность и др.), и создание на их основе современных информационных технологий.
Рассмотренная проблема является предметом данного диссертационного исследования, а ее актуальность определяется необходимостью дальнейшей разработки моделей и информационных технологий анализа групповых экспертных оценок, которые используют современные математические методы исследования с целью формирования обоснованных и достоверных решений.
Связь работы с научными программами, планами, темами. Содержание, цель и основные задачи соответствуют государственным научнотехническим программам, которые сформулированы в Законе Украины„О научной и научнотехнической деятельности” и в Законе Украины „О национальной программе информатизации”.
Диссертационная работа выполнена на кафедре интеллектуальных информационных систем Черноморского государственного университета имени Петра Могилы Министерства образования и науки Украины в рамках госбюджетной научноисследовательской работы (НИР) „Разработка системы поддержки принятия решений при экспертном оценивании качества программных продуктов в условиях неопределенности и рисков” (номер государственной регистрации №0112U001101); в рамках НИР „Разработка системы поддержки принятия решений при оценивании и оптимизации технологий строительства корпуса судна” (номер государственной регистрации №0109U002217). Часть исследований выполнена в рамках договора о научнотехническом сотрудничестве между Черноморским государственным университетом имени Петра Могилы, Николаевским национальным университетом имени В.А. Сухомлинского и совместным голландскоукраинским предприятием „ГРАСКО”.
Соискатель был ответственным исполнителем указанных работ. В рамках упомянутых работ, соискателем разработаны модели анализа и структуризации групповых экспертных оценок с применением современного математического аппарата, предложены функциональные компоненты инструментальных средств автоматизированной системы поддержки экспертиз и информационные технологии реализации предложенных моделей и алгоритмов.
Цель и задачи исследования. Целью работы является исследование новых подходов и разработка математических моделей структуризации (кластеризации и ранжирования) групповых экспертных оценок на основе современных теорий, создание информационных технологий их реализации в составе инструментальных средств автоматизированной системы поддержки проведения экспертиз.
Для достижения поставленной цели диссертационного исследования необходимо решить следующие задачи:
1.Выполнить критический анализ и провести систематизацию основных задач и методов анализа групповых экспертных оценок. Определить основные проблемы, возникающие при решении задач кластеризации и ранжирования экспертных оценок.
2.Разработать математические модели кластеризации групповых экспертных оценок, позволяющие получать так называемую „тонкую структуру” экспертных суждений, что позволяет выявлять концептуально различные точки зрения в больших экспертных группах.
3.Разработать математические модели построения ранжировок групповых экспертных оценок в условиях наличия большого числа оценочных элементов (критериев, альтернатив).
4.Разработать математические модели ранжирования групповых экспертных оценок на основе аппарата теории правдоподобных и парадоксальных рассуждений (теория ДезераСмарандаке, ТДС) в условиях неопределенности и наличия конфликтующих (противоречивых, не согласованных) экспертных суждений.
5.Разработать информационные технологии, реализующие предложенные подходы и модели структуризации групповых экспертных оценок.
6.Предложить функциональную архитектуру и разработать инструментальные и программные средства автоматизированной системы поддержки экспертиз.
7.Провести анализ и привести примеры практического применения предложенных информационных технологий.
Объектисследованиягрупповые экспертные оценки, которые требуют структуризации и агрегации при подготовке коллективных решений.
Предмет исследованиямодели, методы и информационные технологии анализа групповых экспертных оценок.
Методыисследованияметодология системного анализа, математическая статистика, теория принятия решений, теория свидетельств, теория правдоподобных и парадоксальных рассуждений, адаптивные процедуры робастного статистического оценивания.
Методы математической статистки применены в работе для анализа и выявления существующих закономерностей в исходной экспертной информации. Методы робастной статистики (адаптивные робастные статистические оценки) использованы в работе для решения задачи кластеризации. Методы теории свидетельств, а также теории правдоподобных и парадоксальных рассуждений использованы для решения задачи ранжирования в условиях многокритериальности, многоальтернативности и неопределенности.
Научная новизна полученных результатов. Научная новизна работы определяется такими теоретическими и практическими результатами, полученными автором.
Впервые:
- обоснована возможность использования математического аппарата адаптивных робастных статистических оценок для решения задачи кластеризации групповых экспертных оценок и сформулированы решающие правила кластеризации на основе рассмотренных устойчивых оценок. Это позволило, в отличие от существующих подходов, получать более детальное разбиение рассматриваемой совокупности экспертных оценок на кластеры (подгруппы), и выделить подгруппу экспертов, оценки которых характеризуются однородностью и согласованностью;
- предложен подход к кластеризации групповых экспертных оценок, основанный на комплексном использовании адаптивных робастных оценок, которые построены на различных вспомогательных статистиках (робастные аналоги коэффициентов асимметрии и эксцесса, мера „длины хвостов”, островершинность и др.). С целью обоснования возможности комплексного использования адаптивных оценок получена аналитическая связь между указанными статистиками. Такой подход дает возможность формировать „тонкую структуру” изучаемой совокупности групповых экспертных оценок.
Получили дальнейшее развитие:
- математические модели экспертных суждений, позволяющие обрабатывать результаты экспертного опроса в условиях многокритериальности, многоальтернативности, неопределенности и наличия конфликтующих (противоречивых, несовпадающих, не согласованных) экспертных суждений;
- модели и методы принятия решений на основе математического аппарата теории правдоподобных и парадоксальных рассуждений: для определения агрегированной оценки применен подход на основе гибридной модели ДезераСмарандаке, используя классическое правило комбинирования Дезера-Смарандаке и правило перераспределения конфликтов PCR5.
Усовершенствован:
- метод нахождения коллективной (групповой) ранжировки по индивидуальным экспертным ранжировками в условиях многокритериальности, многоальтернативности на основе математического аппарата теории свидетельств. Предложенный метод основан на комплексном использовании правил комбинирования экспертных суждений (свидетельств) на основе конъюнктивный консенсуса (правило Демпстера, Ягера, Жанга, Инагаки, Сметса), и учитывает меру различия и структуру отдельных (выделенных экспертом) групп свидетельств для определения порядка их комбинирования. Такой подход позволяет использовать полученную экспертную информацию в полной мере и получать более эффективные результаты комбинирования.
Практическое значение полученных результатов. Полученные научные результаты диссертационной работы в виде моделей, методов, алгоритмов и информационных технологий решения многокритериальной, многоальтернативной задачи принятия решений в условиях неопределенности и наличия конфликтующих экспертных суждений призваны способствовать повышению эффективности процессов подготовки и принятия решений анализа групповых экспертных оценок, и составляют теоретический базис для построения систем поддержки принятия решений.
Разработанные модели, алгоритмы, инструментальные средства и информационные технологи были использованы на предприятиях г.Николаева:
на частном предприятии „ТЕХНОЛИС” (Акт об использовании от
17.12.2012). Предложенное алгоритмическое, программное обеспечение и информационная технология были использованы в производственной деятельности предприятия при выборе геоинформационных систем (ГИС) разного назначения, учитывая существующие стандарты качества и выдвигаемые требования к ГИС.
на совместном голландскоукраинском предприятии „ГРАСКО” (Справка об использовании от 24.12.2012). Разработанная информационная технология, а также предложенное на ее основе программное обеспечение были использованы в производственной деятельности предприятия для решения задач анализа групповых экспертных оценок при выборе сварочных технологий, которые используются для раскроя металла при выполнении плазовых работ в судостроении.
Результаты диссертационных исследований вошли в состав учебного пособия „Методы экспертного оценивания сценариев” с грифом МОН Украины (протокол №1/11 12263.1 от 29.12.2010 г.) и были использованы в учебном процессе при чтении дисциплин: „Теория коллективного выбора и принятия коллективных решений”, „Теория принятия решений в задачах контроля и управления”, „Управление качеством и рисками при разработке программного обеспечения”, „Системы и методы принятия решений”, „Моделирование экономических, экологических и социальных процессов” в Черноморском государственном университете имени Петра Могилы (Акт внедрения от 28.12.2012), Национальном университете кораблестроения имени адмирала Макарова (Акт внедрения от 19.12.2012), Николаевском национальном университете имени В.А. Сухомлинского (Акт внедрения от 26.12.2012) по ряду специальностей „Системы и методы принятия решений”, „Программное обеспечение систем”, „Информатика”, „Компьютерные системы и сети”.
Личный вклад соискателя. Все положения и научные результаты, которые вынесены на защиту, получены самостоятельно соискателем.
Личный вклад соискателя в работы, опубликованные в соавторстве: исследование особенностей использования, классификация адаптивных робастных статистических процедур и разработка алгоритма анализа статистических данных на основе математического аппарата робастной статистики [25,26]; разработка процедуры структуризации групповых экспертных оценок, формулирование решающих правил кластеризации [34]; исследование и модификация метода анализа иерархий в условиях неопределенности [31]; исследование особенностей применения математического аппарата теории свидетельств и теории правдоподобных и парадоксальных рассуждений, разработка методик их практического применения для анализа групповых экспертных оценок [32,37,41,42]; разработка математических моделей и алгоритмов ранжирования групповых экспертных оценок характеристик качества ПС на основе ТДШ и ТДС [30,38]; разработка рекомендаций по выбору эффективного правила комбинирования экспертных свидетельств [28]; разработка рекомендаций при построении информационных технологий анализа ЭО с учетом типа измерительных шкал [29,35]; разработка структуры информационной технологии анализа ЭО характеристик качества программ, формирующихся в условиях комбинированных форм незнания [33]; систематизация и анализ характеристик качества программ [27]; анализ методов и способов оценивания характеристик качества ПС и обоснование необходимости применения методов экспертного оценивания при оценивании качества программ [43].
Апробация результатов диссертации. Материалы диссертационной работы были представлены и обсуждены на Международных научных, научно-технических и научно-практических конференциях:
Международная научнотехническая конференция SAIT „Системный анализ и информационные технологии”, г. Киев, 2011 г.;
IIIМеждународная научнопрактическая конференция MINTT „Современные информационные и инновационные технологии на
транспорте”, г. Херсон, 2011 г.;
Международная научная конференция ISDMCI „Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта”,
г. Евпатория, 2011 г.;
XII Международная научнопрактическая конференция „Современные информационные и электронные технологии”, г. Одесса, 2011г.;
Международная научнопрактическая конференция молодых ученых и студентов „Информационные процессы и технологии”, г.Севастополь, 2011, 2012 гг.;
Международная научнопрактическая конференция „Информационные технологии в образовании и управлении”, г. Новая Каховка, 2010, 2011, 2012 гг.;
ежегодная научнометодическая конференция „Могилянские чтения”, г. Николаев, 2011, 2012 гг.
Основные положения диссертационного исследования докладывались и обсуждались на заседаниях научных семинаров кафедры интеллектуальных информационных систем Черноморского государственного университета имени Петра Могилы, кафедры информационных технологий Херсонского национального технического университета.
Публикации.Основные результаты диссертационной работы опубликованы в 17 научных трудах: 11 научных статьях в ведущих научных профессиональных журналах и изданиях Украины, и 6 материалах конференций.

Объем и структура диссертации. Диссертация состоит из введения, 4 разделов, выводов и списка использованной литературы из 150 наименований, приложений на 79 страницах. Общий объем диссертации составляет 237 страниц, в том числе 158 страниц основного текста. В диссертации содержится 20 таблиц, 54 рисунка.

Список литературы

Выводы по диссертации
Диссертационная работа посвящена решению важной научнопрактической задаче разработке новых подходов, моделей и информационных технологий анализа и структуризации групповых экспертных оценок, которые формируются в условиях работы больших экспертных комиссий, многокритериальности, многоальтернативности, неопределенности и наличия конфликтующих (противоречивых, несовпадающих) экспертных суждений.
Основные научные и практические результаты:
1.На основе проведенных исследований задач и методов анализа и структуризации групповых экспертных оценок определены основные проблемы, возникающие при решении задач кластеризации и ранжирования групповых экспертных оценок. Выполнена постановка задач исследований и разработок.
2.Обоснована возможность использования математического аппарата адаптивных робастных статистических оценок для решения задачи кластеризации групповых экспертных оценок и сформулированы решающие правила кластеризации на базе рассмотренных адаптивных оценок. Это позволило, в отличие от существующих подходов, получать более детальное разбиение изучаемой совокупности экспертных оценок на кластеры (подгруппы), и выделять подгруппы экспертов, оценки которых характеризуются однородностью и согласованностью с целью формирования обобщенных оценок.
3.Предложен подход к кластеризации групповых экспертных оценок, основанный на комплексном использовании адаптивных робастных оценок, которые построены на различных вспомогательных статистиках (робастные аналоги коэффициентов асимметрии и эксцесса, мера „длины хвостов”, островершинность и др.). С целью обоснования возможности комплексного использования нескольких адаптивных оценок, использующих разные вспомогательные статистики, получено аналитическую связь между указанными статистиками. Такой подход дает возможность формировать „тонкую структуру” изучаемой совокупности групповых экспертных оценок.
4.Разработаны математические модели экспертных суждений, позволяющие обрабатывать результаты экспертного опроса в условиях многокритериальности, многоальтернативности, неопределенности и наличия конфликтующих (противоречивых, несовпадающих) экспертных суждений.
5.Для решения задачи ранжирования групповых экспертных оценок в условиях многокритериальности и многоальтернативности предложен метод построения коллективной (групповой) ранжировки на основе математического аппарата теории свидетельств. Который в отличие от существующих методов обработки групповых многокритериальных оценок, в основе которых лежит механизм попарного сравнения, позволяет моделировать ситуации, при которых у эксперта могут возникнуть трудности при оценке каждого объекта экспертизы (альтернативы); снять ограничения на число объектов (альтернатив), подлежащих анализу (оценке); снять необходимое условие согласованности экспертных оценок. Предложенный метод является модификацией существующих методов комбинирования экспертных суждений (свидетельств) и базируется на комплексном использовании правил комбинирования экспертных свидетельств на основе конъюнктивный консенсуса. Метод использует правило комбинирования Демпстера, Ягера, Жанга, Инагаки и правило Сметса, и позволяет определять оптимальных порядок комбинирования экспертных свидетельств, учитывая меру различия и структуру отдельных (выделенных экспертом) групп свидетельств. Такой подход позволяет использовать полученную экспертную информацию в полной мере и получать более эффективные результаты комбинирования.
6.Предложен адаптивный алгоритм выбора правила комбинирования на основе конъюнктивного консенсуса. Предложенный алгоритм позволяет выбрать наиболее эффективное правило, отвечающее набору заданных критериев. В качестве критериев может быть выделена информация о локальных конфликтах и консенсусе между отдельными группами экспертных свидетельств, информация о степени взаимодействия и структуре экспертных свидетельств, информация относительно источников данных (экспертов), их компетентность.
7.Для решения задачи ранжирования групповых экспертных оценок в условиях неопределенности и наличия противоречивых, конфликтующих экспертных суждений использован математический аппарат теории правдоподобных и парадоксальных рассуждений. Для определения агрегированной оценки применен подход на основе гибридной модели ДезераСмарандаке, используя классическое правило комбинирования ДезераСмарандаке и правило перераспределения конфликтов PCR5.
8.Разработаны информационные технологии ранжирования и кластеризации групповых экспертных оценок на основе предложенных моделей и алгоритмов.
9.Предложены методики практического применения разработанных информационных технологий структуризации групповых экспертных оценок: методика решения задачи кластеризации групповых ЭО на примере выбора технологических процессов резания и сваривания в судостроении; методика решения задачи ранжирования групповых ЭО на примере выбора ГИСтехнологии.
10.Предложена структурнофункциональная схема инструментальных средств для реализации системы поддержки принятия решений (СППР) анализа и структуризации групповых экспертных оценок и разработан пакет программных модулей на основе предложенных информационных технологий с использованием разработанных моделей и алгоритмов.
11.Разработанные информационные технологии и СППР использованы на предприятиях г. Николаева. Предложенное алгоритмическое и программное обеспечение, а также информационная технология были использованы в производственной деятельности ЧП „ТЕХНОЛИС” при выборе геоинформационных систем (ГИС) разного назначения, учитывая существующие стандарты качества и выдвигаемые требования к ГИС. Информационная технология и разработанное на ее основе программное обеспечение были использованы в производственной деятельности СП „ГРАСКО” для решения задач анализа групповых экспертных оценок при выборе сварочных технологий, которые используются для раскроя металла при выполнении плазовых работ в судостроении.
12.Разделы диссертационной работы, вошедшие состав учебного пособия Методы экспертного оценивания сценариев” с грифом МОН Украины, используются в учебном процессе Черноморского государственного университета имени Петра Могилы, Национального университета кораблестроения имени адмирала Макарова, Николаевского национального университете имени В.А.Сухомлинского по ряду специальностей Системы и методы принятия решений”, Программное обеспечение систем”, Информатика”, Компьютерные системы и сети”.

1. Алдонин,Г.М.Робастность в природе и технике [Текст]: монография / Г.М.Алдонин. — М.: Радио и связь, 2003. — 336 с. — ISBN 9785256016791.
2. Баин,А.М.Современные информационные технологии систем поддержки принятия решений [Текст] / А.М. Баин. — М.: Форум, 2009. — 240 с.
3. Бабкин,Н.В.Робастные методы статистического анализа навигационной информации [Текст] / Н.В.Бабкин, А.В.Макшанов, А.А.Мусаев. — Л.: ЦНИИ Румб”, 1985. — 205с.
4. Бешелев,С.Д.Математикостатистические методы экспертных оценок [Текст] / С.Д.Бешелев, Ф.Г.Гурвич. — М.: Статистика, 1974. 159 с.
5. Бешелев,С.Д.Экспертные оценки [Текст]: монография / С.Д. Бешелев, Ф.Г. Гурвич; Ред. С.М. Вишнев. — М.: Наука, 1973. — 158 с.
6. Бирун,Б.М.Классификация способов извлечения опыта экспертов [Текст] / Б.М. Бирун, В.Н. Бурков // Изв. АН СССР. — 1972. — № 3. — С. 29—39. — (Техническая кибернетика).
7. Большев,Л.Н.Таблицы математической статистики [Текст] / Л.Н. Большев, Н.В. Смирнов. — М.: Наука. Главная ред. физ.-мат. лит-ры, 1983. — 416 с.
8. Боэм,Б.У.Инженерное проектирование программного обеспечения [Текст]: пер. с англ.; под ред. А.А. Красилова. — М.: Радио и связь, 1985. — 512 с.
9. Волков,А.М.Классификация способов извлечения опыта экспертов [Текст] / А.М. Волков, В.С. Ломнев // Изв. АН СССР. — 1989. — № 5. — С. 34—45. — (Техническая кибернетика).
10. Гнатієнко, Г.М. Експертні технології прийняття рішень: монографія [Текст] / Г.М. Гнатієнко, В.Є. Снитюк. — К.: ТОВ „Маклаут”, 2008. — 444 с.
11. ГОСТ28195—89.Оценка качества программных средств. Общие
положения [Текст]. — М.: Издво стандартов, 1989. — 38 с.
12. ГОСТРИСО5479—2002.Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения [Текст]. — М.: Издво стандартов, 2002. — 30 с.
13. Грановский,В.А.Методы обработки экспериментальных данных при измерениях [Текст] / В.А.Грановский, Т.Н.Сирая. — Л.: Энергоатомиздат, 1990. — 288 с. — ISBN 9785283044804.
14. Гурвич,Ф.Г.Экспертиза: некоторые методологические вопросы [Текст] / Ф.Г. Гурвич // Вестн. АН СССР, 1978. — № 1. — с. 50—58.
15. Драган,С.В.Вибір оптимальних технологічних процесів різання та зварювання при ремонті корпусів суден [Текст] / С.В. Драган, В.Я. Сагань // Зб. наукових праць НУК ім. адм. Макарова, 2011. — №6. — с.14—22.
16. Драган,С.В.Разработка автоматизированной системы оптимизации технологических процессов сварки при формировании корпуса судна [Текст] / С.В. Драган, В.Я. Сагань // Зб. наукових праць НУК ім. адм. Макарова, 2010. — №5. — с.62—67.
17. Дубровский,С.А.Определение компетентности экспертов в методе парных сравнений. В кн.: Экспертные оценки [Текст] / С.А. Дубровский — М.: Науч. совет по пробл. Кибернетика”, 1979. — с. 157—162.
18. Журкин,И.Г.Геоинформационные системы [Текст] / И.Г. Журкин, С.В. Шайтура. — М.: КУДИЦПРЕСС, 2009. — 273 с.
19. Згуровский,М.З.Системный анализ: проблемы, методология, приложения [Текст]: монография / М.З. Згуровский, Н.Д. Панкратова. — 2е изд., перераб. и доп. — К.: Наукова думка, 2011. — 727 с. — ISBN 9789660011243.
20. Ильина,Е.П.Оценка и использование показателей качества экспертного решения проблемы [Текст] / Е.П.Ильина // Проблемы программирования. — 2007. — № 1. — С. 38—45.
21. Ильина,Е.П.Формы, метрики и свойства отношения сходства между концептами в онтологиях экспертных точек зрения / Е.П. Ильина, О.А.
Слабоспицкая // Проблемы программирования. — 2005. — № 4. — С. 39— 49.
22. Кини,Р.Л.Принятие решений при многих критериях: предпочтения и замещения [Текст] / Р.Л. Кини, X. Райфа. — М.: Радио и связь, 1981. — 560 с.
23. Киселева,Н.Е.Структурный подход к анализу и обработке данных экспертного опроса [Текст] / Н.Е. Киселева, Л.А. Панкова, М.В. Шнейдерман // Автоматика и телемеханика. — 1975. — № 4. — С. 64— 70.
24. Китаев,Н.Н.Групповые экспертные оценки [Текст] / Н.Н. Китаев. — М.: Знание, 1975. — 64 с.
25. Коваленко,И.И.Адаптивное робастное оценивание избыточных данных в системах многоканального резервирования [Текст] / И.ИКоваленко, В.М.Рябенький, А.В.Швед // Проблеми інформаційних технологій. — Херсон, 2009. — №02(006). — С.14—20.
26. Коваленко,И.И.Анализ адаптивных робастных процедур статистического оценивания данных [Текст] / И.И.Коваленко, А.В.Швед // Вестник ХНТУ. — Херсон, 2010. — №2(38). — С.141—147.
27. Коваленко,И.И.Анализ и систематизация метрических характеристик качества программных средств [Текст] / И.И. Коваленко, А.В. Швед // Сучасні інформаційні та інноваційні технології на транспорті: матеріали III Міжнародної науково-практичної конф. MINTT 2011, Херсон, 2325 травня 2011 р. Том 1. — Херсон: Вид-во ХДМІ, 2011. — С. 46 — 48.
28. Коваленко,И.И.Анализ моделей комбинирования экспертных свидетельств в задачах принятия решений [Текст] / И.И.Коваленко, А.В.Швед // Системи управління, навігації та зв’язку. — №4(20). — Київ, 2011.— С. 165 — 169.
29. Коваленко,И.И.Интегрированная информационная технология анализа групповых экспертных оценок [Текст] / И.И.Коваленко, В.И.Передерий, А.В.Швед // Науковий вісник ХДМІ. — Херсон, 2010. — №2(3). — С. 238—248.
30. Коваленко,И.И.Информационные технологии анализа
экспертных оценок качества программных продуктов [Текст] / И.И.Коваленко, А.В. Швед // Системний аналіз та інформаційні технології: матеріали Міжнародної науково-технічної конф. SAIT 2011, Київ, 2328 травня 2011р. — К.: ННК „ІПСА” НТУУ „КПІ”, 2011. — С. 103.
31. Коваленко,И.И.Информационные технологии много-критериального принятия решений на основе теории свидетельств [Текст] / И.И.Коваленко, А.В.Швед // Вестник ХНТУ. — Херсон, 2011. — №2(41). — С.177—184.
32. Коваленко,И.И.Информационная технология ранжирования групповых экспертных оценок на основе теории свидетельств [Текст] / И.И.Коваленко, А.В.Швед // ВосточноЕвропейский журнал передовых технологий. — Харьков, 2012. — №6/2(60). — С.70—74.
33. Коваленко,И.И.Информационные технологии оценивания мер качества программных продуктов [Текст] / И.И. Коваленко, А.В. Швед // Современные информационные и электронные технологии: труды XII Международной научно-практ. конф. СИЭТ-2011, Одесса, 2327 мая 2011г. —Одесса: „Политехпериодика”, 2011. — С. 61.
34. Коваленко,И.И.Классификация групповых экспертных оценок с применением адаптивных робастных статистических процедур [Текст] / И.И.Коваленко, А.В.Швед // Системні технології. Регіональний міжвузівський збірник наукових праць. — Випуск 1(66). — Дніпропетровськ, 2010. — С. 75 — 83.
35. Коваленко,И.И.Концепция построения системных информационных технологий поддержки экспертного анализа сценариев [Текст] / И.И.Коваленко, В.И.Передерий, А.В.Швед // Системні технології. Регіональний міжвузівський збірник наукових праць. — Випуск 6(71).— Дніпропетровськ, 2010. — С. 74 — 88.
36. Коваленко,И.И.Методы принятия решений [Текст] / И.И.Коваленко, Т.А.Фарионова, С.Б.Приходько. — Николаев: Изд. НУК им. адм. Макарова, 2009. — 180 с. — ISBN 9789663211183.
37. КоваленкоИ.И.Методы экспертного оценивания сценариев
[Текст]: учебное пособие / И.И.Коваленко, А.В.Швед. — Николаев: Издво ЧГУ им. Петра Могилы, 2012. — 156 с.
38. Коваленко,И.И.Оценка качества программных продуктов с использованием теории ДемпстераШейфера [Текст] / И.И.Коваленко, А.В.Швед // Наукові праці: науковометодичний журнал. — Вип. 148. Том 160. Комп’ютерні технології. — Миколаїв: Вид-во ЧДУ ім. П. Могили, 2011. — С. 22 — 26.
39. Коваленко,И.И.Системный анализ задач судового корпусостроения [Текст] / И.И.Коваленко, С.В.Драган, В.Я.Сагань. — Николаев: Изд-во el Talisman”, 2010. — 176 с. — ISBN 9789662312058.
40. Коваленко,И.И.Системные технологии генерации и анализа сценариев [Текст] / И.И.Коваленко, А.П.Гожий. — Николаев: Изд-во ЧДУ им. П.Могилы, 2006. — 160 с. — ISBN 9663360062.
41. Коваленко,И.И.Сучасні методи аналізу експертних оцінок [Текст] / І.І Коваленко, А.В. Швед // Наукові праці: науковометодичний журнал. — Вип. 161. Том 173. Комп’ютерні технології. — Миколаїв: Вид-во ЧДУ ім. П. Могили, 2011. — С.10—20.
42. Коваленко,И.И.Технология построения модели ранжирования экспертных оценок на основе теории правдоподобных и парадоксальных рассуждений [Текст] / И.ИКоваленко, А.В.Швед // Проблеми інформаційних технологій. — № 01(011). — Херсон, 2012. — С. 144 — 150.
43. Коваленко,И.И.Экспертные оценки в анализе метрических характеристик качества программного обеспечения систем [Текст] / И.И.Коваленко, А.В. Швед // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: материалы Международной научно-практической конф. ISDMCI’2011, Евпатория, 1620 мая 2011г. Том 1. — Херсон: ХНТУ, 2011. — С.178 — 179.
44. Кожевникова,Г.П.Фасетная классификация мер качества программ [Текст] / Г.П.Кожевникова, А.А.Стогний // Кибернетика. — 1989.
— №4. — С. 102—117.
45. Кофман,А.Введение в теорию нечетких множеств [Текст] / А.Кофман. — М.: Радио и связь, 1982. — 432 с.
46. Кулаков,А.Ф.Вариант номенклатуры показателей качества больших программ ЭВМ [Текст] // Управляющие системы и машины. — 1984. — №4. — С. 12— 17.
47. Кулаков А.Ф. Оценка качества программ ЭВМ [Текст] / А.Ф. Кулаков. — Киев: Техника, 1984. — 167 с.
48. Лаврищева,Е.М.Концепция аналитической оценки характеристик качества программных компонентов [Текст] / Е.М.Лаврищева, А.М.Рожнов // Проблеми програмування. — 2004. — №34. — С.180—187.
49. Ларичев,О.И.Теория и методы принятия решений [Текст] / О.И.Ларичев. — М.: Логос, 2003. — 392 с. — ISBN 9785987041325.
50. Ларичев,О.И.Выявление экспертных знаний: монография [Текст] / О.И.Ларичев, А.И.Мехитов, Е.М.Мошкович. — М.: Наука, 1989. — 128 с. — ISBN 5020067369.
51. Ларичев,О.И.Webконструктор для построения систем поддержки принятия решений [Текст] / О.И.Ларичев, В.М.Афанасьев, Н.В.Чугунов // Новости искусственного интеллекта. — 2003. — № 4. — С. 21— 25.
52. Ликеш,И.Основные таблицы математической статистики [Текст] / И. Ликеш, И. Ляга. — М.: Финансы и статистика, 1985. — 356 с.
53. Липаев,В.В.Выбор и оценивание характеристик качества программных средств. Методы и стандарты [Текст] / В.В.Липаев. — М.: СИНТЕГ, 2001. — 228 с. — (Серия Информационные технологии”). — ISBN 5896380534.
54. Литвак,Б.Г.Экспертные оценки и принятие решений [Текст] / Б.Г.Литвак. — М.: Патент, 1996. — 235 с.
55. Макшанов,А.В.Робастные методы обработки результатов измерений. Радиоэлектронные системы и комплексы [Текст]: учебн. пособие для вузов / А.В.Макшанов, А.А.Мусаев. — Вып. 3. — М.: МО СССР, 1980. — 144 с.
56. Микешина,Н.Г.Выявление и исключение аномальных значений
[Текст] / Н.Г.Микешина // Заводская лаборатория. — 1966. — № 3. — С.185—198.
57. Миркин,Б.Г.Проблемы группового выбора [Текст] / Б.Г. Миркин. — М.: Наука, 1974. — 256 с.
58. Назаров,С.В.Измерительные средства и оптимизация вычислительных систем [Текст] / С.В. Назаров, А.Г. Барсуков. — М.: Радио и связь, 1990. — 248 с.
59. Орлов,А.И.Экспертные оценки [Текст] / А.И.Орлов. — М.: Экзамен, 2002. — 31 с.
60. Орлов,А.И.Прикладная статистика [Текст] / А.И.Орлов. — М. Экзамен, 2006. — 671 с. — ISBN 5472011221.
61. Осипов,Г.С.Метод формирования и структурирования модели знаний одного типа предметных областей [Текст] / Г.С.Осипов // Изв. АН СССР. — 1988. — №2. — С. 3—12. — (Техническая кибернетика).
62. Основы инженерии качества программных систем [Текст]: монография / Ф.И.Андон, В.Ю.Суслов, Т.М.Коротун [и др.]. — К.: Академпериодика, 2002. — 504 с. — ISBN 9668002415.
63. Петруні,Ю.ЄПрийняття управлінських рішень [Текст] / Ю.Є. Петруні. — К.: Центр учбової літератури, 2011. — 216 с.
64. Поляк,Б.Т.Устойчивые методы оценки параметров [Текст] / Б.Т.Поляк // Структурная адаптация сложных систем управления. — 1977. — С. 66—71.
65. Райфа,Г.Анализ решений [Текст]/Г.Райфа.—М.: Наука,1977.—408 с.
66. Розин,Б.Б.Применение методов многомерной классификации при анализе результатов экспертного опроса [Текст] / Б.Б. Розин. — В кн.: Статистические методы анализа экспертных оценок. — М.: Наука, 1977. —
С. 83 — 95.
67. Саати,Т.Принятие решений. Метод анализа иерархий [Текст] /
Т.Саати. — М.: Радио и связь, 1993. — 278 с. — ISBN 5256004433.
68. Сигорский,В.П.Математический аппарат инженера [Текст] / В.П.Сигорский. — К.: Техніка, 1975. — 768 с.
69. Ситник,В.Ф.Системи підтримки прийняття рішень: Навч. посіб. [Текст] / В.Ф. Ситник. — К.: КНЕУ, 2004. — 614 с. — ISBN 9665746065.
70. Слабоспицька,О.О.Задачі, методи та засоби експертного оцінювання якості в інженерії програмних систем [Текст] / О.О.Слабоспицька // Проблемы программирования. — 2007. — № 3. — C. 32—40.
71. Слабоспицька,О.О.Модель процесу експертного оцінювання у життєвому циклі програмних систем [Текст] / О.О.Слабоспицька // Проблемы программирования. — 2008. — № 2—3. — Спец. вып. — C. 279—287.
72. Статистическое моделирование и прогнозирование [Текст]: учеб. пособие / Г.М. Гамбаров, Н.М.Журавелъ, Ю.Г. Королев [и др.]. — М.: Финансы и статистика, 1990. — 383 с.
73. Степнов,М.А.Статистические методы обработки результатов механических испытаний: справочник [Текст] / М.А.Степнов, А.В.Шаврин. — 2-е изд. — М.:Машиностроение, 2005. — 399 с. — ISBN 5217032723.
74. Стогов,Г.В. Статистическая обработка результатов измерений по неполной выборке [Текст] / Г.В.Стогов, А.В.Макшанов, А.А.