Скуратов Алексей Константинович. Статистический мониторинг и анализ телекоммуникационных сетей

Краткое описание

Скуратов Алексей Константинович. Статистический мониторинг и анализ телекоммуникационных сетей : диссертация ... доктора технических наук : 05.13.13 / Скуратов Алексей Константинович; [Место защиты: Моск. гос. ин-т электроники и математики].- Москва, 2007.- 416 с.: ил. РГБ ОД, 71 07-5/609

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ
«ГОСУДАРСТВЕННЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ТЕЛЕКОММУНИКАЦИЙ»
(ФГУ ГНИИИТТ «ИНФОРМИКА»)
Экз.№ і
На правах рукописи
СКУРАТОВ Алексей Константинович
СТАТИСТИЧЕСКИЙ МОНИТОРИНГ И АНАЛИЗ
ТЕЛЕКОММУНИКАЦИОННЫХ СЕТЕЙ
Специальность
05.13.13 - Телекоммуникационные системы и компьютерные сети
Диссертация
на соискание ученой степени
Научный консультант член-корр. РАО, доктор технических наук, профессор А.Н.Тихонов
Москва 2007
ОГЛАВЛЕНИЕ
ОГЛАВЛЕНИЕ 2
ВЕДЕНИЕ 9
ГЛАВА 1. ОБЗОР, ИССЛЕДОВАНИЕ И АНАЛИЗ СОСТОЯНИЯ, ПЕРСПЕКТИВ И ТЕНДЕНЦИЙ РАЗВИТИЯ ТЕЛЕКОММУНИКАЦИОННЫХ
СЕТЕЙ 28
1Л. Категории пользователей телекоммуникационных сетей 28
1.2. Организационная инфраструктура российских телекоммуникационных
сетей и основные тенденции ее развития 34
1.2.1 Междугородние каналы 35
1.2.2. Наземные каналы 36
1.2.3. Спутниковые каналы 42
1.3. Сети передачи данных 43
1.3.1. Межрегиональные сети передачи данных ..Г. 43
1.3.2. Магистральная цифровая сеть 45
1.4. Некоммерческие сети передачи данных 46
1.5. Техническая организация российских телекоммуникационных сетей 57
1.5.1. Типовые технические решения организации доступа различных
категорий пользователей сети 58
1.5.2. Техническое обеспечение подключения локальных сетей к
региональным компьютерным сетям 61
1.5.3. Типовые решения построения «последней мили» 62
1.6. Современные архитектуры распределенных сетевых информационных систем и сред доступа к ним 70
1.7. Проблемы традиционного доступа к информационным ресурсам 72
1.8. Сеть доставки содержания как методология доступа к информационным
ресурсам 74
1.9. Основные методы функционирования сети доставки содержания 79
з
1.10. Технологии обеспечения доступности информационных ресурсов
российских телекоммуникационных сетей 84
ВЫВОДЫ К ГЛАВЕ 1 89
ГЛАВА 2. НОРМАЛЬНЫЙ ПРОФИЛЬ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ КАК СОВОКУПНОСТЬ ПОКАЗАТЕЛЕЙ ЕЕ ФУНКЦИОНИРОВАНИЯ 91
2.1. Выделение значимых показателей в системе характеристик качества
функционирования сети 91
2.2. Принципы построения системы характеристик качества
телекоммуникационных сетей 93
2.3. Параметры качества телекоммуникационной сети 96
2.4. Показатели функционирования телекоммуникационной сети 97
2.4.1. Производительность 98
2.4.2. Надежность и безопасность 100
2.4.3. Управляемость 101
2.4.4. Совместимость и интегрируемость 102
2.4.5. Качество обслуживания 102
2.4.6. Расширяемость и масштабируемость 102
2.4.7. Прозрачность 103
2.5. Задачи управления телекоммуникационной сетью 103
2.6. Определения «мониторинг» и «анализ» телекоммуникационных сетей 104
2.7. Практические задачи, для решения которых проводится мониторинг и
анализ телекоммуникационной сети 107
ВЫВОДЫ К ГЛАВЕ 2 109
ГЛАВА 3. МЕТОДЫ И ПРОЦЕДУРЫ ПЕРВИЧНОЙ ОБРАБОТКИ ЗНАЧЕНИЙ ПАРАМЕТРОВ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ И ИССЛЕДОВАНИЕ ЦИРКУЛИРУЮЩИХ В ТЕЛЕКОММУНИКАЦИОННЫХ СЕТЯХ ИНФОРМАЦИОННЫХ ПОТОКОВ С ЦЕЛЬЮ ВЫБОРА
МАТЕМАТИЧЕСКОЙ МОДЕЛИ 111
3.1. Методы первичной обработки значений параметров телекоммуникационной сети 111
3.2. Процедуры сбора информации о работе телекоммуникационной сети.. 117
3.2.1. Процедура преобразования первичной информации в случайную
последовательность 119
3.2.2. Процедура преобразования первичной информации накопительного
типа в случайную последовательность с равным интервалом времени 127
3.3. Определение особенностей процесса статистического мониторинга
характеристик телекоммуникационной сети 129
3.4. Исследование и анализ информационных потоков, циркулирующих в
телекоммуникационных сетях, с целью выбора математической модели 133
3.4.1. Марковская модель системы 133
3.4.2. Моделирование сетевого трафика фрактальным броуновским
движением 134
3.4.3. Моделирование временных рядов 135
3.5. Анализ статистических методов мониторинга телекоммуникационных сетей представленных в виде временных рядов 136
3.5.1. Анализ тренда 137
3.5.2. Анализ сезонности 138
3.5.3. Исследование процесса авторегрессии 140
3.5.4. Модель АРПСС 141
3.5.5. Оценивание параметров 144
3.5.6. Оценивание модели 145
ВЫВОДЫ К ГЛАВЕ 3 145
ГЛАВА 4. МАТЕМАТИЧЕСКИЕ МЕТОДЫ, МОДЕЛИ И ИНСТРУМЕНТЫ
ДЛЯ СТАТИСТИЧЕСКОГО МОНИТОРИНГА И АНАЛИЗА ПАРАМЕТРОВ
ФУНКЦИОНИРОВАНИЯ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ 147
4.1 .Оценивание статистических характеристик для анализа
телекоммуникационной сети 147
4.2. Главные компоненты в системе статистического анализа телекоммуникационных сетей 152
4.3. Регрессионный анализ в статистической системе анализа и мониторинга
телекоммуникационной сети 156
4.4. Дискриминантный анализ в статистической системе анализа и
мониторинга телекоммуникационной сети 159
4.5. Кластер-анализ в статистической системе анализа и мониторинга
телекоммуникационной сети 170
4.6. Нейронные сети в статистической системе анализа и мониторинга
телекоммуникационной сети 173
4.7. Матрица данных, шкалы, расстояния в статистической системе и
мониторинга анализа телекоммуникационной сети 177
4.8. Временные ряды и их характеристики для целей статистического анализа
и мониторинга телекоммуникационной сети 184
4.9. Сглаживание и декомпозиция временных рядов 193
4.10. Модели временных рядов для статистической системы анализа и
мониторинга телекоммуникационной сети 197
4.11. Прогнозирование временных рядов 203
4.12. Таблица сравнение методов анализа временных рядов 210
4.13. Математическая модель загрузки канала телекоммуникационной сети. 211
4.14. Определение сезонной составляющей в математической модели
загрузки канала телекоммуникационной сети 213
4.15. Выделение тренда в математической модели загрузки канала
телекоммуникационной сети 216
4.16. Использование метода скользящих средних для сглаживания первичных
значений характеристик телекоммуникационной сети 217
4.17. Анализ случайной компоненты в значениях характеристик
телекоммуникационной сети 218
4.18. Принципы прогнозирования загрузки каналов телекоммуникационной
сети 219
б
4.19. Прогнозирование поведения значений характеристик телекоммуникационной сети с помощью экспоненциального сглаживания.222
ВЫВОДЫ К ГЛАВЕ 4 223
ГЛАВА 5. РАЗРАБОТКА АЛГОРИТМОВ СТАТИСТИЧЕСКОЙ СИСТЕМЫ АНАЛИЗА ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ 226
5.1. Анализ данных с пропущенными значениями 226
5.3. Алгоритм k-средних при заданном числе классов 230
5.4. Иерархическая восходящая классификация 232
5.5. Быстрый метод иерархической восходящей классификации (метод
сводимых окрестностей) 235
5.6. Алгоритмы двухфакторного разложения для анализа сезонно трендовы
моделей (ST) моделей 236
5.6.1. Алгоритм, основанный на удалении средних значений 236
5.6.2. Итерационный алгоритм медианного сглаживания 237
5.7. Алгоритм разложения по целевым факторам 238
5.8. Алгоритмы вычисления оценок спектральной плотности 242
5.9. Тесты для проверки непараметрических гипотез во временных рядах ..247
5.9.1. Непараметрические тесты стационарности и случайности 248
5.9.2. Тест Дэниэлса для проверки тренда 249
5.9.3. Тест знаков для тренда 250
5.9.4. Тест точек поворота 251
ВЫВОДЫ К ГЛАВЕ 5 251
ГЛАВА 6. ПРОГРАММНО-ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ МЕТОДОВ И АЛГОРИМОВ СТАТИСТИЧЕСКОГО АНАЛИЗА ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ 253
6.1. Анализ и исследование параметров телекоммуникационной сети с
помощью пакета программы TeleStat 253
6.1.1. Исходные данные для проведение эксперимента 253
6.1.2. Использование процедур подготовки и обработки данных 256
6.1.3. Анализ и исследование данных 258
6.1.4. Анализ двумерных диаграмм рассеивания с помощью матричного
дисплея 264
6.1.5. Анализ периодических компонент в рядах наблюдений 266
6.1.6 Решающее правило для определения состояния системы передачи данных по уровню ошибок 267
6.2. Программа «Роутер» 271
Технические характеристики: 272
6.3. Программа AFINT 277
Технические характеристики: 278
6.4. Результаты исследования загрузок канал научно-образовательной сети
RUNNet 285
6.4.1. Результаты спектрального анализа трафика сети по трем
интерфейсам; ATM, FastEthemet 1/0 и FastEthemet 4/0 285
6.4.2. Результаты анализа тренда для интерфейсов: 287
6.4.3. Подтверждение полученных результатов за новый период времени
(анализ некоторых узлов научно-образовательной сети RUNNet) 293
6.5. Проведение экспериментов по основным методикам анализа 302
6.5.1. Идентификация аномальных наблюдений 302
6.5.2. Метод агрегирования данных 303
6.5.3. Метод конечных разностей 305
6.5.4. Результат прогнозирования сетевого трафика по методу
экспоненциального сглаживания 309
6.6. Программа Анализатор трафика телекоммуникационной сети 311
ВЫВОДЫ К ГЛАВЕ 6 320
ЗАКЛЮЧЕНИЕ 323
ЛИТЕРАТУРА 332
ПРИЛОЖЕНИЕ 1. «РАБОТА С ПАКЕТОМ ПРОГРАММ TELESTAT» 357
1. Общие сведения 357
2. Начало работы с системой TeleStat 357
3. Операции в окне графиков рядов 359
4. Главное меню 361
5. Данные - ввод и управление 365
5.1. Импорт данных в текстовом формате 365
5.2. Ввод данных из нескольких текстовых файлов 368
5.3 Импорт Excel файлов 369
6. Общие диалоговые панели 371
6.1. Отбор переменных 371
6.2 Логический фильтр 372
6.3 Диалог для выбора цветов графических элементов 374
7. Графика в системе TeleStat 375
7.1 Двухмерные графики 375
7.2. Трехмерные столбцовые графики 376
7.3. Ящичные диаграммы и силуэты 382
8. Графическая галерея 385
8.1. Конфигурирование матричного дисплея 386
8.2. Главное окно графической галереи. Матричный дисплей 387
8.3. Подвижное окно (BRUSH) 389
8.4 Г руппировка 390
8.5. Увеличение (ZOOM) 390
8.6. Трехмерные диаграммы и их вращение 390
8.7 Линии регрессии 391
8.8. Графики в диагональных клетках 392
8.9. Размывание (зашумление) 392
8.10 Маскирование 393
8.11. Фильтр (для объектов) 394
8.12 Направленные диаграммы 394
9. Создание новых переменных. Редактор формул 395
10. Что такое формула 396
ПРИЛОЖЕНИЕ 2 «АКТЫ ВНЕДРЕНИЯ» 399
ВЕДЕНИЕ
Проблема научно обоснованного совершенствования теоретической и технологической базы анализа и мониторинга телекоммуникационных систем и компьютерных сетей, во многом определяющих развитие страны, имеет важное социально-культурное и народно-хозяйственное значение. Высокими темпами создаются и развиваются международные, национальные, региональные, ведомственные и корпоративные телекоммуникационные системы и компьютерные сети, ориентированные как на решение общефедеральных задач, так и на развитие отдельной личности, определенных профессиональных и социальных групп и всего общества в целом [15, 24, 41, 44, 55, 60, 63, 73, 89, 92, 96, 97, 115, 117, 118, 124, 125, 130, 131, 132, 133, 134, 136, 142, 151, 152, 158, 159, 162,164].
Развитие телекоммуникационных систем и компьютерных сетей обуславливает необходимость создания и надежного функционирования большого набора инфокоммуникационных сервисов, обеспечивающих эффективную работу пользователя с разнородной информацией в гетерогенной телекоммуникационной сети. Вместе с тем, исторически сложившаяся неоднородность как телекоммуникационных систем, компьютерных сетей, сетевых информационных ресурсов, так и аудитории пользователей, которой данная информация адресована, осложняет объективный анализ и мониторинг телекоммуникационных архитектур и ресурсов. Поэтому безусловно актуально, что при эксплуатации телекоммуникационных систем и компьютерных сетей должен быть использован достаточно широкий спектр современных и научно обоснованных технических и технологических решений их анализа и мониторинга. Практика использования и эксплуатации гетерогенных телекоммуникационных систем и компьютерных сетей, связанная с недостаточной их прозрачностью, сложностью, организационными ограничениями и спецификой, определяет необходимость более широкого и научно обоснованного внедрения статистических методов их анализа и мониторинга на основе открытой потоковой информации, которую можно получить используя предлагаемые методы и средства [31, 32, 33, 54, 58, 86, 116, 119,128,139, 140, 141, 163, 173].
При решении данной проблемы автор в своих исследованиях опирался на труды российских и зарубежных ученых, внесших большой вклад:
- в развитие компьютерных телекоммуникационных сетей -
A. Н.Тихонов, Е.П.Велихов, А.А.Солдатов, В.Н.Васильев, А.Д.Иванников, Ю.Л.Ижванов, А.П.Платонов, А.С.Мендкович, В.Г.Домрачев, В.Г. Олифер, Н.А. Олифер, X. Остерлох, А.В.Вишняков, В.С.Жданов, А.П.Пятибратов, Л.А. Крукиер, А.И.Русаков, Н.С.Рузанова, С. Фейт, Г. Хелд, В.В.Шахгильдян,
B. Е.Подольский, М. Спортак и др.;
- в разработку систем анализа и мониторинга компьютерных телекоммуникационных стей - А.Н.Тихонов, В.Н.Васильев, В.С.Заборовский,
A. П.Платнов, А.С.Мендкович, В.П. Корячко, В.А.Васенин, В.Н. Азаров, Ю.Л.Леохин, У. Блэк, Р.Р. Назиров, В.В.Коноплев, К.Н. Максимов,
B. Столлингс, Эд. Уилсон и др.;
- в развитие теории статистического анализа - И.С. Енюков, С.А. Айвазян, М. Дж. Кендалл, Т. Андерсон, И.В. Ретинская, В.Н. Афанасьев, М.М. Юзбашев, Дж. Бокс, Г. Дженкинс, Э.В. Калинина, Н. Дрейпер, Г. Симт, И.Г. Журбенко, Г.С. Кильдишев, А.А. Френкель, Д. Кокс, П. Льюис, С.Е. Кузнецов, В.А. Халиев, Э. Хеннан, Н.А. Хованова, -И.А. Хованов, Ю.Н.Тюрин, Л.Д.Мешалкин, Н.Н.Миоисеев, В.Н.Вапник, А.А.Дорофеюк, Н.Г.Загоруйко, Г.С.Лбов, и др.
В диссертационной работе разрабатываются научные методы и методики, направленные на мониторингом и анализ научно-образовательных сетей [15, 34, 41, 54, 87, 89, 92, 107, 113, 131, 134, 153, 186, 187, 188, 189, 190, 191]. Научно - образовательные сети, такие как RUNNet, RBNet, FREEnet, RELARN-IP и др., получили реальное развитие лишь в течение последних десяти лет, поэтому вопросы, связанные с мониторингом, управлением и прогнозированием работы таких сетей, являются актуальными. Тем не менее, в настоящее время они объединяют примерно 20% пользователей российского интернет. Развитие сетей, а именно увеличение числа пользователей [92], появление приложений, работающих с мультимедийной информацией, которая хранится в файлах очень больших размеров, увеличение числа сервисов, работающих в реальном масштабе времени, попытки несанкционированного доступа к сети и т.д., предъявляет повышенные требования к пропускной способности каналов между клиентами сети и серверами. Отмеченные причины приводят к перегрузке сети, что можно предотвратить с помощью системы сетевого управления. Одним из основных блоков в системе сетевого управления является блок сбора и обработки информации по отдельным характеристикам сети таким как загрузка канала на входе и выходе (байт), число пакетов на входе и выходе, число ошибок в их регистрации, число вошедших системных пакетов, загрузка процессора (% от 100), объем свободной памяти процессора и системы ввода-вывода для маршрутизатора (байт) и т.д.
Несмотря на то, что отмеченной выше проблемой занимаются научные группы ряда зарубежных и российских НИИ и университетов (Санкт- Петербургский государственный институт инфрмационных технологий, точной механики и оптики (технический университет), Российский НИИ развития общественных сетей, Московский государственный университет, Московский институт электроники и математики (технический университет), Тамбовский государственный технический университет, Центральный научно-исследовательский институт робототехники и технической кибернетики, Тульский государственный университет, Уфимский государственный авиационный университет, Новгородский государственный университет, Самарский государственный аэрокосмический университет, Санкт- Петербургский государственный университет, и ряд других), в открытой печати не опубликованы методы, модели и алгоритмы обработки такой информации.
Цель и задачи исследований
Целью данной работы является разработка научных основ, методов, алгоритмов и программ для статистического анализа и мониторинга телекоммуникационных сетей.
Для достижения поставленной цели потребовалось решить следующие основные задачи:
1. Провести анализ российских телекоммуникационных сетей и
определение основных характеристик функционирования
телекоммуникационных сетей для целей статистического мониторинга и анализа.
2. Определить средства сбора и разработать методы обработки первичной информации информационных потоков телекоммуникационной сети.
3. Выбрать и модифицировать методы теории статистики с целью разработки научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.
4. Разработать методы и алгоритмы реализации научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.
5. Разработать программные средства статистического мониторинга и анализа телекоммуникационных сетей.
Методы исследования
Для решения поставленных задач применялись статистические методы анализа многомерных данных, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей для целей статистического анализа телекоммуникационной сети, а также прогнозирование временных рядов.
Результаты, выносимые на защиту
1. Концепция мониторинга и анализа телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.
2. Научное обобщение практических задач, для решения которых проводится статистический мониторинг и анализ телекоммуникационной сети.
3. Методология сбора первичной информации о телекоммуникационной
сети и процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную
последовательность, позволяющие перейти к анализу параметров
телекоммуникационной сети статистическими методами.
4. Новый подход к применению методов и методик статистического анализа, таких как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей, для целей проведения статистического анализа параметров телекоммуникационной сети.
5. Математическая модель телекоммуникационной сети для целей статистического мониторинга и анализа.
6. Алгоритмы, реализующие модифицированные методы статистического анализа параметров телекоммуникационной сети.
7. Результаты экспериментальной реализации разработанных и модифицированных методов, методик и алгоритмов на примере научно-образовательной сети.
Научная новизна результатов
В результате выполнения данного исследования были разработаны аналитические, теоретические, методологические и практические основы статистического мониторинга и анализа компьютерных телекоммуникационных сетей, а именно:
- в результате исследования и анализа текущего состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях выявлено, что российские телекоммуникационные сети отличаются нерегулярной структурой, обусловленной нерегулярным проектированием и финансированием, для российских телекоммуникационных сетей характерно ведомственное (корпоративное) разделение, что затрудняет их адекватный мониторинг с целью оптимального предоставления инфокоммуникационных сервисов;
- для целей статистического мониторинга и анализа определены основные показатели функционирования телекоммуникационной сети, основные требования, предъявляемые к телекоммуникационным сетям, характеризующие качество обслуживания сети; опредлены понятия мониторинг и анализ телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами; практические задачи, для решения которых проводится мониторинг и анализ телекоммуникационной сети;
- разработанные процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную последовательность позволяют перейти к анализу параметров телекоммуникационной сети; методики преобразования информационных потоков, циркулирующих в глобальных сетях, учитывающие особенности средств регистрации поступающей информации;
- математическая модель исследования параметров телекоммуникационной сети в виде временного ряда, который разлагается на такие компоненты как тренд, периодическую и случайную составляющую, при этом можно предсказать будущее каждой компоненты и, анализируя их, предсказать будущее всего ряда;
- модифицированные методы теории статистики для системы статистического анализа телекоммуникационной сети, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, нейронные сети; их можно использовать как инструменты для обработки статистических данных в статистической системе анализа телекоммуникационной сети;
- алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов, набор алгоритмов
восходящей или агломеративной, иерархической классификации с целью реализации в статистической системе анализа телекоммуникационной сети;
- алгоритма обработки рядов содержащих компоненты тренда и сезонности основанные на развертке ряда в двух-входовую таблицу, алгоритм, удаления средних значений, итерационный алгоритм медианного сглаживания, алгоритм разложения по целевым факторам.
В данной работе предлагается новый подход мониторинга и анализа телекоммуникационной сети, основанный на обработке статистической информации о функционировании телекоммуникационной сети и определении нормального профиля сети на основе этой обработки.
Решение вышеуказанных задач позволяет практически осуществлять:
1. Предсказание изменения параметров телекоммуникационного ■ трафика на основе обработки статистической информации о работе
элементов сети. Эта информация носит, как правило, статистический характер и представляет собой зачастую временные последовательности. В этом случае речь идет о статистическом анализе сетевого трафика как анализе временных рядов, а анализируемая статистика может быть как текущей (с интервалом усреднения информации от одной до десятков секунд), так и долговременной (с интервалом усреднения информации от одной минуты до нескольких часов или суток).
2. Интеллектуальное управление телекоммуникационными сетями для перераспределения сетевых ресурсов, в частности, пропускной способности виртуальных каналов. Это достигается за счет статистического мультиплексирования с временным разделением пропускной способности между различными информационными приложениями. Методы управления перераспределением пропускной способности позволяют распределить информационные потоки по виртуальным каналам. При этом учитываются ограничения на доступную пропускную способность и уровень показателей качества. Указанные методы представляют собой симбиоз алгоритмов
резервирования пропускной способности виртуальных каналов и статистического мультиплексирования ресурсов.
3. Исследование временных задержек вдоль маршрута прохождения пакета, снижение которых повышает качество работы сети. Временные задержки являются важным фактором, влияющим на пропускную способность сети. Чем больше эти задержки, тем меньше пропускная способность сети. В соответствии с протоколом TCP/IP пропускная способность со стороны источника пакетов определяется текущим окном перегрузки, равным числу разрешенных к передаче пакетов до прихода пакета подтверждения. При более или менее регулярном поступлении пакетов подтверждения величина окна увеличивается в два раза. В итоге достигается максимально возможная для принятого протокола пропускная способность, уменьшается окно перегрузки и соответственно пропускная способность соединения.
4. Формирование прогноза времени появления перегрузки и ее величины. Задержка и потеря пакетов в пути может происходить из-за очередей в промежуточных узлах - маршрутизаторах, в компьютерах - источниках и приемниках пакетов, а также из-за переполнения буферов в этих узлах. В таком случае пакеты подтверждения не отсылаются, и протоколом TCP на стороне источника формируется окно перегрузки уменьшенного размера. Интервал между моментами отсылки пакета из источника и получения пакета подтверждения называется RTT-задержкой [англ, round-trip time - задержка] [34]. Указанная задержка является важной характеристикой, обеспечивающей нормальное функционирование TCP-соединения в фазе медленного старта и поэтому требующей тщательной настройки и контроля. Для избежания простоев из-за ожидания потерянных и задержавшихся пакетов вводится пороговое значение RTT-задержки. Пакеты считаются потерянными, если RTT превышает заданный порог. По величине спрогнозированной RTT-задержки можно судить об уровне перегрузки и перенастроить величину окна, т.е. определить закон изменения окна перегрузки.
5. Контроль и прогнозирование переполнения системных буферов телекоммуникационной сети. На пропускную способность участка сети между /-м и j-м узлами очевидно влияет очередь в узле j. Эта очередь может возникнуть из-за ограниченного объема памяти данного буфера, низкой интенсивности разгрузки этого буфера (скорость работы процессора), чрезмерно больших объемов информации, поступивших на него. В связи с этим интенсивность потока информации от узла і к узлу j понижается, а в случае переполнения буфера в узле j передача информации прекращается и часть пакетов теряется. Для предотвращения потери пропускной способности узла необходимо регулировать уровень загрузки буфера на основе прогноза его переполнения.
6. Сравнение наблюдаемого поведения телекоммуникационной сети с определенным ранее нормальным профилем и выявление сетевых аномалий. Нормальным профилем или шаблоном работы сети называется совокупность ее характеристик в течение некоторого промежутка времени, которая соответствует работе всей системы без каких-либо существенных отклонений от нормы. Однако вопрос о системе характеристик качества сети, на основе которых можно описать нормальный профиль, является весьма неординарным и представляет собой отдельную научную задачу.
Достоверность научных результатов и выводов, сформулированных в диссертации, определяется корректным применением информационных технологий и методов математической статистики, статистического анализа временных рядов. При этом теоретические расчеты согласовывались с экспертами в области сетевого администрирования и информационных технологий.
Практическая ценность полученных результатов определяется разработкой реально действующих алгоритмов и программ для статистического мониторинга и анализа телекоммуникационных сетей, которые, в частности, используются при развитии и администрировании отраслевой телекоммуникационной научно-образовательной сети RUNNet, а именно:
- проведен анализ и исследование параметров телекоммуникационной сети RUNNet с помощью пакета программы TeleStat;
- для статистической обработки характеристик сетевого трафика на основе долговременной статистики была разработана и использована программа «Роутер»;
- для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и использована программа «AFINT»;
- с помощью программы «Анализатор трафика» определен нормальный профиль сети (этап анализа), выявлены отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети.
Результаты, полученные в работе, внедрены в рамках выполнения следующих проектов:
в Министерстве образования и науки Российской Федерации № гос. регистрации 0120.0503656; УДК 621.394/.396.019.3 «Развитие методов и средств обеспечения защиты информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № гос. регистрации 0120.0503662; УДК 37.014.15 «Исследование и реализация методов обеспечения качества передачи информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации» и «Разработка системы мониторинга и управления телекоммуникационным трафиком Минобрнауки России»;
в Министерстве промышленности, науки и технологий Российской Федерации «Разработка и реализация методов мониторинга и статистического анализа научно - образовательных компьютерных сетей» и «Создание методов, средств и распределенных систем обеспечения защиты информации в телекоммуникационных сетях науки и образования»;
в Государственном НИИ системной интеграции «Разработка предложений по организации сетевого взаимодействия объектов управления сферы образования с учетом обеспечения безопастности";
в Федеральном агентстве по образованию Российской Федерации «Обеспечение региональной связности отраслевой
телекоммуникационной сети сферы образования» и «Разработка математической модели угроз безопасности систем и формирование методики мониторинга и прогнозирования состояния критических параметров системы информационной безопасности»;
в ФГУ РНЦ «Курчатовский институт» «Разработка и исследование сегментов высокоскоростных участков научно¬образовательной сети базирующихся на новых простоколах передачи данных»;
в СПб ГУ информационных технологий и точной механики «Разработка типовых сегментов высокоскоростных вычислений на ресурсах науки использующих новые технологии передачи данных» и Анализ функционирования информационно-аналитических центров мониторинга в области информационно-телекоммуникационных ситсем»;
в Федеральном агентстве по науке и инновациям Российской Федерации «Обеспечение технологического развития национальной компьютерной сети науки и высшей школы как уникального объекта инфраструктуры науки и образования»;
Исходя из вышеизложенного принята следующая стркутура диссертации.
В первой главе проведен обзор, исследование и анализ состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях в целях обоснования необходимости анализа и мониторинга телекоммуникационных сетей с использованием статистических методов.
1. Рассмотрены общие принципы создания, оснащения и развития
российских телекоммуникационных сетей.
2. Исследованы вопросы технологического состояния российских
телекоммуникационных сетей и условий их дальнейшего развития на современном этапе.
3. Проведен анализ сегмента некоммерческих, научно-образовательных сетей в российском телекоммуникационном пространстве.
4. Исследованы особенности организации и построения российских
телекоммуникационных сетей и связанные с этим особенности их анализа и мониторинга.
5. Проведен анализ наиболее перспективных архитектур и способов
организации доступа в телекоммуникационных сетях.
6. Исследованы вопросы распределенного доступа к научно¬
образовательным ресурсам с использованием региональных «зеркал».
7. Рассмотрена постановка проблемы.
Во второй главе введено понятие «нормальный профиль телекоммуникационной сети», как совокупность показателей ее нормального функционирования, в целях анализа и мониторинга телекоммуникационной сети в случае невозможности доступа к ее структуре, а также для обеспечения оперативности и технологичности.
1. Определены основные показатели функционирования телекоммуникационной сети.
2. Сформулированы основные требования, предъявляемые к телекоммуникационным сетям, характеризующие качество обслуживания сети.
3. Исследованы задачи управления телекоммуникационными сетями.
4. Введены понятия «мониторинг» и «анализ» телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.
5. Сформулированы практические задачи, для решения которых проводится мониторинг и анализ телекоммуникационной сети.
В третьей главе анализируются структуры временных рядов, модель, описывающая поступление информации за единицу времени, методы анализа составляющих модели; метод прогнозирования загрузки канала на короткий период, разрабатываются технология и методы первичной обработки значений параметров телекоммуникационной сети.
1. В качестве инструмента первичного сбора статистической информации о функционировании телекоммуникационной сети обоснована процедура сбора информации с помощью протокола управления SNMP.
2. Разработаны две процедуры преобразования первичных значений основных параметров телекоммуникационной сети в временной ряд и случайную последовательность, позволяющие перейти к анализу и моделированию информационных потоков.
3. Проанализированы характеристики сетевого трафика телекоммуникационной сети RUNNet, выявлены их особенности: нестационарность, неоднородность, периодичность, сложная форма периодического сигнала.
4. Обосновано предположение, что для анализа параметров функционирования телекоммуникационной сети целесообразно использовать статистический анализ временных рядов.
В четвертой главе представлены математические методы и модели для проведения статистического анализа и мониторинга параметров функционирования телекоммуникационной сети.
1. Проведена оценка статистических характеристик и выделены главные компоненты в системе статистического анализа телекоммуникационной сети.
2. Исследованы методы статистического анализа, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей.
3. Определены инструменты для обработки статистических данных, такие как матрица данных, шкалы и расстояния в статистической системе анализа телекоммуникационной сети.
4. В качестве математической модели функционирования телекоммуникационной сети для целей статистического мониторинга и анализа выбран временной ряд с учетом таких методов его обработки, как сглаживание и декомпозиция, в частности, модель авторегрессии и модель скользящего среднего (с учетом сезонности и тренда).
5. Разработаны процедуры прогнозирования временных рядов, такие как: простые процедуры прогноза, процедура «без изменения», процедура «постоянное приращение», непараметрическое прогнозирование временных рядов, прогнозирование с помощью нескольких рядов.
6. Выявлены особенности представления значений характеристик телекоммуникационной сети в виде временного ряда.
7. Разработана математическая модель функционирования телекоммуникационной сети как типичного временного ряда для целей ее статистического анализа и мониторинга, которая складываться из следующих составляющих:
• тренд, или систематическое изменение;
• колебание относительно тренда с большей или меньшей регулярностью;
• сезонная составляющая;
• случайная или несистематическая составляющая.
8. Определено, что тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент обязательно присутствуют в ряде, формально описывающем характеристики телекоммуникационной сети одновременно.
9. Сформулирована основная цель анализа временных рядов в данной
работе, которая состоит в прогнозировании поведения исследуемой телекоммуникационной сети в некоторый период времени. Решение данной задачи носит статистический характер: изучается прошлое поведение временного ряда значений основных характеристик телекоммуникационной сети, и в предположении, что
телекоммуникационная сеть не меняется во времени,
предпринимаются попытки экстраполяции ряда на будущее без детального изучения архитектуры телекоммуникационной сети.
10. Разработана математическая модель загрузки канала телекоммуникационной сети.
11. Сформулированы принципы прогнозирования загрузки каналов телекоммуникационной сети.
В пятой главе представлены алгоритмы статистической системы анализа и мониторинга телекоммуникационной сети, разработанные в соответствии с математическими методами и методиками, представленными в Г лаве 4.
1. Разработан алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов.
2. Модифицирован подход на основе целенаправленного проецирования с целью реализации в статистической системе анализа телекоммуникационной сети визуального метода анализа резко выделяющихся наблюдений.
3. Адаптирован алгоритм к-средних при заданном числе классов для реализации в статистической системе анализа телекоммуникационной с

Список литературы

ЗАКЛЮЧЕНИЕ
В ходе диссертационного исследования получены следующие основные результаты:
1. Выполнены исследование и анализ текущего состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях, в результате чего выявлено, что российские телекоммуникационные сети отличаются нерегулярной структурой, что обусловленно нерегулярным проектированием и финансированием, для российских телекоммуникационных сетей характерно ведомственное (корпоративное) разделение, что затрудняет их адекватный мониторинг с целью оптимального предоставления инфокоммуникационных сервисов.
2. Обосновано, что использование методологии и технологии сетей доставки содержания позволяет эффективно взаимодействовать со статистической системой мониторинга и анализа функционирования телекоммуникационных сетей. Одновременное развертывание сети доставки содержания и статистической системы анализа и мониторинга функционирования телекоммуникационных сетей обеспечивает необходимую управляемость и масштабируемость системы.
3. Выделены основные показатели функционирования телекоммуникационной сети для целей статистического анализа и мониторинга и, наиболее информативный параметр - загрузка канала. Анализ загрузок каналов дает информацию об их стабильности и надежности позволяет эффективно управлять каналом, находить узкие места и делать прогнозы о необходимости дальнейшего расширения канала или сети.
4. Сформулированы практические задачи, для решения которых целесообразно проводить статистический мониторинг и анализ телекоммуникационной сети.
5. Определены понятия анализ и мониторинг телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.
6. В качестве инструмента первичного сбора статистической информации о функционировании телекоммуникационной сети выбрана процедура сбора информации с помощью протокола управления SNMP. Выбраны и рассмотрены процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную последовательность, позволяющие перейти к анализу и моделированию информационных потоков.
7. Предложены методики преобразования данных, циркулирующих в глобальных сетях, учитывающие особенности средств регистрации поступающей информации и предложена модель для описания передачи информации по сети.
8. Проанализированы характеристики сетевого трафика научно-образовательной сети RUNNet, выявлены их особенности: нестационарность, неоднородность, периодичность, сложная форма периодического сигнала. На основе проведенных экспериментов сделан вывод, что для анализа параметров функционирования телекоммуникационной сети целесообразно использовать статистический анализ временных рядов.
9. Для целей статистического анализа телекоммуникационной сети модифицированы методы статистического анализа, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, нейронные сети. Адаптирован алгоритм к-средних и ряд алгоритмов иерархической классификации для анализа данных в телекоммуникационной сети. Адаптирован алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов. Модифицирован подход на основе целенаправленного проецирования для анализа резко выделяющихся наблюдений.
10. Разработана математическая модель загрузки канала телекоммуникационной сети. Данная математическая модель телекоммуникационной сети для целей статистического мониторинга и анализа основывается на том, что последовательные значения характеристик телекоммуникационной сети образуют временные ряды. Анализ временных рядов значений характеристик телекоммуникационной сети позволяет предсказать функционирование сети в будущем на основании знания их прошлого функционирования, выяснить механизм, порождающий ряд, или описать характерные особенности ряда.
11. Для моделирования и прогноза временных рядов адаптированы следующие алгоритмы обработки рядов содержащих компоненты тренда и сезонности: алгоритм удаления средних значений, итерационный алгоритм медианного сглаживания, алгоритм разложения рядов остатков по целевым факторам. Развиты методы моделирования временных рядов с оптимизацией параметрической структуры моделей с помощью штрафных функций. Указанные алгоритмы реализованы в пакете программ TeleStat для анализа данных в телекоммуникационных сетях.
12. Приведены экспериментальные результаты реализации разработанных и модифицированных научных методов и методик в соответствии с разработанными алгоритмами. А именно:
-проведен анализ и исследование параметров научно-образовательной сети RUNNet с помощью пакета программ TeleStat,
- для статистической обработки характеристик сетевого трафика на основе долговременной статистики разработана программа «Роутер»;
- для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и представлена программа «AFINT»;
- программа «Анализатор трафика» разработана с целью обработки статистической информации о функционировании телекоммуникационной сети и выдачи рекомендаций системному администратору сети; с ее помощью можно определить нормальный профиль сети (этап анализа), выявить отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети;
- представлены результаты исследования загрузок каналов научно-образовательной сети RUNNet по интерфейсам АТМ и FastEthemet на основе анализа и исследования составляющих математической модели, которая описывает поступление и передачу информации по каналам связи; в частности представлены результаты проведения экспериментов по основным методикам анализа и исследования телекоммуникационной сети: идентификация аномальных наблюдений, метод агрегирования данных, метод конечных разностей, прогнозирование сетевого трафика по методу экспоненциального сглаживания.
Таким образом, в диссертации решена крупная научная проблема, состоящая в:
1. Разработке научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.
2. Проведении теоретического анализа и экспериментальных
исследований функционирования научно-образовательных
телекоммуникационных сетей основанных на разработанной научной базе.
3. Разработке научных подходов и методов, обеспечивающих контроль и диагностику функционирования телекоммуникационных систем и компьютерных сетей.
4. Разработке и апробация комплекса алгоритмических средств для различного уровня использования, начиная от системного администратора телекоммуникационной сети до системного аналитика (доведенных до программной реализации).
Эффективность комплекса алгоритмических средст, доведенных до программной реализации, средств подтверждается внедрением разработанных в диссертации теоретических основ, методов и алгоритмов как на федеральном уровне - в Министерстве образования и науки Российской Федерации, так и на
региональном - в научно-образовательной сети RUNNet - в Ростовском ГУ, Тамбовском ГТУ, Пермском ГУ, Ярославском ГУ, СПб ГУ информационных технологий, механики и оптики, Владимирском ГУ, Рязанской
радиотехнической академии, Новгородском ГУ, а также в телекоммуникационных компаниях: Владимирском филиале ОАО
«ЦентрТелеком», ООО «Цифровые телефонные сети» (г.Ростов-на-Дону).
Практическая ценность и внедрение результатов
Решение вышеуказанных задач позволяет практически осуществлять:
1. Предсказание изменения параметров телекоммуникационной сети на основе обработки статистической информации о ее функционировании.
2. Интеллектуальное управление телекоммуникационной сетью на основе анализа статистической информации о ее загрузке.
3. Исследование временных задержек вдоль маршрута прохождения пакета, снижение которых повышает качество работы сети.
4. Формирование прогноза времени появления перегрузки и ее величины.
5. Контроль и прогнозирование переполнения системных буферов телекоммуникационной сети.
6. Сравнение наблюдаемого поведения телекоммуникационной сети с определенным ранее нормальным профилем и выявление сетевых аномалий.
Практическая ценность выбранного пути решения проблемы определяется разработкой реально действующих алгоритмов и программ для статистического мониторинга и анализа телекоммуникационных сетей, которые, в частности, используются при развитии и администрировании отраслевой телекоммуникационной научно-образовательной сети RUNNet, а именно:
- проведен анализ и исследование параметров телекоммуникационной сети RUNNet с помощью пакета программ TeleStat;
- для статистической обработки характеристик сетевого трафика на основе долговременной статистики была разработана и использована программа «Роутер»;
- для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и использована программа «AFINT»;
- с помощью программы «Анализатор трафика» определен нормальный профиль сети (этап анализа), выявлены отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети.
Результаты, полученные в работе, внедрены в рамках выполнения следующих проектов:
в Министерстве образования и науки Российской Федерации № госрегистрации 0120.0503656; УДК 621.394/.396.019.3 «Развитие методов и средств обеспечения защиты информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № госрегистрации 0120.0503662; УДК 37.014.15 «Исследование и реализация методов обеспечения качества передачи информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № госрегистрации 0120.0 508459 «Исследование методов и реализация системы защиты информации, в том числе от спама и вирусных атак в корпоративной сети Минобрнауки России» и «Разработка системы мониторинга и управления телекоммуникационным трафиком Минобрнауки России»;
в Министерстве промышленности, науки и технологий Российской Федерации № госрегистрации 0120.0 405211 «Разработка и реализация методов мониторинга и статистического анализа научно - образовательных компьютерных сетей» и № госрегистрации 0120.0 405219 «Создание методов, средств и распределенных систем обеспечения защиты информации в телекоммуникационных сетях науки и образования»;
в Федеральном агентстве по науке и инновациям Российской Федерации № госрегистрации 0120.0 508460 «Обеспечение технологического развития национальной компьютерной сети науки и высшей школы как уникального объекта инфраструктуры науки и образования»;
в Федеральном агентстве по образованию Российской Федерации «Обеспечение региональной связности отраслевой телекоммуникационной сети сферы образования» и № госрегистрации 0120.0 409936 «Разработка математической модели угроз безопасности систем и формирование методики мониторинга и прогнозирования состояния критических параметров системы информационной безопасности»;
в Государственном НИИ системной интеграции «Разработка предложений по организации сетевого взаимодействия объектов управления сферы образования с учетом обеспечения безопастности";
в ФГУ РНЦ «Курчатовский институт» № госрегистрации 0120.0 504287 «Разработка и исследование сегментов высокоскоростных участков научно-образовательной сети базирующихся на новых протоколах передачи данных»;
в СПб ГУ ИТМО «Разработка типовых сегментов высокоскоростных вычислений на ресурсах науки использующих новые технологии передачи данных» и № госрегистрации 0120.0 508458 «Анализ функционирования информационно-аналитических центров мониторинга в области информационно-телекоммуникационных систем».
Основания для выполнения работы
Работа явилась обобщением результатов исследований автора в период с 1996 года по настоящее время и выполнена в Федеральном государственном учреждении Государственный НИИ информационных технологий и телекоммуникаций «Информика». В последние годы работа связана с выполнением Программ Минобразования России «Научное, научно¬методическое, материально-техническое и информационное обеспечение системы образования» (2000 - 2003 гг.), «Государственная поддержка региональной научно-технической политики высшей школы и развитие ее
научного потенциала» (2001-2002 гг.), Федеральных целевых программ «Электронная Россия» (2002 - 2005 гг.), «Интеграция науки и высшего образования» (2002-2004 гг.), «Развитие единой образовательной
информационной среды» (2002 - 2005 гг.), Федеральной программы развития образования (2000-2005), а также ряда хоздоговорных научно-исследо¬вательских работ.
Работа поддержана государственными грантами РФФИ по
фундаментальным исследованиям в области технических наук (направление «Информационные технологии в проектировании изделий и технологических процессов их изготовления») по темам «Разработка системы коллективного пользования для статистического анализа телекоммуникационных ресурсов» № 02-07-90026, 2002-2004гг., «Развитие материально-технической базы для проведения исследований в области мониторинга телекоммуникационных ресурсов и проблем информационной безопасности» № 04-07-900286, 2004г, «Система мониторинга, оперативной диагностики и контроля трафика ІР-сетей », № 05-07-90360, 2005г. Результаты выполнения работ по данным грантам размещены в виде свободно распространяемого ПО по адресу: http://www.informika.ru
Апробация работы и публикации
Основные положения, представленные в диссертации, начиная с 1997 года, регулярно докладывались и обсуждались на научных мероприятиях различного уровня. В том числе на:
Всероссийской научно-методической конференции «Телематика», г.Санкт-Петербург, 1997-2005 гг.
IX Всероссийской школе-семинаре "Современные проблемы математического моделирования", п. Дюрсо, 2001 г.
Всероссийской научной конференции, г. Новороссийск, 2001.
Всероссийской научно-практической конференции, г. Петрозаводск,
Научно-техническом совещании "Создание телекоммуникационной среды высокопроизводительных технологий в регионах России: состояние, проблемы", г. Уфа, 2000г.
Конференции «Высокопроизводительные вычисления и технологии» Москва-Ижевск, 2003 г.
X конференция представителей региональных научно-образовательных сетей "RELARN-2003". г. Санкт-Петербург, 2003 г.
The 19th ICDE World Conference "The New Educational Frontier: Teaching and Learning in a Networked World. Vienna, 1999.
"LEARNTEC 2001" 9th European Congress and Trade Fair for Educational and Information Technology. Karlsruher, Germany, 2001.
The 18th ICDE World Conference "The New Learning Environment. A Global Perspective. The Pennsylvania State University, 1997.
20-th World Conference on Open Learning and Distance Education "The Future of Learning - Learning for the Future: Shaping the Transition". Dusseldorf, Germany, 2001.
Результаты диссертационной работы непосредственно отражены в 79 публикациях, в том числе в монографии, в 14 статьях, опубликованных в журналах ВАК, в 11 статьях в других журналах и 38 трудах конференций, в 2 учебно-методических пособиях, а также 13 научно-технических отчетах по госбюджетным и хоздоговорным темам, выполненным по теме диссертации при непосредственном участии и руководстве автора.