Еремеев Валерий Борисович. Разработка математического и программного обеспечения активного мониторинга корпоративных компьютерных сетей

Краткое описание

Еремеев Валерий Борисович. Разработка математического и программного обеспечения активного мониторинга корпоративных компьютерных сетей : диссертация ... кандидата технических наук : 05.13.11 / Еремеев Валерий Борисович; [Место защиты: Воронеж. гос. техн. ун-т].- Липецк, 2009.- 172 с.: ил. РГБ ОД, 61 09-5/3161

Международный институт компьютерных технологий
На правах рукописи
04200910599
ЕРЕМЕЕВ Валерий Борисович

РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ АКТИВНОГО МОНИТОРИНГ А КОРПОРАТИВНЫХ КОМПЬЮТЕРНЫХ СЕТЕЙ
Специальность: 05.13 Л1 - Математическое и программное обеспечение
вычислительных машин, комплексов и компьютерных сетей
ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук
Научный руководитель доктор физико-математических наук, профессор Блюмин Семен Львович
Липецк - 2009
Введение 4
1. Обзор и анализ средств и методов мониторинга и
диагностирования компьютерных сетей 10
1.1 Принципы построения компьютерных сетей
масштаба предприятия 10
1.2 Мониторинг и управление современными сетями. Выбор сетевых
показателей 15
1.3 Обзор и классификация средств
наблюдения за сетью и ее диагностики 22
1.4 Анализ существующих методов диагностирования сетей
и моделирования трафика 27
1.5 Постановка цели и задач исследования 38
2. Разработка математической модели прогнозирования состояния
корпоративной компьютерной сети 39
2.1 Предлагаемая схема активного мониторинга сети 39
2.2 Описание наблюдаемых переменных на основе
теории случайных процессов 45
2.3 Решение задачи квантования по уровню
наблюдаемых переменных 52
2.4 Нахождение значимой глубины памяти наблюдаемого процесса 56
2.5 Построение вероятностной модели прогнозирования 59
2.6 Рассмотрение возможных областей значений
наблюдаемых переменных 66
2.7 Выводы 70
3. Создание программного обеспечения мониторинга и
прогнозирования состояния компьютерной сети 72
3.1 Взаимосвязь массивов, ассоциированных
с наблюдаемой переменной 72
3.2 Разработка структуры реализуемого программного обеспечения на
основе модели прогнозирования состояния вычислительной сети 77
3.3 Реализация произвольной периодизации 82
3.4 Реализация адаптивного прогнозирования 89
3.5 Детектирование потенциально опасных отклонений 97
3.6 Выводы 102
4. Мониторинг и прогнозирование сети на основе
разработанной модели 104
4.1 Возможное применение разработанного обеспечения 104
4.2 Описание корпоративной сети ОАО «НЛМК» 106
4.3 Применение разработанных методов и средств для мониторинга и
прогнозирования состояния корпоративной сети 110
4.4 Сравнительный анализ результатов вероятностного прогнозирования
с использованием разработанной и марковской моделей 125
4.5 Выводы 135
Заключение 136
Литература 138
Приложения 148
Актуальность работы. Высокоскоростные корпоративные компьютер-ные сети играют в настоящее время все более важную роль. Они стали важной и неотъемлемой частью инфраструктуры и технологических процессов боль-шинства предприятий и организаций. Сбои и отказы в компьютерных сетях приводят к искажению, необратимым потерям или временным задержкам ин-формации, приводящим, в свою очередь, к нарушению технологических про-цессов, процессов управления предприятием, значительным финансовым по-терям.
Современные компьютерные сети отличаются сложностью физической и логической топологии и организации. Кардинальные изменения в компью-терных сетях имеют место в связи с увеличением требований, предъявляемых к ним, способностью обеспечить выполнение новых, более емких приложений и компонентов. Концепция взаимодействия открытых систем (OSI) позволяет различным сетевым компонентам и приложениям разных производителей взаимодействовать друг с другом. С одной стороны, гетерогенность дает гиб-кость в удовлетворении разнообразных запросов пользователей, с другой, — она увеличивает риск возникновения сбоев и ошибок.
Ключевой составляющей обеспечения эффективного функционирования компьютерных сетей, сохранения постоянной сетевой готовности и высокой надежности является наличие систем мониторинга и управления.
В свою очередь, одной из основных целей мониторинга является опера-тивное обнаружение аномалий в работе сети, влияющих на потоки трафика, таких как: отказы, изменения конфигурации, перегрузки и запрещенные воз-действия.
Распознавание и идентификация аномалий зачастую базируются на ме-тодах, представляющих собой практический опыт, полученный специалистом при администрировании сети (так называемых методах ad hoc). Существуют различные коммерческие и свободно распространяемые инструменты, однако
они требуют задания самим пользователем правил или пороговых значений для срабатывания предупреждающих сигналов. Можно сказать, что подав-ляющее число# современных систем не могут гарантировать обнаружение и, тем более, прогнозирование аномалий, что обусловлено несовершенством за-ложенных в них методов и алгоритмов. Следовательно, любой сбой, отказ, пе-регрузка для таких сетей всегда является неожиданным и непредсказуемым, что существенно усложняет задачу ликвидации последствий этих сбоев и де¬лает невозможной задачу предотвращения критических ситуаций.
Таким образом, разработка эффективных методов и средств прогнози-рования состояний компьютерной сети, разработка специального программ-ного обеспечения мониторинга корпоративной сети для выявления аномалий является весьма актуальной задачей.
Сетевые аномалии и свойства сетевого трафика стали интенсивно изу-чаться с начала 1990-х гг.. Примеры анализа типовых режимов трафика могут быть найдены в работах [78], [101]. Более детальные характеристики и модели сетевого трафика включают исследование свойств самоподобия [23], [102], [120]. Различные методы анализа были использованы в этих и других иссле-дованиях, включая временные ряды и Вейвлет-анализ [70].
Примерами работ в направлении обнаружения аномалий могут быть следующие труды: [90] - данная работа сфокусирована на изоляции сбоев в сетях, [85] - показывает, что сбои могут быть обнаружены по статистическим отклонениям от регулярно наблюдаемого состояния сети (профиля, шаблона), [75] - пороговые значения применяются к моделям временных рядов для оп-ределения отклоняющегося поведения сети. Эти исследования сосредоточены на том, как наиболее точно определить отклонение от нормального режима работы сети.
Аналогичный подход применен и в данной работе. Эффективность сис-темы обнаружения аномалий зависит от точности и соответствия выбранного математического аппарата и методов, определяющего нормальный профиль состояния сети и детектирующего отклонения от него.
Цель работы: Целью диссертационной работы является разработка прикладного математического и программного обеспечения мониторинга и прогнозирования состояния корпоративной компьютерной сети для выявле¬ния аномалий в ее поведении на основе теоретического и экспериментального исследования в области программных средств организации и управления об-работкой данных мониторинга компьютерных сетей.
Для достижения указанной цели были поставлены и решены следующие задачи:
1. Анализ существующих методов и средств мониторинга компьютерных сетей.
2. Разработка математической модели прогнозирования состояния корпора-тивной компьютерной сети, позволяющей учесть оптимальную глубину памя¬ти и нестационарность наблюдаемого процесса.
3. Создание, на основе этой модели, алгоритма детектирования потенциаль-но опасных отклонений поведения наблюдаемых сетевых показателей от ти-пового профиля их поведения.
4. Создание структуры специального программного обеспечения монито-ринга компьютерной сети, обеспечивающего задание типового профиля пове-дения.
5. Экспериментальная проверка разработанных средств на данных монито-ринга корпоративной сети и проведение сравнительного анализа с другими моделями.
Методы исследования. В работе использованы методы теории вероят-ностей, математической статистики, анализа временных рядов, теории мар-ковских процессов, объектно-ориентированного программирования.
Научная новизна. В диссертационной работе получены следующие ре-зультаты, характеризующиеся научной новизной:
- метод активного мониторинга корпоративной компьютерной сети, от-личающийся представлением наблюдаемых сетевых показателей как совокуп-ностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования;
- алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обраще-ния в прошлое;
- вероятностная модель прогнозирования состояния компьютерной сети, позволяющая учесть оптимальную глубину памяти и нестационарность на-блюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности;
- алгоритм детектирования потенциально опасных отклонений от типо-вого профиля поведения наблюдаемых переменных, отличающийся использо-ванием разработанной вероятностной модели прогнозирования и позволяю-щий охватить все возможные состояния наблюдаемых переменных;
- структура специального программного обеспечения мониторинга ком-пьютерной сети, обеспечивающего задание профиля типового поведения, от-личающаяся возможностью периодизации любой наблюдаемой сетевой пере-менной.
Практическая значимость заключается в повышении эффективности математического и программного обеспечения мониторинга компьютерных сетей предприятий. В рамках диссертационного исследования разработано программное обеспечение мониторинга и построения типового профиля пове-дения компьютерной сети, позволяющее осуществлять наблюдение показате¬лей информационных управляющих баз (МІВ) управляемых сетевых уст¬ройств и производить гибкую, интересующую сетевого специалиста периоди¬зацию собранных данных, которая позволяет получить основу типового про¬филя поведения сети.
Реализация и внедрение результатов работы. Разработанное программ¬ное обеспечение внедрено в Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат». Данное программное обеспечение, предназначенное для наблюдения MIB-переменных и построе¬ния профиля их типового поведения при штатном функционировании корпо-ративной корпоративной сети, используется в качестве средства мониторинга.
Результаты диссертационной работы используются в учебном процессе Липецкого филиала Международного института компьютерных технологий при подготовке инженеров по специальности 230101 «Вычислительные ма-шины, комплексы, системы и сети».
Апробация работы. Материалы работы, ее основные теоретические и практические результаты докладывались и обсуждались на международных, всероссийских и региональных конференциях, в том числе на XI-ой Между-народной открытой научной конференции «Современные проблемы информа-тизации в информационных системах и телекоммуникациях» (Воронеж, 2006), на Международной научной конференции «Компьютерные технологии в тех-нике и экономике» (Воронеж, 2007), на Всероссийской молодежной конфе-
і
ренции по проблемам управления (Москва, 2008), на Международной научной конференции «Информационные технологии и системы» (Геленджик, 2008), на V-ой Всероссийской школе-семинаре молодых ученых «Управление боль¬шими системами» (Липецк, 2008).
Публикации. По материалам диссертации опубликовано 11 научных работ, в том числе 1 - в издании, рекомендованном ВАК РФ. В работах, опуб-ликованных в соавторстве и приведенных в конце автореферата, лично соис-кателю принадлежат: [42] - алгоритм периодизации данных мониторинга, [43] - метод активного мониторинга вычислительной сети и вероятностная модель прогнозирования.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 121 наименования, 7 приложений. Основная часть работы изложена на 147 страницах, содержит 38 рисунков и 20 таблиц.
t
Во введении обосновывается актуальность темы диссертационной работы, формулируется цель, задачи исследования, научная новизна и прак-тическая значимость полученных результатов, дается краткое содержа¬ние диссертации по главам.
В первой главе диссертации рассмотрены и проанализированы сущест-вующие методы и средства мониторинга компьютерных сетей.
Во второй главе разрабатывается математическое обеспечение актив-ного мониторинга корпоративной компьютерной сети, устраняющее недос-татки применяющихся моделей прогнозирования, в частности, построена ве-роятностная модель прогнозирования, позволяющая учесть оптимальную глу-бину памяти и нестационарность наблюдаемого процесса. Предложена схема построения типового профиля «нормального» поведения сети, основанная на проведении гибкой периодизации исходных статистических данных. Основа-нием возможности применения периодизации является идея рандомизирован-ного моделирования.
В третьей главе представлена программная реализация разработанного математического обеспечения активного мониторинга компьютерной сети, разработан алгоритм детектирования потенциально опасных отклонений в ее поведении, представлена взаимосвязь массивов, ассоциированных с наблю-даемой сетевой переменной.
Особое внимание уделено реализации инструментария автоматизиро-ванной периодизации и механизма прогнозирования с использованием соз-данной модели. ‘
В четвертой главе сформулированы обобщенные правила использова-ния разработанного программного обеспечения, проведена проверка разрабо-танных средств на данных по интенсивности трафика серверной фермы ОАО «НЛМК», произведен сравнительный анализ разработанных средств с мето¬дом обнаружения, основанном на использовании марковской модели, показа¬на большая чувствительность и адекватность созданного обеспечения.
В заключении приведены основные результаты диссертационной работы, указаны перспективные направления дальнейших исследований.

Список литературы

Заключение
В ходе работы созданы алгоритмы и инструменты, позволяющие повысить эффективность мониторинга компьютерной сети предприятия с помощью разработанной модели стохастического прогнозирования.
Повышение эффективности мониторинга сети осуществляется за счет учета разработанной моделью нестационарности, наличия памяти и устаревания данных наблюдаемого процесса.
Разработанные средства построения типового профиля поведения вычислительной сети, прогнозирования ее состояния и обнаружения отклонений от полученного профиля реализованы в виде программного обеспечения и могут быть использованы для активного мониторинга компьютерной сети.
В работе получены следующие основные теоретические и практические результаты:
1. Предложен метод активного мониторинга корпоративной компьютерной сети, отличающийся представлением наблюдаемых сетевых показателей как совокупностей реализаций случайных процессов и позволяющий применить аппарат теории вероятностей, математической статистики и анализа временных рядов для их прогнозирования.
2. Разработан и реализован алгоритм оценки наличия памяти и старения данных о наблюдаемом процессе, позволяющий определить оптимальную значимую глубину обращения в прошлое.
3. Построена вероятностная модель прогнозирования состояния компьютерной сети, позволяющая учесть оптимальную глубину памяти и нестационарность наблюдаемого процесса и отличающаяся использованием массивов исходных автокоррелированных данных и методов решения задач классификации и снижения размерности.
4. Разработан и реализован алгоритм детектирования потенциально опасных отклонений от типового профиля поведения наблюдаемых переменных, отличающийся использованием разработанной вероятностной модели прогнозирования и позволяющий охватить все возможные состояния наблюдаемых переменных.
5. Разработана структура специального программного обеспечения мониторинга компьютерной сети, обеспечивающего задание профиля типового поведения, отличающаяся возможностью периодизации любой наблюдаемой сетевой переменной.
6. Произведена апробация предложенных методов на данных реально действующей корпоративной сети ОАО «Новолипецкий металлургический комбинат», выполнен сравнительный анализ с методом обнаружения, основанном ' на использовании марковской модели, и получены экспериментальные результаты, позволяющие сделать вывод о большей адекватности созданного обеспечения и целесообразности его применения для выявления потенциальных сетевых аномалий.
7. Результаты диссертационной работы внедрены в деятельность Отдела сетевого обеспечения Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат» и используются в учебном процессе Липецкого филиала МИКТ при подготовке инженеров специальности 230101 «Вычислительные машины, комплексы, системы и сети».
В качестве перспективных направлений дальнейшей научной работы можно указать следующие: проведение исследований по совершенствованию моделей прогнозирования состояния компьютерной сети; применение полученных методов и алгоритмов в других отраслях хозяйственной деятельности, связанных с контролем наблюдаемых процессов, имеющих периодичный характер.