Аль-Хаками Али Мохаммед Омар. Модели процессов функционирования корпоративных центров обработки данных : Аль-Хакамі Алі Мохаммед Омар. Моделі процесів функціонування корпоративних центрів обробки даних

Краткое описание

Аль-Хаками Али Мохаммед Омар. Модели процессов функционирования корпоративных центров обработки данных : диссертация ... кандидата технических наук : 05.13.01 / Аль-Хаками Али Мохаммед Омар; [Место защиты: С.-Петерб. гос. электротехн. ун-т (ЛЭТИ)].- Санкт-Петербург, 2010.- 103 с.: ил. РГБ ОД, 61 10-5/1775

Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им.В.И.Ульянова (Ленина)
На правах рукописи

Аль-Хаками Али Мохаммед Омар МОДЕЛИ ПРОЦЕССОВ ФУНКЦИОНИРОВАНИЯ КОРПОРАТИВНЫХ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ
Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические системы)
Диссертация на соискание ученой степени кандидата технических наук
Научный руководитель: к.т.н., доцент Дубенецкий В.А.
Санкт-Петербург - 2010

Содержание
Введение 3
1 Особенности организации процесса корпоративной обработки и хранения информации 9
1.1 Организация кластерных систем обработки корпоративных данных 9
1.2 Технологии организации систем хранения корпоративных данных 13
1.3 Корпоративные центры обработки данных: функции и компоненты 20
1.4 Характеристики ЦОД 25
1.5 Постановка задачи исследования 29
Выводы по первой главе 34
2 Разработка системной модели ЦОД 35
2.1 Анализ характеристик функциональных задач, сост авляющих нагрузку ЦОД 35
2.2 Анализ архитектурных вариантов ЦОД 41
2.3 Структурно-функциональный анализ центра обработки данных и выбор процессов и компонентов для оценки его производительности 49
Выводы по второй главе 56
3 Разработка моделей отдельных процессов для оценки производительности ЦОД 57
3.1 Модель fibre channel коммутации 57
3.2 Модель обработки запросов пользователей 66
3.3 Модель балансировки нагрузки в кластере 75
3.4 Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных 80
Выводы по третьей главе 85
4 Аналитическое моделирование для оценки производительности ЦОД 86
4.1 Оценка средней длины очередей и времени ожидания системы коммутационной фабрики 86
4.2 Оценка характеристики производительности коммутатора 88
4.3 Сравнение различных вариантов услуг по размещению ресурсов в корпоративных центрах обработки данных 91
Выводы по четвертой главе 96
Заключение 97
Литература 98
з

ВВЕДЕНИЕ
Движущей силой современного бизнеса считается информация, являющаяся наиболее ценным стратегическим активом любого предприятия. Объем баз данных предприятий растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями. Модернизация корпоративных серверов, призванных обрабатывать и хранить данные предприятия перерастает в дорогостоящую и трудоемкую проблему [22].
Управление ресурсами хранения данных становится одной из самых важных проблем предприятия. Кроме обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро стоит задача обеспечения постоянного к ней доступа. Для многих компаний формула доступа к данным «24 часа в сутки» стала нормой жизни [25].
Потерю доступа к важной информации можно оценить количественно, гак как она влияет на результат деятельности предприятия. Однако, существуют организации, которые обязаны планировать непрерывность своей деятельности по закону. Это федеральные агентства, здравоохранение, финансовые институты и прочие. Разрушительность последствий при возможной потере доступа к информации диктует искать пути снижения такого риска и его влияния на бизнес. Одним из наиболее эффективных механизмов решения этой проблемы является построение центров обработки данных. Центр обработки данных - это физическое местоположение, в котором собраны важные вычислительные и информационные ресурсы, поддерживающие работу бизнес-приложений. Такой подход обеспечивает высокую технологическую и экономическую эффективность использования систем хранения, а также открывает возможности построения масштабируемых распределенных решений [40].
Благодаря наличию доступных глобальных коммуникаций хранение данных можно приобрести как услугу без необходимости затрат на разработку собственной информационной инфраструктуры. Такой вид аутсорсинга означает, что центр обработки данных располагается у поставщика услуги, а потребитель приобретает в единоличное пользование информационное пространство, к которому получает полностью прозрачный доступ.
Концепция создания подобных центров обработки данных развита среди гигантов индустрии IBM, Oracle, Microsoft и т.п. Концентрация вычислительных мощностей и больших массивов для хранения данных обеспечивает постоянный спрос на их продукцию и услуги [40].
Технология распределения данных существует уже около двух десятилетий, в ней использованы главные идеи поддержки взаимодействия распределенных и запрашиваемых данных. Но и в настоящий момент, в связи с распространением мультимедиа и гипермедиа информации, которые обладают большими объемами и/или свойством распределенности, проблема своевременной и надежной доставки данных не утрачивает своей актуальности [49].
Как и в любом деле, в области сетевого хранения ситуация постоянно и стремительно меняется. Здесь легко поддаться искушению и предпочесть самые последние разработки. Но наиболее рациональным является выбор, оправданный с экономической и технологической точек зрения, системы, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться. Объемы информации в будущем будут только расти. Необходимо убедиться, что в будущем инфраструктура хранения способна обеспечить экономически эффективное наращивание и расширение. Продолжающийся же рост таких секторов Интернет, связанных с сетевым хранением, как электронная коммерция, платежи, коммуникации требуют соответствующей инфраструктуры, потому что перебои в электронных услугах могут иметь существенные экономические последствия, как для отдельных предприятий, так и для государственных структур и секторов экономики [29,51].
Сказанное говорит об актуальности разработки методов и моделей оценивания характеристик ЦОД на соответствие требуемому качеству обслуживания при заданном, либо прогнозируемом трафике. Важно также учитывать технологии, базирующиеся на открытых отраслевых стандартах, минимизирующие проблемы взаимодействия по мере расширения ЦОД.
Особое значение при анализе работы и оценке характеристик ЦОД приобретают математическое моделирование и вычислительный эксперимент на модели [13,15,17,18,20].
11о вопросам моделирования сетей и ее элементов опубликовано большое число работ, среди которых отметим работы В.А. Ершова, Г.П. Захарова, Л.П. Кулешова, О.И. Кутузова, В.Г. Лазарева, И.А. Мизина, Ю.Г. Поляка, Б.Я. Советова, С.А. Яковлева, JI. Клейнрока, Д. Мартина, М. Шварца. Работы этих ученых и ряда других составляют теоретическую базу моделирования сетей, в том числе сетей хранения данных и центров обработки данных и их элементов [27,33,44,52].
При разработке сложных вычислительных систем параллельного типа, какими являются центры обработки данных (ЦОД), практически отсутствует возможность использования физических моделей и натурного эксперимента. Стохастический характер поступления и обработки запросов в ЦОД предопределяют использование моделей теории сетей массового обслуживания (СеМО) для оценки их вероятностно-временных характеристик (ВВХ) [54].
Модели СеМО, как и любые математические модели, не в состоянии полностью отразить сложные и многообразные информационные процессы в компьютерных сетях или узлах сети. Наиболее разработана теория экспоненциальных СеМО, получены выражения для расчета их ВВХ. Однако для возможности использования аналитических моделей СеМО необходимым является предположение о независимости (Клейнрок JI. Вычислительные системы с очередями: Пер. с англ. — М.: Мир, 1979. — 600 с.), суть которого состоит в том, что времена передачи заявок по разным каналам связи предполагаются независимыми случайными величинами. В .то же время, очевидно, что длительности обслуживания заявки в разных каналах пропорциональны длине этой заявки и, следовательно, зависимы. Эти особенности следует учитывать при выборе альтернативных вариантов расчета и оценки характеристик ЦОД.
Сказанное позволяет сделать вывод о том, что разработка моделей функционирования и оценки вероятностно-временных характеристик центров обработки данных представляет собой важную научную задачу, имеющую большое значение для экономики страны.
Цель работы и задачи исследования. Целью работы является повышение качества проектирования и сопровождения корпоративных центров обработки данных за счет учета основных особенностей их функционирования при оценке характеристик производительности.
Для достижения названной цели необходимо решение следующих задач:
1. Анализ особенностей построения и процессов функционирования корпоративных центров обработки данных.
2. Разработка системной модели корпоративного центра обработки данных.
3. Моделирование процессов функционирования ЦОД.
4. Разработка модели предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.
Объектом исследования являются корпоративные центры обработки данных, выполненные в виде кластерных вычислительных систем.
Предметом исследования являются закономерности процессов функционирования корпоративных центров обработки данных при выполнении запросов пользователей.
Методы исследования. Для решения сформулированных в работе задач, в работе используются математические методы системного анализа, теории вероятности, случайных процессов и математической статистики, теории алгоритмов и теории массового обслуживания.
Научная новизна работы.
Научная новизна работы состоит в разработке моделей процессов функционирования корпоративных центров обработки данных, позволяющих оценить основные характеристики производительности и определить эффективную архитектуру системы, обеспечивающую минимальное время отклика на клиентские запросы с учетом характеристик потоков запросов к предоставляемым сервисам.
Новые научные результаты:
1. Системная модель корпоративного центра обработки данных отличается выделением набора структурных элементов и их назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы их функционирования.
2. Комплекс моделей процессов функционирования центров обработки данных отличается учетом всех этапов прохождения клиентского запроса, что дает возможность оценить необходимые требования к характеристикам ЦОД.
3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных учитывает различные варианты консолидации вычислительных ресурсов, что позволяет определить эффективную по времени отклика архитектуру системы обслуживания заявок клиентов.
Основные результаты, полученные в работе и выносимые на защиту:
1. Системная модель корпоративного центра обработки данных.
2. Комплекс моделей процессов функционирования ЦОД.
3. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру системы.
Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования.
Научная и практическая ценность диссертационной работы заключается в том, что разработанные комплексы моделей и способы получения аналитических зависимостей можно рассматривать как единую технологию оценки производительности корпоративных центров обработки данных. Полученные результаты анализа данных аналитического моделирования и рекомендации по выбору структуры и параметров корпоративных ЦОД
представляют практическую ценность при выборе архитектуры корпоративных центров обработки данных.
Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ) и используются в курсовом и дипломном проектировании по темам, связанным с проектированием корпоративных информационно-управляющих систем.
Апробация работы. Предлагаемые решения и результаты диссертационной работы докладывались и обсуждались на одной международной, одной всероссийской НТК и на НТК профессорско-преподавательского состава СПбГЭТУ и ГУТ в 2007 - 2009 гг.
Публикации. По теме диссертационной работы опубликовано 10 научных работ, из них - 2 статьи из перечня изданий, рекомендованных ВАК, и 8 работ - в научных трудах международных и всероссийских конференций.
Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 62 наименований. Основная часть работы изложена на 103 страницах машинописного текста. Работа содержит 37 рисунков, 4 таблицы.

Список литературы

Выводы по четвертой главе
1. Выполнена оценка средней длины очередей и среднего времени ожидания системы коммутационной фабрики. Результаты показывают, что средняя длина очереди и время ожидания сходятся к соответствующим характеристикам, полученным для системы M|Djl при количестве комплектов коммутатора стремящихся к оо.
2. Оценено влияние длины запросов пользователей L, числа буферов общей памяти М, цикла обращения к общей буферной памяти и коэффициента использования комплектов р на характеристики производительности коммутатора.
2. Показано, что в модели предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных улучшение среднего времени ответа системы можно получить при использовании большой системы коллективного использования с единым ресурсом.
97
Заключение
В рамках диссертационной работы проведено исследование и получено решение важной научно-технической задачи разработки моделей функционирования и оценки вероятностно-временных характеристик корпоративных центров обработки данных.
Применение разработанных математических моделей позволяет сократить время ответа в проектируемой системе для различных групп запросов и устранить возможные «узкие места» в ее архитектуре.
Основные результаты работы заключаются в следующем.
- Принципы и уровни проектирования центров обработки данных, включающие описания:
• сравнительного анализа технологий организации хранения корпоративных данных,
• технологий и структур обработки данных,
• структурно-функционального анализа центров обработки данных.
• анализа требований к качеству обслуживания клиентов.
- Комплекс моделей процессов функционирования ЦОД, включающий:
• модель fibre channel коммутации клиентских запросов,
• модель обработки запросов пользователей, позволяющая оценить время отклика кластерной системы ЦОД,
• модель балансировки нагрузки в кластере,
- Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных, позволяющая определить эффективную архитектуру кластерной системы ЦОД.
Экспериментальные соотношения вероятностно-временных характеристик, отражающие зависимость от различных внешних и внутренних влияющих факторов.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Авен О. И., Гурин Н. Н., Коган Я. А. Оценка качества и оптимизация вычислительных систем [Текст]. - М.: Наука , 1992. - 464 с.
2. Аль-Хаками Али Мохаммед Омар. Модель предоставления услуг по размещению ресурсов в корпоративных центрах обработки данных [Текст]// Информационно-управляющие системы, Санкт-Петербург, 6(43)/2009. С. 72-74.
3. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Оценка вероятностно-временных характеристик сетей хранения данных SAN [Текст]// Программные продукты и системы, г. Тверь, №4, декабрь 2009. С. 177-179.
4. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М., Молчанова Е. Д. Математическое обеспечение расчета вероятностно-временных характеристик узлов коммутации [Текст]//Третий международный научный конгресс «Нейробиотелеком-2008», 2008. С. 7-10.
5. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Модель коммутируемой архитектуры технологии Fibre Channel [Текст] // Третий международный научный конгресс «Нейробиотелеком-2008», 2008. С. 18-23.
6. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Аналитическая модель оценки вероятностно-временных характеристик сетей хранения данных SAN [Текст]//Вестник ТУИТ, №3, 2008. С. 15-19.
7. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Резервное копирование данных по технологии SAN[TeKCT] //IV Санкт-Петербургская научно-практическая конференция «Проблемы подготовки кадров в сфере инфокоммуникационных технологий», Санкт-Петербург, 14-17 апреля 2008 г. С. 102-103.
8. Аль-Хаками Али Мохаммед Омар Модели повышения эффективности архитектуры центра данных [Текст] // XV международная конференция “Современное образование: содержание, технологии, качество”, 22 апреля 2009 г. С. 111-113.
9. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Модель коммутатор Fibre Channel [Текст]// 61 научно-техническая конференция «Профессорско-преподавательского состава Научных сотрудников и аспирантов», 19-23 январь 2009 г. С. 217-218.
10. Аль-Хаками Али Мохаммед Омар, Татарникова Т.М. Возможности решения задачи резервного копирования больших объемов данных по технологии SAN [Текст] // 61 научно-техническая конференция «Профессорско- преподавательского состава Научных сотрудников и аспирантов», 19-23 январь 2009 г. С. 218-219.
11. Аль-Хаками Али Мохаммед Омар, Подход к расчету коммутатора с доступом портов к общей шине по прерываниям [Текст]// VIII Международная научно-техническая конференция «Физика и технические приложения волновых процессов», Санкт-Петербург, 15-18 сентября 2009. С. 276-277.
12. Баранова С.С. «Динамическая оптимизация распределения данных по
узлам вычислительной сети» http://www.masters.donntu.edu.ua/2007/
kita/baranova/library/index.htm [Текст] - Донецкий национальный технический университет.
13. Е.Н. Бендерская, Д.Н. Колесников и др. Моделирование систем с использованием теории массового обслуживания [Текст] : Учебное пособие под ред. д.т.н. Д.Н. Колесникова. СПб.: СПб ГПУ, 2003. — 180 с.
14. Д. Бертсекас, Р. Галлагер Сети передачи данных. [Текст] - М.: Мир,
1989.-544 с.
15. Блэк Ю. Сети ЭВМ: протоколы, стандарты и интерфейсы [Текст]/ Пер. с англ. - М.: Мир , 1990. - 506 с.
16. Богданов А.В., Корхов В.В., Мареев В.В., Станкова Е.Н. Архитектуры и топологии многопроцессорных вычислительных систем. [Текст] - М.:ИНТУИТ.РУ, 2004. - 176 с.
17. П.П. Бочаров Сеть массового обслуживания с сигналами со случайной
задержкой [Текст]//Автоматика и телемеханика. — 2002. - №9. — С.90-101.
18. B.JI. Бройдо Вычислительные системы, сети и телекоммуникации [Текст]: Учебник для вузов. - СПб.: Питер, 2002г.- 688 с.
19. К. Вейцман Распределенные системы мини- и микро-ЭВМ [Текст]/Пер. с англ. - М.: Финансы и статистика, 1983. - 382 с.
20. В.М. Вишневский Теоретические основы проектирования компьютерных сетей. [Текст] — М.: Техносфера, 2003. - 512 с.
21. В.В. Воеводин, Вл. В. Воеводин Параллельные вычисления. [Текст] СПб.: БХВ, 2002.-608 с.
22. Голубев Д., Сети хранения 20.03.2003. [Текст] http://www.citforum.idknet.com/ nets/articles/nethran.shtml.
23. М. Гук Аппаратные средства локальных сетей. Энциклопедия [Текст]
- СПб.: Питер, 2000 г.- 576 с.
24. В. Дубинин Проектирование и реализация распределенных систем на основе ЛВС. [Текст] - Автореферат на соискание ученой степени кандидата технических наук. Пензенский государственный университет, 2005.
25. Как хранить данные: SAN, NAS или DAS [Текст] - http://www.bcc.ru/ press/articles/how_to_store_data.html.
26. Л. Кассел, Р. Остинг Компьютерные сети и открытые системы. [Текст]
- М.: Техносфера, 2003. - 592 с.
27. Л. Клейнрок Вычислительные системы с очередями: Пер. с англ.. [Текст] -М.:Мир, 1979. - 600 с.
28. А.И. Кормильцев Как построить оптимальную систему хранения данных[Текст] //Сети и системы связи. №11, 2002. С. 52-58.
29. Корпоративные системы хранения данных. Источник: Компьютер Пресс [Текст] - Октябрь 27, 2006.
30. В.В. Крухмалев, В.Н. Гордиенко, А.Д. Моченов, В.И. Иванов, В.А.
Бурдин, А.В. Крыжановский, Л. А. Марыкова Основы построения
телекоммуникационных систем и сетей. [Текст] - М.: Горячая линия - Телеком, 2004.-510 с.
31. В.А. Крюков Коммуникации в распределенных системах Лаборатория Параллельных Информационных Технологий [Текст], НИВЦ МГУ на сайте http://www.mpi-forum.org.
32. Дж. Куроуз, К.Росс Компьютерные сети. [Текст] СПб.: Питер, 2004. -
765 с.
33. Кутузов О.И., Сергеев В.Г., Татарниова Т.М. Коммутаторы в корпоративных сетях. Моделирование и расчет. [Текст] СПб: Судостроение, 2003.
34. А.Н. Назаров Модели и методы расчета структурно-сетевых параметров сетей ATM. [Текст] - М.: Издательство «Горячая лини-Телеком», 2002. -256 с.
35. В. Олифер, Н. Олифер Новые технологии и оборудование 1Р-сетей. [Текст] - СПб., 2000. - 512 с.
36. В. Олифер, Н. Олифер. Локальные сети на основе коммутаторов Web- страница [Текст] : http://cf.vipiast.ru/nets/lsok/contents.shtml.
37. В.Г. Олифер, Н.А. Олифер Компьютерные сети: принципы,
технологии, протоколы[Текст] : Учебник для вузов. 2-е изд. - СПб.: Питер, 2005. - 864 с.
38. В.Г. Олифер, Н.А. Олифер Сетевые операционные системы [Текст] : Учебник для вузов. СПб.: Питер, 2001. 415 с.
39. Палмер М., Синклер Р. Проектирование и внедрение компьютерных сетей. [Текст] - СПб-БХВ-Петербург-2004.
40. Протасов С.С. Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных. [Текст] - Автореферат диссертации на соискание ученой степени кандидата физико-математических наук, М., 2004.
41. Ю.И. Рыжиков Теория очередей и управление запасами. [Текст] - СПб.: Изд-во «Питер», 2001. - 376 с.
42. Б. Л. Сатовский Создание мультисервисных сетей: задачи и
перспективы[Текст] //Сети и системы связи №12, 2003. С. 82-87.
43. Системы хранения данных и резервного копирования [Текст] - http://www.xnets.ru/plugins/content/content.php7content.72.
44. Б .Я. Советов, С.А. Яковлев Моделирование систем. Учебник. 4-е издание. [Текст] - М.: Высшая школа, 2005.
45. Уильям Столлингс Компьютерные системы передачи данных. [Текст] - Перевод с англ. - М.: Издательский дом «Вильямс», 2002. — 896 с.
46. Уильям Столлингс Структурная организация и архитектура компьютерных систем. [Текст] - Перевод с англ. — М.: Издательский дом «Вильямс», 2002. — 896 с.
47. В. Столлингс Современные компьютерные сети. [Текст] - СПб: Питер, 2003.
48. Э. Таненбаум Компьютерные сети [Текст] /Пер.с англ. СПб. Литер,2003.-877с
49. Э. Таненбаум Распределенные системы. Принципы и парадигмы [Текст] /Пер. с англ. -СПб. Литер,2003.-877с.
50. Татарникова Т.М. Модели и методы структурного синтеза центров сопряжения корпоративных информационных сетей. [Текст] — Автореферат диссертации на соискание ученой степени доктора технических наук СПб, 2007.
51. Технология NAS: сетевые хранилища данных[Текст] —
http://www.ci.rn/ inform22_03/p_07-1 .htm.
52. Шварц М. Сети связи: протоколы, моделирование и анализ. [Текст] - М.: Наука, 1992.- 4.1. - 335 с.
53. A. Patel Security management for OSI networks [Текст] //Computer Communications. — 1992. Vol. 17, №7. P. 544-553.
54. Chakrvarthy S. The batch markovian arrival process: a review and future work[TeKCT] //Advances in probability theory and stochastic processes. - 2001/ - Р/ 21 -39.
55. R.S. Engelschall Load balancing your web site: Practical approaches for distributing http traffic [Текст] //Web Techniques Magazine, 3(5), May 1998.
56. Diagnosing SNA Gateways [Текст] //Data Communications. - March 21,
1992.
57. Hosting Service Providing Platform System and Method [Текст], 10/005,590/ October 2001.
58. Dedication of Administrative Servers to Management of Server Function in a Multi-Server Environment [Текст], 10/826,280; April 19, 2004.
59. System, Computer Program Product and Method for Online Data Migration with Minimum Down-Time [Текст], 10/837,618; May 4, 2004.
60. System, method and computer program product for group scheduling of computer recourse [Текст], 10/793,881 08 Mar, 2004.
61. Virtual private server with isolation of system components [Текст], 10/703,594 10 Nov, 2003.
62. Configuration of a network of computer recourse [Текст] , 10/304, 294 26