Борецький Олександр Францович Методи інтеграції технологій віртуалізації в грід

Краткое описание

Борецький Олександр Францович, асистент кафедри комп’ютерної інженерії факультету радіофізики, електроніки та комп’ютерних систем Київського національного університету імені Тараса Шевченка. Назва дисертації: «Методи інтеграції технологій віртуалізації в грід». Шифр та назва спеціальності 01.05.03 математичне та програмне забезпечення обчислювальних машин і систем. Спецрада Д26.001.09 Київського національного університету імені Тараса Шевченка

Київський нацiональний унiверситет iменi Тараса Шевченка
Мiнiстерство освiти i науки України
Київський нацiональний унiверситет iменi Тараса Шевченка
Мiнiстерство освiти i науки України
Квалiфiкацiйна наукова
праця на правах рукопису
БОРЕЦЬКИЙ ОЛЕКСАНДР ФРАНЦОВИЧ
УДК 004.75, 004.415.2
ДИСЕРТАЦIЯ
МЕТОДИ IНТЕГРАЦIЇ ТЕХНОЛОГIЙ ВIРТУАЛIЗАЦIЇ В ГРIД
01.05.03 — математичне та програмне забезпечення обчислювальних машин
i систем
Подається на здобуття наукового ступеня кандидата технiчних наук
Дисертацiя мiстить результати власних дослiджень. Використання iдей, результатiв i текстiв iнших авторiв мають посилання на вiдповiдне джерело
Борецький О.Ф.
Науковий керiвник Бойко Юрiй Володимирович
кандидат фiз.-мат. наук, доцент
Київ – 2020

ЗМIСТ
ПЕРЕЛIК УМОВНИХ ПОЗНАЧЕНЬ 15
ВСТУП 17
1. Аналiз методiв та засобiв застосування прикладного ПЗ в обчислювальнiй грiд-iнфраструктурi 28
1.1. Програмно-апаратна архiтектура грiд-середовища запуску прикладних завдань . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.1.1. Особливостi архiтектури обчислювального кластера – постачальника
ресурсiв в грiд-iнфраструктурi . . . . . . . . . . . . . . . . . . . . . . . 35
1.1.2. Особливостi застосування обчислювального кластера – обчислювального елемента грiд . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.2. Методи та засоби використання прикладного ПЗ в грiд-завданнi . . . . . . . 47
1.3. Особливостi використання прикладного ПЗ в українськiй грiд-iнфраструктурi 54
1.4. Формування середовища виконання прикладного ПЗ у грiд . . . . . . . . . . 58
1.4.1. Запуск прикладного ПЗ грiд-завдання в iзольованому середовищi вiртуальної машини . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.4.2. Використання у грiд-завданнi вiддаленої вiртуальної файлової системи з прикладним ПЗ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.4.3. Компiляцiя прикладного ПЗ на початковому етапi виконання грiдзавдання . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
1.5. Висновки до першого роздiлу . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2. Iнтеграцiя технологiй вiртуалiзацiї в обчислювальнi елементи грiд-iнфраструктури 64
2.1. Вимоги до технологiй вiртуалiзацiї для запуску вiртуальних машин як грiдзавдань . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.2. Методи та технологiї формування вiртуального середовища виконання OS . 68
2.2.1. Вiртуалiзацiя на рiвнi OS . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.2.2. Формування вiртуального середовища програмною емуляцiєю обладнання комп’ютера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.2.3. Застосування паравiртуалiзованих пристроїв для формування вiртуального середовища виконання OS . . . . . . . . . . . . . . . . . . . . 71
2.2.4. Засоби апаратної пiдтримки вiртуалiзацiї . . . . . . . . . . . . . . . . 73
2.3. Грiд-iнфраструктура як апаратна платформа запуску та виконання вiртуальних машин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.4. Обчислювальний елемент грiд-iнфраструктури як iнтерфейс доступу до апаратних ресурсiв . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.5. Метод запуску вiртуальної машини як грiд-завдання . . . . . . . . . . . . . . 78
2.5.1. Керування вiртуальними машинами на робочих вузлах обчислювальних кластерiв . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
13
2.5.2. Робота з даними у вiртуальнiй машинi запущенiй як грiд-завдання . 85
2.6. Iнтерактивна взаємодiя з прикладним ПЗ у грiд . . . . . . . . . . . . . . . . 87
2.6.1. Методи та засоби доступу до консолi вiртуальних машин . . . . . . . 88
2.6.2. Методи та засоби вiддаленого доступу до OS запущеної у вiртуальнiй
машинi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.6.3. Метод iнтерактивної взаємодiї з прикладним ПЗ у грiд . . . . . . . . 91
2.7. Висновки до другого роздiлу . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3. Iнтеграцiя апаратно прискореної та контейнерної вiртуалiзацiї в CE грiдiнфраструктури 96
3.1. Аналiз програмних засобiв вiртуалiзацiї . . . . . . . . . . . . . . . . . . . . . 97
3.1.1. Засоби вiртуалiзацiї, що використовують апаратну пiдтримку та паравiртуалiзацiю . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
3.1.2. Засоби вiртуалiзацiї на рiвнi операцiйної системи . . . . . . . . . . . . 100
3.2. Програмний комплекс Rainbow . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.3. Метод запуску прикладного ПЗ у вiртуальнiй машинi запущенiй як грiдзавдання . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.4. Запуск вiртуальних машин як грiд-завдання засобами QEMU/KVM . . . . . 109
3.4.1. Середовище виконання прикладного ПЗ у вiртуальних машинах
QEMU/KVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.4.2. Вiддалений доступ до вiртуальних машин QEMU/KVM . . . . . . . . 113
3.4.3. Швидкодiя прикладного ПЗ у вiртуальнiй машинi QEMU/KVM запущенiй як грiд-завдання . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.5. Запуск контейнерних вiртуальних машини як грiд-завдання засобами Docker 118
3.5.1. Середовище виконання прикладного ПЗ у контейнерних вiртуальних
машинах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
3.5.2. Вiддалений доступ до контейнерних вiртуальних машин . . . . . . . . 119
3.5.3. Швидкодiя прикладного ПЗ у контейнернiй вiртуальнiй машинi запущенiй як грiд-завдання . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.6. Впровадження програмних засобiв запуску вiртуальних машин як грiдзавдань . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.7. Висновки до третього роздiлу . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4. Автоматизацiя запуску вiртуальних машин як грiд-завдань 129
4.1. Особливостi програмних комплексiв проведення наукових дослiджень в грiд 130
4.2. Грiд-сервiс автоматизацiї запуску вiртуальних машин як грiд-завдань . . . . 132
4.2.1. Взаємодiя грiд-сервiсу автоматизацiї запуску вiртуальних машин як
грiд-завдань з грiд-iнфраструктурою . . . . . . . . . . . . . . . . . . . 134
4.2.2. Управлiння запуском вiртуальних машини запущених як грiд завдання137
4.2.3. Iнтеграцiї системи запуску вiртуальних машин з веб-порталами вiртуальних лабораторiй . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.3. Моделювання грiд-сервiсу автоматизацiї запуску вiртуальних машин в грiд
засобами транзицiйних систем та мереж Петрi . . . . . . . . . . . . . . . . . 144
14
4.3.1. Проєктування грiд iнфраструктури як середовища автоматизованого
запуску вiртуальної машини . . . . . . . . . . . . . . . . . . . . . . . . 144
4.3.2. Протокол реєстрацiї грiд-сервiсу . . . . . . . . . . . . . . . . . . . . . . 146
4.3.3. Протокол пiдготовки завдання грiд з вiртуальною машиною . . . . . 147
4.3.4. Мережева модель протоколу реєстрацiї та пiдготовки завдань . . . . 149
4.3.5. Мережева модель CE, на яких виконується запуск вiртуальних машин як грiд-завдань . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.3.6. Обґрунтування мережевої моделi CE iз запущеною вiртуальною машиною як грiд-завдання . . . . . . . . . . . . . . . . . . . . . . . . . . 153
4.3.7. Властивостi обмеженостi i справедливостi мережевої моделi CE грiдiнфраструктури . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
4.4. Впровадження грiд-сервiсу автоматизацiї запуску вiртуальних машин як
грiд-завдань . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.5. Висновки до четвертого роздiлу . . . . . . . . . . . . . . . . . . . . . . . . . . 160
ВИСНОВКИ 163
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 166
ДОДАТКИ
А. Акти впровадження 186
Б. Список опублiкованих праць за темою дисертацiї 193
В. Вiдомостi про апробацiю результатiв дисертацiї 196

Список литературы

ВИСНОВКИ
У дисертацiйному дослiдженнi вирiшено науково-практичну задачу розробки методiв iнтеграцiї технологiй вiртуалiзацiї для формування середовища виконання прикладного програмного забезпечення у грiд-завданнi.
Розробленi методи мають суттєве значення при використаннi у грiдiнфраструктурах рiзноманiтного прикладного програмного забезпечення. Це
має високу науково-практичну цiннiсть для гетерогенних паралельних та
розподiлених обчислювальних систем.
Це включає в себе науково-практичнi результати дисертацiйного дослiдження:
Вперше
1. Розроблено новий метод запуску вiртуальних машин як грiд завдань,
який дозволяє використати технологiї контейнерної вiртуалiзацiї та технологiї з апаратною пiдтримкою вiртуалiзацiї.
2. Розроблено новий метод взаємодiї з прикладним прикладного програмного забезпечення виконуваним у грiд, що дозволяє використовувати iнтерактивний режим роботи за рахунок графiчного та iнтерфейсу командного рядку для рiзних операцiйних систем.
3. Розроблено новий метод виконання у вiртуальних машинах запущених
як грiд прикладного програмного забезпечення. Метод дозволяє сконфiгурувати середовище роботи прикладного програмного забезпечення у
165
пакетному та iнтерактивному режимi взаємодiї для рiзних операцiйних
систем.
4. Розроблено програмний комплекс для реалiзацiї методiв запуску вiртуальних машин як грiд-завдань. Це дозволяє забезпечити iнтерактивну
взаємодiю з прикладним програмним забезпеченням i використати рiзнi
технологiї вiртуалiзацiї, зокрема з апаратною пiдтримкою та контейнерну.
5. Розроблено архiтектуру грiд-сервiсу, яка дозволяє автоматизувати запуск та управлiння вiртуальними машинами запущеними як грiд-завдання
i взаємодiяти з грiд-сервiсами кооперацiї. Розроблений грiд-сервiс мiстить програмнi засоби iнтеграцiї до програмних комплексiв вiртуальних
органiзацiй.
Удосконалено
1. Розробленi методики та архiтектурнi принципи формування середовища
виконання iзольованого, незалежного вiд робочого вузла обчислювального кластера грiд-iнфраструктури. Це дозволяє керувати середовищем
виконання прикладного програмного забезпечення у грiд-завданнi.
Набуло подальшого розвитку
1. Проведено математичне моделювання засобами транизицiйних систем
та Мереж Петрi грiд-сервiсу автоматизацiї запуску вiртуальних машин.
Пiдтверджено, що така мережа є живою у нiй виконується властивiсть
166
справедливостi, а такий математичний апарат може бути застосовано
для моделювання грiд-сервiсiв.