Дудар Вячеслав Вячеславович Оптимізаційні алгоритми навчання та інваріантність до геометричних перетворень нейронних мереж

Короткий опис

Дудар Вячеслав Вячеславович, приватний підприємець. Назва дисертації: «Оптимізаційні алгоритми навчання та інваріантність до геометричних перетворень нейронних мереж». Шифр та назва спеціальності 01.05.01 теоретичні основи інформатики та кібернетики. Спецрада Д 26.001.09 Київського національного університету імені Тараса Шевченка

Київський нацiональний унiверситет iменi Тараса Шевченка
Мiнiстерство освiти i науки України
Квалiфiкацiйна наукова
праця на правах рукопису
ДУДАР Вячеслав Вячеславович
УДК 004.93
ДИСЕРТАЦIЯ
Оптимiзацiйнi алгоритми навчання та
iнварiантнiсть до геометричних перетворень
нейронних мереж
01.05.01 — теоретичнi основи iнформатики та кiбернетики
Подається на здобуття наукового ступеня
кандидата фiзико-математичних наук
Дисертацiя мiстить результати власних дослiджень. Використання iдей,
результатiв i текстiв iнших авторiв мають посилання на вiдповiдне джерело
Науковий керiвник
Семенов Володимир Вiкторович
доктор фiзико-математичних наук, професор
Київ — 2020

ЗМIСТ
Вступ 15
Роздiл 1. Огляд лiтератури 21
1.1. Загальний огляд нейронних мереж . . . . . . . . . . . . . . . 21
1.2. Тренування нейронних мереж . . . . . . . . . . . . . . . . . 27
1.3. Iнварiантнiсть згорткових нейронних мереж до афiнних перетворень . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4. Висновки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Роздiл 2. Двокроковий алгоритм довiрчого регiону в пiдпросторi для тренування глибоких нейронних мереж 42
2.1. Загальна iдея . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2. Вибiр пiдпростору . . . . . . . . . . . . . . . . . . . . . . . . 45
2.3. Мiнiмiзацiя на довiрчiй кулi . . . . . . . . . . . . . . . . . . . 49
2.4. Деталi алгоритму . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.5. Експерименти . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.5.1. Порiвняння методiв другого порядку на пiдпросторi . 54
2.5.2. Порiвняння з методами першого порядку . . . . . . . 58
2.6. Висновки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Роздiл 3. Column drop: iнварiантнiсть згорткових мереж до
вибору пiдзображення 61
3.1. Вступ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2. Опис алгоритму Column Drop . . . . . . . . . . . . . . . . . . 63
3.3. Математичнi властивостi . . . . . . . . . . . . . . . . . . . . 66
3.4. Застосування до внутрiшнiх шарiв . . . . . . . . . . . . . . . 68
3.5. Експерименти . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
13
3.6. Аналiз експериментiв . . . . . . . . . . . . . . . . . . . . . . 71
3.7. Висновки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Роздiл 4. Побудова мереж з бажаною поведiнкою пiд дiєю
геометричних перетворень входу 73
4.1. Вступ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2. Мотивацiя: диференцiйний оператор Собеля . . . . . . . . . 75
4.3. Знаходження всiх можливих типiв перетворень для заданого
оператора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.3.1. Випадок декiлькох операторiв . . . . . . . . . . . . . 102
4.4. Деякi частковi випадки . . . . . . . . . . . . . . . . . . . . . 103
4.4.1. Оператор симетричного вiдображення . . . . . . . . . 103
4.4.2. Оператор повороту на π/2 . . . . . . . . . . . . . . . . 108
4.4.3. Приведенi матрицi комбiнацiї повороту i симетричного вiдображення . . . . . . . . . . . . . . . . . . . . . 111
4.4.4. Аналiз керованих ядер . . . . . . . . . . . . . . . . . . 112
4.4.5. Оператори симетричного вiдображення та повороту
для зображень з шестикутними пiкселями . . . . . . . 115
4.5. Застосування: iнварiантна до поворотiв / симетричних вiдображень класифiкацiя . . . . . . . . . . . . . . . . . . . . . 121
4.5.1. Опис архiтектури . . . . . . . . . . . . . . . . . . . . . 121
4.5.2. Експерименти . . . . . . . . . . . . . . . . . . . . . . . 123
4.6. Висновки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Висновки 126
Список використаних джерел 128
Додаток 1. Список публiкацiй здобувача за темою дисертацiї
та вiдомостi про апробацiю результатiв дисертацiї 138
Додаток 2. Довiдка про впровадження в навчальний процес 141
14
Додаток 3. Довiдка про використання в науково-дослiднiй
темi №ДР 0116U004777 142
Додаток 4. Довiдка про використання в науково-дослiднiй
темi №ДР 0118U002258 143

Список літератури

ВИСНОВКИ
Основнi результати дисертацiї:
— Побудовано стохастичний двокроковий алгоритм довiрчого регiону
в пiдпросторi для навчання нейронних мереж. Метод вирiшує проблему повiльного навчання для деяких типiв глибоких нейронних
мереж, функцiя активацiї яких двiчi диференцiйовна.
— Розроблено новий метод регуляризацiї згорткових нейронних мереж
Column Drop. Отримано теоретичне обгрунтування методу через
представлення згорткової нейронної мережi як середнього менших
згорткових мереж, застосованих на пiдзображеннях вхiдного зображення. Отримано iнтерпретацiю методу в термiнах досягнення приблизної iнварiантностi класифiкацiї до вибору пiдзображення.
— Розроблено набiр iнструментiв для аналiзу операторiв на зображеннi в контекстi геометричних перетворень та побудови базових матриць та вiдповiдних параметризацiй згорткових ядер. Доведено
теореми, що описують множину можливих типiв поведiнки виходiв згорткових шарiв пiд дiєю деяких геометричних операторiв на
вхiд. Показано, що всi можливi типи поведiнки виходу згорткового
шару є комбiнацiєю декiлькох базових типiв. Для операторiв симетричного вiдображення та повороту показано, що згортковi шари
з вiдповiдними базовими типами поведiнки детектують ознаки на
зображеннях з певною кiлькiстю осей симетрiї.
— На основi розробленого алгоритму знаходження базових матриць
побудовано метод конструювання архiтектур згорткових мереж, що
показують бажанi властивостi виходу пiд дiєю геометричних операторiв на вхiд. Як одне з застосувань побудовано архiтектуру згор-
127
ткової мережi для розпiзнавання геометрично перетворених об’єктiв.
— Проведена експериментальна валiдацiя розроблених методiв. Встановлено, що запропонований двокроковий метод навчання працює
швидше, нiж iснуючi методи першого та другого порядку у випадку
нейронна мережа є достатньо глибокою. Показано, що застосування
Column Drop пiд час навчання призводить до вищої точностi класифiкацiї у порiвняннi з iснуючими методами регуляризацiї у випадку виконання описаних умов на архiтектуру мережi. Пiдтверджено ефективнiсть запропонованої архiтектури для досягнення геометрично iнварiантної класифiкацiї за допомогою експериментального
порiвняння з iснуючими методами.