Фигурнов, Михаил Викторович Вероятностный метод для адаптивного времени вычислений в нейронных сетях

Короткий опис

Фигурнов, Михаил Викторович Вероятностный метод для адаптивного времени вычислений в нейронных сетях
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Фигурнов, Михаил Викторович
Оглавление

Стр.

Введение............................................... 4

Глава 1. Глубинное обучение и вероятностные нейросетевые модели........... 10

1.1 Глубинное обучение.................................... 10

1.1.1 Задачи, решаемые глубинными нейронными сетями.............. 10

1.1.2 Обучение глубинных нейронных сетей..................... 11

1.1.3 Алгоритм обратного распространения ошибки................. 12

1.1.4 Методы стохастической оптимизации...................... 13

1.1.5 Методы инициализации ............................. 17

1.1.6 Слои полносвязных нейросетевых моделей................... 19

1.1.7 Слои свёрточных нейросетевых моделей.................... 23

1.1.8 Примеры свёрточных архитектур........................ 28

1.2 Обучение параметров случайных переменных ..................... 32

1.2.1 Метод REINFORCE................................ 33

1.2.2 Трюк репараметризации............................. 35

1.2.3 Обучение параметров дискретных распределений ............... 37

Глава 2. Перфорация свёрточных нейронных сетей..................... 40

2.1 Введение.......................................... 40

2.2 Обзор литературы ..................................... 40

2.3 Предлагаемый метод ................................... 41

2.3.1 Перфорированный свёрточный слой....................... 41

2.3.2 Маски перфорации ................................ 43

2.3.3 Выбор степеней перфорации ........................... 45

2.3.4 Эффективная реализация перфорированного свёрточного слоя........ 46

2.4 Эксперименты ....................................... 47

2.4.1 Ускорение одного свёрточного слоя....................... 48

2.4.2 Базовые методы.................................. 51

2.4.3 Ускорение всех свёрточных слоёв ........................ 52

2.4.4 Способы интерполяции .............................. 53

2.4.5 Сравнение эмпирического и теоретического ускорения............ 55

2.5 Заключение ......................................... 55

Глава 3. Пространственно-адаптивное время вычислений................. 57

3.1 Введение .......................................... 57

3.2 Предлагаемый метод ................................... 58

3.2.1 Метод адаптивного времени вычислений .................... 58

Стр.

3.2.2 Метод пространственно-адаптивного времени вычислений....................64

3.3 Обзор литературы..........................................................................68

3.4 Эксперименты..............................................................................69

3.4.1 Классификация изображений (выборка ImageNet)..............................70

3.4.2 Детекция объектов (выборка COCO) ............................................75

3.4.3 Визуальная значимость (выборка cat2000)......................................78

3.5 Заключение..................................................................................79

Глава 4. Вероятностный метод для адаптивного времени вычислений....................81

4.1 Введение ....................................................................................81

4.2 Вариационная оптимизация и задача MAP-вывода......................................82

4.3 Стохастическая вариационная оптимизация..............................................84

4.4 Вероятностный метод для адаптивного времени вычислений ..........................85

4.4.1 Дискретный блок адаптивных вычислений ......................................85

4.4.2 Пороговый блок адаптивных вычислений........................................87

4.4.3 Релаксированный блок адаптивных вычислений................................87

4.4.4 Вероятностная модель............................................................89

4.4.5 Применение к остаточным сетям ................................................92

4.4.6 Применение к рекуррентным нейронным сетям ................................94

4.5 Обзор литературы ..........................................................................94

4.6 Эксперименты ..............................................................................96

4.7 Заключение ..................................................................................98

Заключение.............................................101

Список литературы ........................................102

Список рисунков..........................................112

Список таблиц ...........................................115

Список алгоритмов ......................................... 116