Аврутский Всеволод Игоревич Алгоритм увеличения точности нейронных сетей и его приложения

Краткое описание

Аврутский Всеволод Игоревич Алгоритм увеличения точности нейронных сетей и его приложения
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Аврутский Всеволод Игоревич
Оглавление

Введение

Задачи аппроксимации

Решение уравнений в частных производных

Характеристика работы

Научная новизна работы

Теоретическая и практическая значимость

Положения, выносимые на защиту

Степень достоверности и апробация результатов работы

Благодарности

Глава 1, Обзор

1.1. Биологические нейроны

1.2. Искусственные нейронные сети

1.2.1. Теоремы существования

1.2.2. Обратное распространение ошибки

1.2.3. Задачи малой размерности

1.2.4. Решение дифференциальных уравнений 27 Выводы к Главе

Глава 2. Обучение с производными

2.1. Краткая история

2.2. Аппроксимация функций

2.2.1. Обозначения производных

2.2.2. Двумерная функция

2.2.2.1. Обучение производных

2.2.2.2. Обучение с исключением

2.2.3. Автокодировщик

2.2.4. Проблема вычисления производных

2.3. Решение уравнений

2.3.1. Нелинейное уравнение Пуассона

2.3.2. Уравнение Бюргерса

2.4. Отсутствие переобучения 54 2.4.1. Оценка порядка аппроксимации

2.5. Связь с классическим обучением 60 Выводы к Главе

Глава 3, Многомерные краевые задачи

3.1, Увеличение размерности

3.2, Уменьшение сложности

3.2.1, Все производные

3.2.2, Производные по осям

3.2.3, Случайные направления

3.2.4, Тесты

3.2.5, Перенормировка

3.2.6, Процедура обучения

3.3, Линейные уравнения

3.4, Нелинейные уравнения

3.5, Сравнение с конечными разностями

3.6, Практические аспекты

3.6.1, Критерий остановки

3.6.2, Верификация 80 Выводы к Главе

Глава 4, Алгоритм дифференцирования

4.1, Прямое распространение 85 4,1,1, Случайные направления

4.2, Обратное распространение

4.3. Сложность

4.3.1. Прямой проход

4.3.2. Градиент весов

4.3.3. Обратный проход

4.4. Реализация

4.4.1. CUDA

4.4.2. CUBLAS

4.4.3. Особенности реализации

4.4.4. epde-2

4.4.4.1. Параметры задачи

4.4.4.2. Начальные данные

4.4.4.3. Вычисление невязки

4.4.4.4. Нормировка

4.4.4.5. Пример

4.4.5. Генерация кода 107 Выводы к Главе

Заключение

Обозначения

Литература