Новиков Александр Витальевич Тензорные методы в задачах машинного обучения

Краткое описание

Новиков Александр Витальевич Тензорные методы в задачах машинного обучения
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Новиков Александр Витальевич
Введение

Глава 1. Основные понятия

1.1 Тензорные методы

1.2 Обозначения

1.3 Разложение в тензорный поезд

1.3.1 TT-SVD

1.3.2 Другие операции над ТТ-тензорами

1.3.3 Матричный ТТ-формат

1.4 Методы римановой оптимизации

1.5 Машинное обучение (распознавание образов)

1.6 Автоматическое дифференцирование и обратное распространение ошибки

1.7 Выводы

Глава 2. Тензорный алгоритм вывода в марковских случайных полях

2.1 Марковски случайные поля

2.2 Существующие подходы к задаче вывода

2.3 Тензорный алгоритм вывода

2.3.1 Тензоры марковского случайного поля

2.3.2 Вычисление нормировочной константы Z

2.3.3 Доказательство следствия

2.4 Выводы

Глава 3. Тензорные разложения для сжатия и ускорения нейронных

сетей

3.1 Обзор существующих подходов к сжатию нейронных сетей

3.2 Тензорный алгоритм сжатия

3.3 Модель учитывающая взаимодействия признаков высоких

порядков

3.3.1 Предлагаемая модель

Стр.

3.3.2 Быстрый метод вывода

3.3.3 Методы обучения

3.3.4 Степенная регуляризация

3.3.5 Обобщение модели

3.3.6 Связь с рекуррентными нейросетями

3.4 Риманово автоматическое дифференцирование

3.4.1 Риманов градиент для матриц фиксированного ранга

3.4.2 Автоматическое вычисление риманова градиента на многообразии тензоров фиксированного ТТ-ранга

3.4.3 Произведение линеаризованного риманова гессиана на заданный вектор

3.5 Выводы

Глава 4. Комплексы программ и результаты численных экспериментов

4.1 Комплекс программ для тензорных вычислений t3f

4.1.1 Интерфейс программного кода

4.1.2 Список поддерживаемых операций

4.1.3 Быстродействие пакета

4.1.4 Реализация новых операций и их асимптотическая сложность

4.1.5 Риманово автоматическое дифференцирование

4.1.6 Использование комплекса программ T3F в научных проектах

4.2 Реализация алгоритма вывода в МСП

4.2.1 Модель Изинга

4.2.2 ^-ранги энергии и вероятности

4.2.3 Нормировочная константа

4.2.4 Унарные маргинальные распределения

4.3 Реализация алгоритма сжатия нейросетей

4.3.1 Свойства ТТ-слоя

4.3.2 CIFAR-10

4.3.3 ImageNet

4.4 Реализация тензорных полиномиальных моделей

4.4.1 Наборы данных

Стр.

4.4.2 Сравнение методов оптимизации и инициализации

4.4.3 Степенная регуляризация

4.4.4 Сравнение предложенного метода с альтернативами

4.4.5 Зависимость от TT-ранга

4.5 Выводы

Заключение

Список сокращений и условных обозначений

Словарь терминов

Список литературы