Грабовой Андрей Валериевич Априорное распределение параметров в задачах выбора моделей глубокого обучения

Краткое описание

Грабовой Андрей Валериевич Априорное распределение параметров в задачах выбора моделей глубокого обучения
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Грабовой Андрей Валериевич
Введение

Глава 1. Априорное распределения параметров моделей

1.1. Привилегированное обучение Вапника и дистилляция Хинтона

1.2. Релевантность параметров моделей глубокого обучения

1.3. Смесь экспертов для аппроксимации мультимодальной выборки

Глава 2. Модели привилегированного обучения и дистилляции

2.1. Обобщенная вероятностная постановка задачи дистилляции

2.2. Подход дистилляции модели учителя в модель ученика

2.3. Анализ вероятностного подхода к дистилляции линейных моделей

Глава 3. Байесовская дистилляция моделей глубокого обучения

3.1. Постановка задачи дистилляции в терминах байесовского подхода

3.2. Выравнивание априорного распределения параметров ученика на основе параметров учителя

3.3. Последовательность выравнивающих преобразований

3.4. Анализ байесовской дистилляции полносвязных нейронных сетей

Глава 4. Априорные распределения параметров смеси экспертов

4.1. Локальные модели в задаче построения смеси экспертов

4.2. Вероятностное обоснование смеси экспертов

4.3. Априорное распределение для аппроксимации кривых второго порядка на изображении

4.4. Анализ качества аппроксимации смесью экспертов

Глава 5. Введение отношения порядка на множестве параметров аппроксимирующих моделей

5.1. Задача упорядочивания параметров аппроксимирующих моделей

5.2. Определение релеватности на основе метода Белсли

5.3. Анализ разных подходов к определению релевантности

5.4. Вычислительный эксперимент по упорядочиванию параметров

Глава 6. Анализ прикладных задач выбора моделей машинного обучения

6.1. Постановка задачи определения достаточного размера выборки

6.2. Байесовский подход к определению достаточного размера выборки

6.3. Анализ методов определения достаточного размера выборки

6.4. Кластеризация точек квазипериодических временных рядов

6.5. Анализ фазовых траекторий в задаче кластеризации

Заключение

Список основных обозначений

Список иллюстраций

Список таблиц

Список литературы