Ирхин Илья Александрович Единственность матричного разложения и сходимость регуляризованных алгоритмов в вероятностном тематическом моделировании

Краткое описание

Ирхин Илья Александрович Единственность матричного разложения и сходимость регуляризованных алгоритмов в вероятностном тематическом моделировании
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Ирхин Илья Александрович
Введение

Глава 1. Аддитивная регуляризация тематических моделей

1.1 Постановка задачи тематического моделирования

1.2 Регуляризация тематических моделей

1.3 Обобщение для произвольных функций потерь

1.4 Алгоритм ARTM в матричной форме

1.5 Заключение главы

Глава 2. Сходимость алгоритма аддитивной регуляризация

тематических моделей

2.1 Общие сведения по GEM-алгоритмам

2.1.1 Вероятностные EM- и GEM- алгоритмы

2.1.2 Известные результаты о сходимости

2.1.3 EM-алгоритм максимизации неполного правдоподобия в модели PLSA

2.2 Теоремы о сходимости алгоритма аддитивной регуляризации тематических моделей

2.2.1 Основная теорема о сходимости

2.2.2 Свойства траектории итерационного процесса ARTM

2.2.3 Эксперимент по проверке достаточных условий теоремы

о сходимости

2.3 Изменение регуляризированного правдоподобия в EM-алгоритме 32 2.3.1 Стремление коэффициента регуляризатора к нулю

2.4 Классификация регуляризаторов

2.5 Модификация M-шага алгоритма ARTM

2.5.1 Описание модификации

2.5.2 Эксперимент по оценке эффекта от модификации

2.6 Обобщение теорем о сходимости на случай общей функции потерь

2.6.1 Обобщение интерпретации как GEM-алгоритма

2.6.2 Сходимость параметров алгоритма

Стр.

2.6.3 Теоремы о сходимости для случая общей функции потерь

2.7 Заключение главы

Глава 3. Единственность стохастического матричного

разложения

3.1 Общие сведения по стохастическому матричному разложению

3.1.1 Стохастическое матричное разложение

3.1.2 Обзор результатов по единственности неотрицательного матричного разложения

3.2 Теорема о единственности разложения

3.3 Эксперименты про проверке выполнения достаточных условий теоремы о единственности стохастического матричного разложения

3.3.1 Описание эксперимента

3.3.2 Результаты

3.4 Заключение главы

Глава 4. Разреживание тематических моделей

4.1 Описание метода

4.2 Описание экспериментов по разреживанию моделей

4.3 Результаты экспериментов по разреживанию моделей

4.4 Заключение главы

Глава 5. Аддитивная регуляризация тематических моделей с

быстрой векторизацией текста

5.1 Роль матрицы тем в документах и ЕМ-алгоритм

5.2 Итерационный алгоритм для подхода АКТЫ без матрицы документы-темы

5.2.1 Функция зависимости матриц документы-темы и темы-слова

5.2.2 Вывод ЕМ-алгоритма

5.2.3 Анализ асимптотической сложности работы и

сходимости алгоритма

Стр.

5.3 Описание экспериментов с алгоритмом ЛКГМ с быстрой векторизацией текста

5.4 Результаты экспериментов с алгоритмом ЛКГМ с быстрой векторизацией текста

5.5 Заключение главы

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц