Ба Хла Тхан Частотный анализ текстовой информации на параллельных вычислителях

Краткое описание

Ба Хла Тхан Частотный анализ текстовой информации на параллельных вычислителях
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Ба Хла Тхан
Введение

ГЛАВА 1. ЗАДАЧИ АНАЛИЗА ТЕКСТОВОЙ ИНФОРМАЦИИ И ИХ ПРИМЕНЕНИЕ

1.1 Классификация текста

1.1.1 Классификаторы

1.2 Особенности предварительной обработки текстов на турецком языке при их классификации

1.3 Классификация текста с помощью комбинаций классификаторов

1.4 Классификация текста с помощью частотных профилей N-грамм

1.4.1 Инверсные индексы N-грамм

1.4.2 Авторизация арабских текстов с помощью N-грамм

1.4.3 Анализ статистики N-грамм в MapReduce

1.5 Методы извлечения информации из текстовых документов

1.5.1 Особенности анализа текстов на естественном языке

Выводы по главе

ГЛАВА 2. МОДЕЛИ И АЛГОРИТМЫ АВТОМАТИЧЕСКОГО АНАЛИЗА ТЕКСТОВОЙ ИНФОРМАЦИИ

2.1 Распределенные вычисления в модели MapReduce

2.2 Синхронизация работы узлов

2.3 Частота парных словосочетаний

2.4. Извлечение ключевых слов на основе модели MapReduce

2.4.1 Реализация алгоритма на основе MapReduce

2.5. Упрощенный вариант алгоритма частотного анализа

Выводы по главе

ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМА ЧАСТОТНОГО АНАЛИЗА ТЕКСТА

3.1 Параллельная реализация алгоритма

3.1.1 Разделение алфавита между потоками

3.1.2 Разделение текста между потоками

3.2 Статическая балансировка нагрузки при частотном анализе текстовой информации

3.2.1 Статическая балансировка нагрузки при анализе биграмм

3.2.2 Балансировка нагрузки для ускорителя Intel Xeon Phi

ГЛАВА 4. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ ЭФФЕКТИВНОСТИ ПАРАЛЛЕЛЬНОЙ РЕАЛИЗАЦИИ АЛГОРИТМА

4.1 Частотный анализ монограмм

4.1.1 Результаты для вычислительной платформы

4.1.2 Результаты для вычислительной платформы

4.1.3 Результаты для вычислительной платформы

4.2 Частотный анализ биграмм

4.2.1 Результаты для вычислительной платформы

4.2.2 Результаты для вычислительной платформы

4.2.3 Результаты для вычислительной платформы